AI Overviews : le vrai coût du robots.txt mal réglé (données NewsRoom)
Résumez cet article avec l’IA
Le coup de fil qui démonte un mythe
Un client m’appelle un mardi matin. Il a investi 8 000 $ dans une refonte de son architecture sémantique. Son trafic organique vient de chuter de 34 % en trois semaines. Il ne comprend pas.
« J’ai pourtant bloqué Google-Extended dans le robots.txt. Normalement, l’IA ne peut plus piller mon contenu. »
Normalement.
Ce que j’ai découvert en inspectant son site confirme une donnée que John Shehata, CEO de NewzDash, a dévoilée en juillet 2026 : 15,5 % des requêtes tendances américaines affichent désormais les Top Stories à l’intérieur des AI Overviews. Et le blocage par robots.txt n’y change rien.
Mon client n’était pas protégé. Il s’était juste rendu invisible à une source de trafic massive.
Les données de NewzDash révèlent des écarts importants selon la géographie et le secteur. Le divertissement et l’actualité mondiale sont surreprésentés, tandis que la santé reste peu impactée. Voici la ventilation précise.
AI Overviews : taux d’apparition par géographie et catégorie
Comparaison des requêtes tendances intégrant les Top Stories dans l’AI Overview (données NewzDash, juillet 2026)
15,5 % : le chiffre que John Shehata a sorti en juillet 2026
NewzDash nous donne des chiffres concrets. Quand Google affiche des Top Stories sur les requêtes tendances, 15,5 % les incorporent désormais directement dans l’AI Overview aux États-Unis. 17,46 % au Royaume-Uni.
Divertissement : 35 %. Actualités internationales : presque 32 %. Santé et Science restent sous les 5 %. L’impact se concentre sur l’actualité et les salles de rédaction.
15,5 % des requêtes tendances US
17,46 % au Royaume-Uni
Entertainment : > 35 %
World News : ~32 %
Source : NewzDash, juillet 2026, relayé par Search Engine Journal.
Google ne le cache pas. C’est la même stratégie qu’en 2007 avec Universal Search : injecter des contenus verticalisés directement dans les résultats. Mais cette fois, au lieu d’afficher une liste de liens bleus, on reçoit une réponse générée par l’IA.
Pourquoi robots.txt ne vous protège pas des AI Overviews
Beaucoup de directions éditoriales confondent deux crawlers bien distincts.
Googlebot : le robot classique qui indexe vos pages pour la recherche. Il scanne, il classe, il alimente les SERP.
Google-Extended : un crawler lancé en 2023, uniquement destiné à l’entraînement des modèles d’IA générative (Bard, Vertex AI).
Quand vous ajoutez une ligne Disallow: / pour Google-Extended dans votre robots.txt, vous dites simplement : « Ne t’entraîne pas sur mon contenu. »
Vous ne dites pas : « Ne m’affiche pas dans AI Overviews. »
Les AI Overviews proviennent de l’index normal. Googlebot a tout lu. Bloquer Google-Extended ne change rien. Zéro impact sur votre présence dans ces carrousels.
John Shehata a répété sur LinkedIn : « robots.txt seul ne protège pas de l’IA. » Il a raison. Les éditeurs qui croient être protégés se trompent.
Prenons un cas concret. Un éditeur média de taille moyenne génère 2,3 millions de sessions organiques. Voici comment se calcule le manque à gagner réel lorsque l’on ne contrôle pas sa présence en AI Overview.
Décomposition du manque à gagner mensuel
De 2,3 M sessions organiques au coût réel du contrôle perdu sur les AI Overviews
Ce que coûte vraiment un mauvais paramétrage
Prenons un cas concret. Un groupe média que j’observe génère 2,3 millions de sessions organiques par mois. D’après les proportions de NewzDash, 15,5 % de ses requêtes tendances pourraient apparaître en Top Stories dans les AI Overviews.
2,3 millions × 15,5 % = 356 500 sessions potentielles.
Avec un RPM publicitaire moyen de 9,50 $ observé chez ce type d’éditeur, le manque à gagner mensuel s’élève à 3 386 $.
Par mois.
Ce scénario coûte 40 632 $ par an. Non pas parce que Google pénalise le site. Mais parce que la concurrence contrôle les carrousels à sa place.
Et le pire, c’est que le fichier robots.txt n’a même pas arrêté l’apparition dans les AI Overviews. Le contenu y figure quand même, puisque le blocage ne concerne que le crawler d’entraînement. Sauf que le trafic, lui, ne suit pas. Le carrousel affiche d’autres sources mieux optimisées.
Mon client n’avait pas sécurisé ses revenus. Il les avait juste donnés à la concurrence.
Ce qui fonctionne vraiment pour contrôler sa présence en AI
Pour empêcher vos pages d’apparaître dans les AI Overviews, il existe une seule solution : la balise meta nosnippet ou max-snippet:0.
Sauf que ce réglage supprime aussi tous vos extraits dans les résultats normaux. Fini la description. Fini le titre enrichi. Fini le lien ancré.
En clair, pour sortir de l’AI Overview, vous devenez un lien fantôme dans la SERP. Les clics perdus dépassent souvent le gain espéré.
Il y a une autre route. C’est celle que j’applique avec les éditeurs avec qui je travaille.
1. Accepter l’AI Overview et le structurer. Google cite plusieurs sources. Être parmi elles, vous reste visible. Pour ça, votre contenu doit être modélisé en entités. Un texte journalistique sans balisage sémantique, c’est une dépêche perdue au milieu d’un marécage.
2. Construire un cocon sémantique. J’organise les pages en silos thématiques, avec des pages piliers fortes. Chaque article renforce l’entité mère. L’index Googlebot comprend que vous êtes la source primaire. Vos chances d’être cité seul dans l’AI Overviews augmentent.
3. Suivre les citations. NewzDash ou les exports Search Console montrent sur quelles requêtes l’AI Overviews vous cite. On ajuste le contenu pour relancer les clics (titre qui accroche, balisage juste).
4. Ne pas toucher à Google-Extended. Bloquer ce crawler ne sert à rien. Il ne réduit pas l’apparition. Pire, cela pourrait signaler à Google que vous cachez quelque chose. Je ne prends pas ce risque.
L’anti-pattern que je vois encore trop souvent
En audit, je tombe régulièrement sur des robots.txt qui cumulent les interdictions : Disallow: / pour Google-Extended, mais aussi pour GPTBot, CCBot, parfois même Googlebot-News !
C’est une erreur. Bloquer Googlebot-News exclut votre site de Google News. Or, les Top Stories dans AI Overviews viennent surtout de l’index Google News. En croyant vous protéger, vous fermez l’accès à la source même de votre trafic.
Résultat : un site verrouillé qui ne génère rien. Ni en IA, ni en News, ni en Discover.
Une ligne de trop. C’est suffisant pour perdre des milliers d’euros chaque mois.
Votre robots.txt vous coûte-t-il 3 386 $ par mois ?
Pendant un appel de 45 minutes, je passe en revue vos logs, votre paramétrage robots.txt et les 20 pages les plus exposées aux AI Overviews. Vous repartez avec un plan d’action immédiat.
Réserver un appel diagnostic — 30 minQuestions fréquentes
Est-ce que bloquer Google-Extended via robots.txt m’empêche d’apparaître dans les AI Overviews ?
Non. Google-Extended concerne uniquement l’entraînement des modèles d’IA, pas la génération des réponses. Les AI Overviews utilisent l’index normal de Googlebot.
Quelle est la différence entre Googlebot et Google-Extended ?
<p>Googlebot indexe les pages pour la recherche classique. Google-Extended a été créé pour contrôler l’utilisation du contenu dans l’entraînement des grands modèles de langage (Bard, Vertex AI). Bloquer l’un ne bloque pas l’autre.</p>
Comment connaître mon taux d’apparition dans les AI Overviews ?
Utilisez NewzDash ou exportez vos données Search Console en filtrant sur les carrousels. Vous pouvez aussi tracker les citations directement dans vos logs et avec les outils de visibilité AI.
Puis-je empêcher mes pages d’être citées dans les AI Overviews sans sacrifier le référencement classique ?
Difficile. La balise meta ‘nosnippet’ ou ‘max-snippet:0’ supprime les extraits, mais cela affecte aussi les résultats classiques. Vous perdez votre description enrichie.
Pour un site e-commerce, les AI Overviews ont-elles le même impact que pour un site média ?
Moins directement. Les carrousels Top Stories visent surtout l’actualité. Les pages guides ou conseils d’un site e-commerce, elles, peuvent figurer dans les résultats et amener des visiteurs intéressés.
