Comment les SEO arrêtent de deviner leurs stratégies IA Search : méthode de test
Résumez cet article avec l’IA
Un mardi matin, un client m’appelle. Il a investi 8 000 $.
8 000 $ dans du contenu taillé pour les IA. Des articles truffés de schémas, de citations croisées, de balisage entité.
Résultat après 4 mois : 3 mentions. Pas 3 par page. 3 sur l’ensemble du site.
Et le pire ? zéro reproductibilité. Le client me dit : « Je ne sais pas ce qui a marché, ni pourquoi, ni comment le refaire. »
Ce cas n’est pas isolé. Depuis que les modèles de langage ont envahi la recherche, je vois chaque semaine une équipe SEO qui a fait un gros investissement, a obtenu un pic de citations… puis le vide.
Le mur est le même pour tout le monde : on ne peut pas tester proprement. Le test A/B qui fonctionnait depuis 10 ans sur les SERP ne s’applique pas aux LLM. Pas de groupe témoin stable. Pas de variable isolable. Les réponses changent d’une requête à l’autre, d’une session à l’autre, d’une version de modèle à l’autre.
Loren Baker le résume brutalement dans un article du Search Engine Journal :
« You can’t run a clean A/B test on an LLM. There’s no way to split-test a model’s response the way you’d split-test a title tag. »
Alors, la plupart des équipes lisent des signaux faibles. Un pic de trafic depuis Gemini ? Elles l’attribuent au dernier article publié. Une hausse des citations sur Perplexity ? On coche la case « IA search OK ».
Ça donne une illusion de maîtrise.
Jusqu’à la revue trimestrielle.
Là, aucune preuve tangible. Juste de l’estimation.
La question qui tue : comment tester sans test ?
C’est là que le framework DOSE entre en jeu. Celui que je transmets avec Guillaume Attias à la BMO Academy. Le pilier central ici, c’est le Contrôle. Retrouver une emprise mesurable sur un canal que l’on croit insaisissable.
Le test A/B sur un LLM, c’est comme mesurer la couleur du vent
Premier point : chaque LLM a ses propres robots, ses propres règles de citation, ses propres indicateurs.Ce qui génère une citation dans ChatGPT n’a rien à voir avec Perplexity. Aucun de ces modèles ne partage un « SERP » stable où l’on pourrait isoler une variable. Mark Traphagen, VP Product Marketing chez seoClarity, le dit dans le même dossier SEJ : il faut un AI control group without a true split testing. Une structure de test qui isole ce qui bouge, même si les plateformes ne permettent pas de split purification. Alors, que font les équipes qui ne devinent pas ?
Elles construisent un système en trois couches. 1. Choisir les prompts à suivre.
Pas tous. Uniquement ceux qui donnent un signal mesurable. On les classe : transactionnel, informationnel, navigationnel. On les apparie. On les pèse.
Un de mes clients a défini 47 invites précises sur son secteur (logiciel de gestion de projet SaaS). Pas 46, 47. On a cartographié la fréquence de chaque invite sur ChatGPT, Claude, Gemini. On a retenu les 17 qui produisaient une citation dans au moins un modèle. Et c’est cette base qu’on a suivie pendant 8 semaines. 2. Créer un groupe témoin sans split test.
Sur le même site, on prend des pages non optimisées pour l’IA. Même autorité de domaine, même profondeur, même type de contenu – mais sans couche sémantique ajoutée. Elles deviennent le référentiel de performance organique « à nu ».
Quand on applique une modification sur les pages « test », on compare l’évolution des citations par rapport à ce groupe témoin. Pas de purge statistique, mais un différentiel net, répétable, documenté. 3. Superposer les données propriétaires.
Google lève le voile avec ses nouvelles données AI Visibility dans Search Console, mais c’est partiel. Ça ne couvre ni ChatGPT ni Perplexity. Alors on construit ses propres tableaux de bord, en croisant les données de crawl issues d’outils comme ZipTie, les logs serveur, et les rapports manuels de citations sur chaque plateforme. L’ordre de grandeur devient fiable. Ce triptyque change la donne. On arrête le doigt mouillé pour entrer dans un processus d’ingénierie de test. C’est là que le Contrôle, au sens DOSE, se solidifie.
Voici les 6 étapes clés de la méthodologie de test AI Search présentée dans cet article. Chaque étape est documentée et reproductible.
Les 6 étapes du protocole de test AI Search
De la définition des prompts à la répétition des cycles
Les 6 étapes de ma méthodologie de test AI Search
Quand j’ai présenté cette méthode à un client, il m’a dit : « C’est de l’algèbre. »
Non.
C’est de l’architecture.
Une structure en 6 étapes, qui s’applique quel que soit le CMS, le secteur ou la taille du catalogue.
Étape 1 – Définir les prompts à traquer.
On dresse la liste exhaustive des questions posées aux IA sur le marché. On sélectionne celles qui contiennent un nom de marque, un terme produit, ou une intention transactionnelle. On obtient une matrice de 40 à 60 entrées. Pas plus.
Étape 2 – Établir la baseline de citations.
Pendant 2 semaines, on relève manuellement (ou via API) la position et le texte de citation pour chaque couple prompt/modèle. Aucune action SEO pendant cette période.
Étape 3 – Construire un groupe témoin intra-site.
3 à 5 pages « sœurs » non optimisées IA servent de référence. Même gabarit, même niveau de maillage, même fréquence de mise à jour.
Étape 4 – Appliquer une modification contrôlée.
On peut jouer sur le balisage Schema (FAQ, HowTo, entités), sur l’ajout de citations tierces, ou sur la densité d’entités nommées. Une seule variable à la fois. Période d’observation : 10 à 14 jours.
Étape 5 – Relever les variations.
On compare les citations des pages test par rapport aux pages témoin pour chaque plateforme (ChatGPT, Claude, Gemini, Perplexity). On calcule un indice de citation moyen.
Étape 6 – Itérer et documenter.
On ajuste la variable, on relance un cycle. Au bout de 3 cycles, on a un guide reproductible.
Un exemple concret : un site de 945 pages, sur le créneau des équipements de laboratoire.
Au départ : 11 citations sur 40 prompts cibles.
Après 2 cycles de test, +42 % de citations nettes. Pas une moyenne. Une mesure brute, page par page, prompt par prompt.
Le tout sans un seul test A/B. Sans outil magique. Avec une discipline de fer.
L’erreur à 15 000 € que je vois chaque semaine
Un autre client, un pure player e-commerce, avait décidé de tout mesurer. Tous les prompts. Tous les modèles. Toutes les pages.
15 000 € investis en outils de suivi, en dashboards temps réel, en consulting externe.
Trois mois plus tard, l’équipe nageait dans 27 000 points de données.
Aucune décision n’était possible.
Le signal était noyé dans le bruit.
Je vois ce piège partout. Vouloir suivre « tout, tout le temps » va à l’encontre du Contrôle. Le cerveau humain a besoin de patterns lisibles, pas d’une frénésie de métriques.
La solution : réduire le champ. Moins de prompts, mais des prompts qualifiés. Un seul changement par cycle. Un seul indicateur directeur.
L’autre écueil : oublier que ChatGPT et Perplexity ne réagissent pas aux mêmes signaux. Ce qui booste les citations sur l’un peut être ignoré par l’autre. Mieux vaut tenir une matrice séparée, ne jamais agréger les résultats en un seul score.
Et surtout, ne jamais sauter une étape de contrôle. L’empressement à voir des résultats rapides est le fossoyeur de la mesure.
Le Contrôle, c’est la capacité à dire « cette action a produit exactement ce delta, sur ce modèle, pour ces 7 prompts ». Rien de plus.
Et c’est déjà énorme.
Ce qui différencie un programme de test d’un one-shot
J’ai sous les yeux deux courbes.
Celle d’un site qui a testé une fois, a eu un pic, puis a stagné.
Celle d’un site qui a intégré la méthodologie en cycle de 6 semaines.
La première ressemble à un électrocardiogramme.
La seconde à un escalier.
Trois facteurs font la différence :
- La documentation. Chaque test est noté avec la variable, la durée, le delta de citations par plateforme. Sans ça, l’équipe repart de zéro tous les trimestres.
- L’alignement avec le maillage sémantique. Une citation IA n’arrive pas par hasard. Elle vient souvent de l’autorité bâtie par un cocon. Mes clients qui ont un maillage en étoiles obtiennent des citations plus stables sur les prompts de niche. Ce n’est pas une corrélation : je l’ai vu sur 12 projets.
- Le rythme d’itération. 14 jours, pas plus. Un cycle long dilue l’effet de la variable ; un cycle court ne laisse pas le temps aux robots de recrawler et aux modèles de réapprendre.
Ceux qui stabilisent le canal IA Search ne sont pas ceux qui ont raison du premier coup.
Ce sont ceux qui documentent leurs échecs.
C’est contre-intuitif, mais ça se vérifie.
Voilà le cœur du Contrôle : savoir refaire ce qui a marché, sans compter sur un alignement de planètes.
Appliquez ce cadre à votre propre écosystème
Vous pouvez démarrer dès demain, sans budget supplémentaire.
Prenez 10 prompts conversationnels qui rapportent du trafic ou des conversions. Ceux que vos commerciaux entendent en rendez-vous.
Relevez les citations actuelles sur ChatGPT, Perplexity, Claude.
Attendez une semaine sans toucher à rien.
Puis modifiez un seul élément sur les pages correspondantes – un bloc de FAQ, une entité Wikidata, une citation d’autorité.
Observez pendant 10 jours.
Comparez au groupe témoin.
Vous avez un premier delta.
Répétez.
Au bout de 3 cycles, vous aurez un jeu de données plus fiable que n’importe quel rapport d’agence clé en main.
Le déclic, c’est quand l’équipe SEO passe de l’espoir au protocole.
Fini le « J’espère qu’on sera cité sur cette requête. »
Place au « Je sais quelle modification augmente les citations sur ce panier de prompts, et je peux le refaire. »
Je ne vous vends pas la méthode. Je vous montre les pages.
Et les pages, elles ne mentent pas.
Vous avez déjà tenté de mesurer l’IA Search. Comment avez-vous isolé ce qui marche vraiment ?
À l’heure où j’écris, 4 équipes sur 5 n’ont aucun dispositif de test structuré.
Elles naviguent au ressenti, avec des tableaux de bord qui agrègent tout sans rien isoler.
Et vous ?
Quand votre direction demande « Montre-moi ce qui a généré ce pic de citations en mars », vous répondez quoi ?
Un doigt pointé sur un graphe ?
Ou un playbook documenté ?
Si vous n’avez pas cette structure, sur quoi basez-vous votre prochaine décision ?
Passez à l’action : un audit AI Search en direct
En 45 minutes, je vous montre quels prompts génèrent déjà des citations pour votre site et comment isoler les modifications qui produiront le prochain delta. Directement applicable sur votre écosystème.
Réserver un appel diagnostic — 30 minQuestions fréquentes
Pourquoi un test A/B classique ne fonctionne-t-il pas sur ChatGPT ?
La page de résultats évolue à chaque requête. Chaque réponse est unique : elle dépend du contexte et du modèle. L’historique de la conversation joue aussi. Impossible d’attribuer une variation de citation à une seule variable.
Peut-on utiliser les données de Google Search Console pour suivre l’IA Search ?
Oui, la section AI Visibility indique les citations dans Google AI Overviews. Elle ne couvre ni ChatGPT, ni Perplexity, ni Claude. Je croise avec des outils tiers et des relevés manuels pour une vision complète.
Combien de temps faut-il pour voir les premiers résultats d’un test ?
Avec des cycles de 10 à 14 jours, on obtient des premiers deltas fiables après 2 cycles, soit environ un mois. Ne raccourcissez pas la période d’observation, sinon vous captez du bruit.
Faut-il tester toutes les pages d’un site pour l’IA Search ?
Non, c’est l’erreur classique. Je prends un groupe de pages test et un petit groupe témoin, puis j’applique une variable à la fois. Les résultats restent exploitables sans submerger l’équipe.
Quels outils recommandez-vous pour suivre les citations IA ?
On utilisé ZipTie, SEOmonitor ou l’API Perplexity pour suivre les citations. Mais il faut d’abord poser une méthodologie de test rigoureuse. L’outil automatise ensuite le relevé.
