Bien comprendre l’algorithme BERT : comment Google lit le contexte d’une phrase entière

Le 25 octobre 2019, Google déployait BERT dans son moteur de recherche, une technologie que l’entreprise a présentée comme l’une des avancées les plus importantes de ces 5 dernières années pour comprendre une requête. Le nom, pour Bidirectional Encoder Representations from Transformers, vient d’une publication de recherche de l’équipe Google AI Language parue en 2018, bien avant son application concrète à la recherche. Ce délai d’un an entre la publication académique et son déploiement dans le moteur de recherche a laissé le temps à l’industrie du traitement du langage de tester et d’adapter ce modèle à d’autres usages que la seule recherche web. Cette page complète Les algorithmes Google liés au sens : du Knowledge Graph au Neural Matching, le socle du SEO sémantique.

La nouveauté principale de BERT tient à sa lecture bidirectionnelle du texte : plutôt que d’analyser une phrase mot après mot dans un seul sens, de gauche à droite, le modèle tient compte simultanément des mots qui précèdent et des mots qui suivent chaque terme pour en déduire le sens exact dans ce contexte précis. Cette page détaille le principe de cette lecture bidirectionnelle, pourquoi elle a particulièrement amélioré la compréhension des petits mots et des nuances, et ce que cette sensibilité au contexte implique pour la rédaction d’un contenu destiné à un cocon sémantique.

La lecture bidirectionnelle : ce qui distingue vraiment BERT

Avant BERT, les modèles de traitement du langage analysaient le plus souvent un texte dans un seul sens, en lisant les mots les uns après les autres pour construire une compréhension progressive de la phrase. Cette approche séquentielle fonctionne, mais elle limite la prise en compte des mots qui arrivent plus tard dans la phrase pour éclairer le sens d’un mot déjà lu. Un mot placé en début de phrase pouvait ainsi être interprété avant même que le modèle n’ait lu la fin de cette même phrase, alors que cette fin change parfois complètement le sens du mot initial.

C’est cette flexibilité qui a aidé Google à appliquer la même architecture à des tâches de compréhension très différentes les unes des autres.

Pourquoi les petits mots comptent désormais davantage

BERT a amélioré la prise en compte de ce type de nuance, essentielle pour les négations, les comparaisons, et les relations entre 2 éléments d’une même phrase. Un contenu qui répond à une question avec précision, en respectant ces nuances plutôt qu’en traitant la question de façon approximative, se fait mieux comprendre par un modèle sensible à ce niveau de détail. Au moment de son déploiement, Google a estimé que BERT touchait environ 10 % des requêtes en anglais aux États-Unis, une proportion ensuite étendue à davantage de langues et de fonctionnalités de recherche, notamment les extraits optimisés affichés directement dans les résultats.

Ce que BERT change pour la rédaction d’un cocon sémantique

Un contenu rédigé pour un cocon sémantique gagne à soigner les mêmes nuances que BERT cherche à interpréter : les prépositions, les négations, les comparaisons entre 2 situations proches mais distinctes. Une phrase imprécise sur ces détails risque d’être mal comprise, même si le vocabulaire principal reste correct. Cette exigence de précision rejoint directement la logique du glissement sémantique entre les pages d’un cocon : chaque page doit répondre avec exactitude à sa propre facette du sujet, sans flou sur les nuances qui la distinguent des pages voisines, au risque de brouiller la compréhension que Google se construit de l’ensemble.

Relire un paragraphe en se demandant si une négation, une comparaison ou une préposition reste parfaitement claire, sans ambiguïté possible pour un lecteur extérieur au sujet, aide concrètement à repérer ce type d’imprécision avant publication. Déployé en 2019, 6 ans après Hummingbird et 4 ans après RankBrain, BERT referme pour l’instant cette frise de 4 algorithmes qui ont progressivement rapproché la compréhension de Google de celle d’un lecteur humain, du simple mot-clé jusqu’à la nuance exacte d’une phrase entière.

La limite : BERT comprend mieux, il ne juge pas la qualité

BERT améliore la compréhension d’une requête et d’une page, il ne remplace pas les signaux qui jugent la qualité générale d’un contenu ou l’autorité d’un site. Une page bien comprise par BERT, mais pauvre sur le fond, ne profite pas automatiquement d’un meilleur classement. Cette distinction évite une confusion fréquente : une meilleure compréhension d’un texte par Google ne signifie jamais une meilleure appréciation de sa qualité réelle pour le lecteur, 2 critères qui restent jugés séparément. La priorité reste donc la même qu’avant BERT : écrire un contenu utile et précis. BERT aide simplement Google à mieux reconnaître cette précision quand elle existe réellement dans le texte, plutôt qu’à la deviner approximativement comme le faisaient les modèles antérieurs.

Questions fréquentes

Testez vos connaissances

Stéphane Jambu LinkedIn ↗

Consultant e-commerce / visibilité / IA, fondateur de Hi-Commerce. Praticien du cocon sémantique depuis 2012, auteur de cette page dans le cadre du méta-cocon de référence Hi-Commerce sur le sujet.

Sources :

• Google, blog officiel, 25/10/2019 (déploiement de BERT dans la recherche)
• Devlin et al., Google AI Language, 2018 (publication de recherche BERT)
• Connaissances générales vérifiables : proportion de requêtes concernées au lancement