The bottleneckLe goulot d'étranglement

TRA6008 S2 · in classS2 · en classe

Context matters

Texts are full of context-dependent choices and interpretations, at every scale:

• the word that settles an ambiguity, thirty words earlier in the same sentence;
• the latter, referring to something named three sentences ago;
• a pronoun pointing back two paragraphs;
• a term defined in the introduction and used throughout.

One pass, and no going back

Before the transformer, a model read a sentence the way it arrives: one word at a time, updating a running summary as it went. ELMo was still built that way in 2018, with two passes over the sentence, each of them one word at a time (Peters et al., 2018).

That sounds natural, because it is how you read too. You commit as you go, and a later word sometimes breaks the reading you committed to: the horse raced past the barn fell sends you back to the beginning. Sentences like that are called garden-path sentences, tricking you into one reading at the beginning and making you reconsider at the end. Without the ability to go backwards, models would not be able to deal with this.

Processing one word at a time in order has a structural weakness as well. Everything the model knows about word 3 has to survive, inside that running summary, through the processing of words 4, 5 and 6 to matter at word 50. Each step blurs it a little, like a game of broken telephone.A party game: one player whispers a phrase to the next along a line, each passing on what they think they heard, and the last says aloud what reached them. Over a short span the message arrives; over a long one what arrives is a paraphrase of a paraphrase.

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Updated 1 October 2026

Le contexte compte

Les textes sont pleins de choix et d’interprétations qui dépendent du contexte, à toutes les échelles :

• le mot qui lève une ambiguïté, trente mots plus tôt dans la même phrase ;
• ce dernier, qui renvoie à quelque chose nommé trois phrases plus haut ;
• un pronom qui renvoie deux paragraphes en arrière ;
• un terme défini dans l’introduction et employé partout ensuite.

Un seul passage, sans retour

Avant le transformeur, un modèle lisait une phrase telle qu’elle arrive : un mot à la fois, en mettant à jour un résumé courant à mesure. ELMo était encore construit ainsi en 2018, avec deux passages sur la phrase, chacun un mot à la fois (Peters et al., 2018).

Cela paraît naturel, parce que c’est aussi votre façon de lire. Vous vous engagez à mesure, et un mot plus loin brise parfois la lecture à laquelle vous vous étiez engagé : the horse raced past the barn fell vous renvoie au début. On appelle ces phrases des phrases-pièges : elles vous entraînent vers une première lecture, puis vous forcent à revenir sur elle à la fin. Sans la possibilité de revenir en arrière, les modèles ne sauraient pas s’en tirer.

Traiter un mot à la fois, dans l’ordre, a aussi une faiblesse structurelle. Tout ce que le modèle sait du mot 3 doit survivre, dans ce résumé courant, au traitement des mots 4, 5 et 6 pour compter encore au mot 50. Chaque étape le brouille un peu, comme au téléphone arabe.Un jeu de société : un joueur chuchote une phrase au suivant le long d’une file, chacun transmet ce qu’il croit avoir entendu, et le dernier dit à voix haute ce qui lui est parvenu. Sur une courte distance, le message arrive ; sur une longue, il n’arrive plus que la paraphrase d’une paraphrase.

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Mise à jour 1er octobre 2026