Scale and the context window · Attention & transformers

Key pointsL'essentiel

Processing everything at once is what made training at internet scale possible: the “large” in large language model starts here.
Attention compares every pair of words, so long texts get expensive fast. Every model therefore caps the text it takes at once, and that cap is its context window.

Why “large” starts here

The transformer improved quality, and the deeper change was economic. A sequential model processes words like customers in a single queue: one at a time, however fast each step is. A transformer opens every checkout lane at once, which is exactly the workload graphics processors are built for.

Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.

Figure 7. Left, each step feeds the next, so the words are worked through in order. Right, nothing waits: every word is worked on in the same step, and every word is connected to every other.

Training on text collections that were unthinkably large in 2016 became routine within a few years, and model and data sizes grew by orders of magnitude (Hoffmann et al., 2022). Every system in the LLM lifecycle module is a transformer at heart (see also the LLM lifecycle module) (voir aussi le module Cycle de vie des GML); without parallel processing, “large” would have stayed out of reach.

computinginformatique DefinitionDéfinition · parallel processingtraitement parallèle · fr: traitement parallèle· en : parallel processing

The performance of two or more computational operations at the same time, typically by distributing the work across multiple processor cores or computing devices.Exécution simultanée de deux opérations de calcul ou plus, généralement en répartissant le travail entre plusieurs cœurs de processeur ou appareils de calcul. (American National Standards Institute, 1990)

NotesRemarques In AI, it can reduce computation time by allowing independent calculations or portions of data to be processed simultaneously rather than sequentially. During transformer training, many computations involving the tokens in an input sequence can be performed in parallel; the model's ability to represent relationships between distant tokens comes from its attention mechanism, not from parallel processing itself.En IA, il peut réduire le temps de calcul en permettant de traiter simultanément, plutôt que successivement, des calculs indépendants ou des portions de données. Pendant l'entraînement d'un transformeur, de nombreux calculs portant sur les jetons d'une séquence d'entrée peuvent être effectués en parallèle ; la capacité du modèle à représenter les relations entre jetons éloignés vient de son mécanisme d'attention, pas du traitement parallèle lui-même.

The cost of attention

Attention weighs every pair of words, so doubling the length of a text roughly quadruples the work. Somewhere, every model has to cap how much text it processes at once, and that cap is the context window: the reason a chatbot loses the thread of a long conversation, and the reason “translate this 200-page document in one go” is not how any of these systems works (see also the Counting in tokens page) (voir aussi la page Compter en jetons).

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Updated 2 October 2026

Key pointsL'essentiel

Le traitement simultané de tous les mots a rendu possible l’entraînement à l’échelle d’Internet : le « grand » des grands modèles de langue commence ici.
L’attention compare chaque paire de mots : les longs textes coûtent donc vite cher. Chaque modèle plafonne le texte qu’il prend d’un coup, et ce plafond est sa fenêtre contextuelle.

Pourquoi le « grand » commence ici

Le transformeur a amélioré la qualité, et le changement le plus profond a été économique. Un modèle séquentiel traite les mots comme des clients dans une seule file : un à la fois, aussi rapide que soit chaque étape. Un transformeur ouvre toutes les caisses en même temps, ce qui est exactement la charge de travail pour laquelle les processeurs graphiques sont faits.

Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.

Figure 7. À gauche, chaque étape alimente la suivante : les mots sont donc traités dans l'ordre. À droite, rien n'attend : tous les mots sont traités à la même étape, et chaque mot est relié à tous les autres.

Entraîner sur des ensembles de textes d’une taille inimaginable en 2016 est devenu courant en quelques années, et la taille des modèles comme celle des données ont augmenté de plusieurs ordres de grandeur (Hoffmann et al., 2022). Tous les systèmes du module sur le cycle de vie des GML sont des transformeurs au fond (see also the LLM lifecycle module) (voir aussi le module Cycle de vie des GML) ; sans le traitement parallèle, le « grand » serait resté hors de portée.

computinginformatique DefinitionDéfinition · parallel processingtraitement parallèle · fr: traitement parallèle· en : parallel processing

The performance of two or more computational operations at the same time, typically by distributing the work across multiple processor cores or computing devices.Exécution simultanée de deux opérations de calcul ou plus, généralement en répartissant le travail entre plusieurs cœurs de processeur ou appareils de calcul. (American National Standards Institute, 1990)

NotesRemarques In AI, it can reduce computation time by allowing independent calculations or portions of data to be processed simultaneously rather than sequentially. During transformer training, many computations involving the tokens in an input sequence can be performed in parallel; the model's ability to represent relationships between distant tokens comes from its attention mechanism, not from parallel processing itself.En IA, il peut réduire le temps de calcul en permettant de traiter simultanément, plutôt que successivement, des calculs indépendants ou des portions de données. Pendant l'entraînement d'un transformeur, de nombreux calculs portant sur les jetons d'une séquence d'entrée peuvent être effectués en parallèle ; la capacité du modèle à représenter les relations entre jetons éloignés vient de son mécanisme d'attention, pas du traitement parallèle lui-même.

Le coût de l’attention

L’attention pèse chaque paire de mots : doubler la longueur d’un texte quadruple donc à peu près le travail. Chaque modèle doit plafonner quelque part la quantité de texte qu’il traite d’un coup, et ce plafond est la fenêtre contextuelle : la raison pour laquelle un agent conversationnel perd le fil d’une longue conversation, et la raison pour laquelle « traduis-moi ce document de 200 pages d’un coup » n’est pas la façon dont ces systèmes fonctionnent (see also the Counting in tokens page) (voir aussi la page Compter en jetons).

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Mise à jour 10 septembre 2026

Sources

Hoffmann, J., Borgeaud, S., Mensch, A., Buchatskaya, E., Cai, T., Rutherford, E., et al. (2022). An empirical analysis of compute-optimal large language model training. Advances in Neural Information Processing Systems 35 (NeurIPS 2022). https://proceedings.neurips.cc/paper_files/paper/2022/hash/c1e2faff6f588870935f114ebe04a3e5-Abstract-Conference.html
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., et al. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems 30 (NIPS 2017). https://papers.nips.cc/paper_files/paper/2017/hash/3f5ee243547dee91fbd053c1c4a845aa-Abstract.html

Sources

Hoffmann, J., Borgeaud, S., Mensch, A., Buchatskaya, E., Cai, T., Rutherford, E., et al. (2022). An empirical analysis of compute-optimal large language model training. Advances in Neural Information Processing Systems 35 (NeurIPS 2022). https://proceedings.neurips.cc/paper_files/paper/2022/hash/c1e2faff6f588870935f114ebe04a3e5-Abstract-Conference.html
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., et al. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems 30 (NIPS 2017). https://papers.nips.cc/paper_files/paper/2017/hash/3f5ee243547dee91fbd053c1c4a845aa-Abstract.html

Scale and the context windowL'échelle et la fenêtre contextuelle

Why “large” starts here

The cost of attention

Pourquoi le « grand » commence ici

Le coût de l’attention

Sources

Sources

Spotted an error? Une erreur ?

Scale and the context windowL'échelle et la fenêtre contextuelle

Why “large” starts here

The cost of attention

Pourquoi le « grand » commence ici

Le coût de l’attention

Sources

Sources

Pourquoi le « grand » commence ici