Administrator

How much text goes into one model

The dataset assembled to train GPT-3 came to 499 billion tokens, of which the model saw 300 billion during training (Brown et al., 2020). A few years later, Chinchilla was trained on 1.4 trillion (Hoffmann et al., 2022). The published figures have gone on climbing since: 15.6 trillion tokens for Llama 3.1 in 2024 (Grattafiori et al., 2024), 36 trillion for Qwen3 in 2025 (Yang et al., 2025b).These are the figures that were published. OpenAI’s report on GPT-4 says it gives “no further details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar” (OpenAI, 2023), and the other large providers say no more, so the size of the models most people use today is a matter of estimate rather than record.

Those figures mean very little on their own, so here is a comparison to try to get a better grasp:

Reading at roughly five tokens a second, without stopping to eat or sleep, 1.4 trillion tokens would take somewhere near nine thousand years. Qwen3’s 36 trillion would take about two hundred and thirty thousand.

How the amounts have grown

The growth went into the text rather than into the model. Chinchilla and Llama 2 are smaller models than GPT-3 and were trained on several times more text, after Hoffmann et al. (2022) showed that for a given amount of computation a smaller model trained on more data does better (see also the Pretraining chapter) (voir aussi le chapitre Préentraînement).

Neither figure describes the best-known models after 2023, because their builders stopped publishing the figures. Everything plotted here comes from the open-weight models open-weight modelmodèle à poids ouverts AIIA An AI model whose trained parameters, commonly called weights, are made available for others to download.Modèle d'IA dont les paramètres entraînés, appelés poids, sont offerts au téléchargement. ; the scale of the closed ones is a matter of outside estimate (Epoch AI, 2026).

Crawling the web

The largest single source for most models is a crawl of the public web.

A downloaded page comes with navigation menus, cookie banners, advertisements, boilerplate footers and the HTML that structures all of it, so the running text has to be pulled out of the markup first, and that extraction is itself imperfect.

What went into one published model

GPT-3 is a useful case because its composition was published, which is unusual (Brown et al., 2020).

Source	Tokens	Share of training
Common Crawl (filtered)	410 billion	60 %
WebText2	19 billion	22 %
Books1	12 billion	8 %
Books2	55 billion	8 %
Wikipedia	3 billion	3 %

The table names sources it does not describe. Brown et al. (2020) account for Books1 and Books2 in a single phrase, “two internet-based books corpora”, and say nothing about what is in them or where they came from, although the two together come to 67 billion tokens and Books2 alone is the second largest source in the list.

A source’s share of the words is the amount of text it contributed. Its share of the training is the number of times the model read that text, and the two come apart: Common Crawl is 82 % of the words and 60 % of the training, while Wikipedia is well under 1 % of the words and 3 % of the training. So the model went through Wikipedia several times over while seeing much of the crawl once or not at all.

Sampling weights manage quality without anyone editing the text. Sources trusted to be clean and well written are read repeatedly; the messy bulk is read thinly.

No labels on any of it

None of this material arrives with annotation data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. . No marker says which language a document is in, whether it is fiction, whether its claims were checked, or whether its author knew the subject. A medical paper and a post inventing a cure are both sequences of tokens whose next word can be predicted.

Four things filtering tries to do

Whole sites are excluded first, through blocklists covering malware, adult content, banking pages and material judged extremist. Within what remains, automatic scoring drops pages that look like spam or gibberish, pages that repeat themselves, and pages that are mostly navigation and advertisement.

Near-duplicates are then removed. The same article is syndicated across dozens of sites, and a model trained on the same text hundreds of times gives it that much more weight, so deduplication is more important than it sounds. GPT-3’s builders describe both document-level fuzzy deduplication and the removal of documents overlapping with their evaluation sets (Brown et al., 2020).

Finally, there are attempts to remove personal information.

Why none of it works completely

These filters are automatic and approximate. Personal information appears in forms no pattern anticipates, a phone number written out in words or an address inside a scanned document, so some of it survives into the corpus and can resurface in what a model produces.

And “low quality” is not a property the text has. Somebody decides that this forum is worth keeping and that one is not, that this dialect reads as error-strewn, that this topic is unsuitable. Those decisions are usually made quickly, at scale, by people with a particular idea of what good writing looks like, and they end up shaping what a model treats as normal language (see also the Bias chapter, in the Critical issues with LLMs module) (voir aussi le chapitre Biais, dans le module Enjeux critiques des GML).

How much of a corpus is English

Xu et al. (2025) surveyed the corpora behind multilingual models and found several, GPT-3 among them, trained on text more than 90 % English. For GPT-3 their figures are 92.7 % English, 1.8 % French, 1.5 % German and 5.9 % everything else.

French, the second language on that list, is one of the best-served languages in the world, and it still accounts for under a fiftieth of what the model read.

There are many attempts at broadening language coverage, either in multilingual models that include more data in other languages, or in models dedicated to a single other language than English. Qwen3, released in 2025, was trained on text in 119 languages and dialects, against 29 for the model it replaced (Yang et al., 2025b). The reporting has not kept pace: almost no model in use publishes its shares, which is why GPT-3 is still the example anyone can quote precisely.

Part of this reflects the web, which is itself skewed toward English. The rest is decisions:

• which crawls to include;
• which quality filters to apply, since a filter trained on English rates other languages badly;
• whether to spend effort on languages that would each add little volume.

Joshi et al. (2020) documented how uneven the resources are across the world’s languages, with a small number well provided for and the great majority having almost nothing available at all.

Why this matters for translation

A general claim about what “an LLM” can do is not portable across languages. A model that drafts fluent English may be noticeably weaker in your other working language, and weaker again in a variety of that language: Quebec French rather than metropolitan French, a regional term, a domain where the local usage differs.

Volume is not the only factor. Models trained on many languages do better in a well-resourced language than models trained on that language alone, and they align best between English and the languages closest to it, which puts French in a comparatively good position on both counts. The benefit has a limit the field calls the curse of multilinguality: at a fixed model size, supporting more languages costs each of them (Xu et al., 2025).

This is a reason to test rather than assume. A model’s fluency is not evidence about its accuracy, and it is least reliable in exactly the places where you would be checking hardest anyway.

A second penalty, in tokens

The imbalance reaches the tokenizer tokenization²jetonisation² language modelsmodèles de langue The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. as well, and the tokenizer passes it on to everyone who uses the model. Because its subword vocabulary is learned mostly from English text, the same sentence costs more tokens in most other languages, and Petrov et al. (2023) measured differences large enough to matter. More tokens for the same content means three things at once:

• a smaller effective context window context windowfenêtre contextuelle language modelsmodèles de langue "The amount of input (like text) that an AI system can process at one time during a task. Think of it as a model's short-term memory. A model can only consider so much text when generating its next response, and once the conversation exceeds its context window, the model starts 'forgetting' prior responses." (Stanford HAI).Quantité d'entrée (du texte, par exemple) qu'un système d'IA peut traiter à la fois pendant une tâche ; en quelque sorte, la mémoire à court terme du modèle. Un modèle ne peut considérer qu'une quantité limitée de texte pour générer sa prochaine réponse et, quand la conversation dépasse sa fenêtre contextuelle, il commence à « oublier » les réponses antérieures (d'après Stanford HAI, traduction libre). , so less room for the document you are working on;
• slower responses;
• a larger bill, where a service charges by the token (see also the Consequences of tokenization chapter, in the Language as numbers module) (voir aussi le chapitre Conséquences de la jetonisation, dans le module Le langage en nombres).

Training data incest

Every corpus described so far was gathered by crawling, and the web has changed: a substantial and growing part of the text on it was produced by a language model. So the corpus for the next model contains the output of the last one, and nothing in the pipeline can reliably tell the two apart.

The effect goes by other names. It circulates as Habsburg AI, after the royal house whose portraits record the effects of inbreeding, for a system trained so heavily on the output of other systems that its features come out exaggerated and distorted; also as AI inbreeding, and as model autophagy disorder.

What happens when training on generated output?

Shumailov et al. (2024) trained models on data generated by their predecessors, over several generations, and found a consistent pattern. A model’s output over-represents what was common in its training, so the next model sees a narrower world than the one before it, and after enough repetitions the output degenerates. The first things to go are whatever was least represented to begin with: a regional variant, a specialized term that has a frequent near synonym, a construction that is correct without being the one a model reaches for first.

Quelle quantité de texte entre dans un modèle

Le jeu de données réuni pour entraîner GPT-3 comptait 499 milliards de jetons, dont le modèle a vu 300 milliards pendant l’entraînement (Brown et al., 2020). Quelques années plus tard, Chinchilla était entraîné sur 1 400 milliards (Hoffmann et al., 2022). Les chiffres publiés n’ont cessé de grimper depuis : 15 600 milliards de jetons pour Llama 3.1 en 2024 (Grattafiori et al., 2024), 36 000 milliards pour Qwen3 en 2025 (Yang et al., 2025b).Ce sont là les chiffres qui ont été publiés. Le rapport d’OpenAI sur GPT-4 précise qu’il ne donne « aucun détail supplémentaire sur l’architecture (y compris la taille du modèle), le matériel, le calcul d’entraînement, la construction du jeu de données, la méthode d’entraînement ou autre » (OpenAI, 2023), et les autres grands fournisseurs n’en disent pas davantage. La taille des modèles que la plupart des gens utilisent aujourd’hui relève donc de l’estimation plutôt que du fait établi.

Ces chiffres ne veulent pas dire grand-chose en eux-mêmes ; voici donc une comparaison pour tenter de mieux les saisir :

À raison d’environ cinq jetons par seconde, sans s’arrêter pour manger ni pour dormir, 1 400 milliards de jetons prendraient près de neuf mille ans. Les 36 000 milliards de Qwen3 en prendraient environ deux cent trente mille.

Comment les quantités ont augmenté

La croissance est allée au texte plutôt qu’au modèle. Chinchilla et Llama 2 sont des modèles plus petits que GPT-3 et ont été entraînés sur plusieurs fois plus de texte, après que Hoffmann et al. (2022) ont montré qu’à quantité de calcul donnée, un modèle plus petit entraîné sur plus de données fait mieux (see also the Pretraining chapter) (voir aussi le chapitre Préentraînement).

Ni l’une ni l’autre figure ne décrit les modèles les plus connus après 2023, parce que ceux qui les construisent ont cessé d’en publier les chiffres. Tout ce qui est représenté ici vient des modèles à poids ouverts open-weight modelmodèle à poids ouverts AIIA An AI model whose trained parameters, commonly called weights, are made available for others to download.Modèle d'IA dont les paramètres entraînés, appelés poids, sont offerts au téléchargement.  ; l’échelle des modèles fermés relève de l’estimation externe (Epoch AI, 2026).

L’exploration du Web

La principale source, pour la plupart des modèles, est une exploration du Web public.

Une page téléchargée arrive avec ses menus de navigation, ses bandeaux de témoins, ses publicités, ses pieds de page standardisés et le HTML qui structure le tout ; il faut donc d’abord extraire le texte courant du balisage, et cette extraction est elle-même imparfaite.

Ce qui est entré dans un modèle publié

GPT-3 est un cas utile parce que sa composition a été publiée, ce qui est rare (Brown et al., 2020).

Source	Jetons	Part de l’entraînement
Common Crawl (filtré)	410 milliards	60 %
WebText2	19 milliards	22 %
Books1	12 milliards	8 %
Books2	55 milliards	8 %
Wikipédia	3 milliards	3 %

Le tableau nomme des sources qu’il ne décrit pas. Brown et al. (2020) rendent compte de Books1 et de Books2 en une seule expression, « deux corpus de livres tirés d’Internet », et ne disent rien de leur contenu ni de leur provenance, alors que les deux réunis font 67 milliards de jetons et que Books2 est à lui seul la deuxième source en importance de la liste.

La part des mots d’une source est la quantité de texte qu’elle a fournie. Sa part de l’entraînement est le nombre de fois que le modèle a lu ce texte, et les deux se dissocient : Common Crawl représente 82 % des mots et 60 % de l’entraînement, tandis que Wikipédia est bien en dessous de 1 % des mots et compte pour 3 % de l’entraînement. Le modèle a donc parcouru Wikipédia plusieurs fois, alors qu’il n’a vu qu’une fois, ou pas du tout, une bonne partie de l’exploration.

Les poids d’échantillonnage gèrent la qualité sans que personne ne modifie le texte. Les sources jugées propres et bien écrites sont lues à répétition ; la masse brouillonne n’est lue que superficiellement.

Aucune étiquette sur tout cela

Aucun de ces textes n’arrive avec une annotation data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. . Aucun marqueur n’indique en quelle langue est un document, s’il s’agit de fiction, si ses affirmations ont été vérifiées, ni si son auteur connaissait le sujet. Un article médical et une publication qui invente un remède sont l’un comme l’autre des suites de jetons dont on peut prédire le mot suivant.

Quatre choses que le filtrage tente de faire

Des sites entiers sont d’abord exclus, au moyen de listes noires couvrant les maliciels, le contenu adulte, les pages bancaires et le contenu jugé extrémiste. Dans ce qui reste, une notation automatique écarte les pages qui ressemblent à du pourriel ou à du charabia, celles qui se répètent, et celles qui sont surtout faites de menus et de publicité.

Les quasi-doublons sont ensuite supprimés. Un même article est repris sur des dizaines de sites, et un modèle qui rencontre un texte des centaines de fois le pondère en conséquence : le dédoublonnage compte donc plus qu’il n’y paraît. Ceux qui ont construit GPT-3 décrivent à la fois un dédoublonnage approximatif au niveau du document et le retrait des documents recoupant leurs jeux d’évaluation (Brown et al., 2020).

Enfin, on tente de retirer les renseignements personnels.

Pourquoi rien de tout cela ne fonctionne complètement

Ces filtres sont automatiques et approximatifs. Les renseignements personnels apparaissent sous des formes qu’aucun motif n’anticipe, un numéro de téléphone écrit en toutes lettres ou une adresse à l’intérieur d’un document numérisé : une partie survit donc jusque dans le corpus et peut ressortir dans ce que produit un modèle.

Et la « faible qualité » n’est pas une propriété du texte. Quelqu’un décide que tel forum mérite d’être conservé et tel autre non, que tel dialecte se lit comme truffé de fautes, que tel sujet ne convient pas. Ces décisions se prennent en général vite, à grande échelle, par des gens qui ont une idée particulière de ce à quoi ressemble une bonne écriture, et elles finissent par façonner ce qu’un modèle traite comme une langue normale (see also the Bias chapter, in the Critical issues with LLMs module) (voir aussi le chapitre Biais, dans le module Enjeux critiques des GML).

Quelle part d’un corpus est en anglais

Xu et al. (2025) ont recensé les corpus derrière les modèles multilingues et en ont trouvé plusieurs, dont GPT-3, entraînés sur du texte anglais à plus de 90 %. Pour GPT-3, leurs chiffres sont 92,7 % d’anglais, 1,8 % de français, 1,5 % d’allemand et 5,9 % pour tout le reste.

Le français, deuxième langue de cette liste, est l’une des mieux servies au monde, et il ne représente pourtant pas un cinquantième de ce que le modèle a lu.

Les tentatives d’élargir la couverture linguistique sont nombreuses, soit dans des modèles multilingues qui intègrent davantage de données dans d’autres langues, soit dans des modèles consacrés à une seule autre langue que l’anglais. Qwen3, paru en 2025, a été entraîné sur du texte dans 119 langues et dialectes, contre 29 pour le modèle qu’il remplace (Yang et al., 2025b). La publication des chiffres n’a pas suivi : presque aucun modèle en usage ne publie ses proportions, et c’est pourquoi GPT-3 reste l’exemple que l’on peut citer avec précision.

Cela tient en partie au Web, lui-même orienté vers l’anglais. Le reste tient à des décisions :

• quelles explorations inclure ;
• quels filtres de qualité appliquer, puisqu’un filtre entraîné sur de l’anglais note mal les autres langues ;
• s’il vaut la peine de consacrer des efforts à des langues qui n’ajouteraient chacune que peu de volume.

Joshi et al. (2020) ont documenté à quel point les ressources sont inégales entre les langues du monde, un petit nombre étant bien pourvues et la grande majorité n’ayant presque rien de disponible.

Pourquoi cela compte en traduction

Une affirmation générale sur ce que « un GML » sait faire ne se transporte pas d’une langue à l’autre. Un modèle qui rédige un anglais fluide peut être nettement plus faible dans votre autre langue de travail, et plus faible encore dans une variété de cette langue : le français québécois plutôt que le français hexagonal, un terme régional, un domaine où l’usage local diffère.

Le volume n’est pas le seul facteur. Les modèles entraînés sur de nombreuses langues font mieux dans une langue bien pourvue que les modèles entraînés sur cette seule langue, et ils alignent le mieux l’anglais et les langues qui en sont les plus proches, ce qui place le français en assez bonne position sur les deux plans. L’avantage a une limite que le domaine appelle la malédiction du multilinguisme : à taille de modèle fixe, prendre en charge plus de langues coûte à chacune d’elles (Xu et al., 2025).

C’est une raison de tester plutôt que de présumer. La fluidité d’un modèle ne renseigne pas sur son exactitude, et elle est la moins fiable précisément là où vous vérifieriez le plus attentivement de toute façon.

Une seconde pénalité, en jetons

Le déséquilibre atteint aussi le segmenteur tokenization²jetonisation² language modelsmodèles de langue The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. , et le segmenteur le transmet à quiconque utilise le modèle. Comme son vocabulaire de sous-mots est appris surtout sur du texte anglais, la même phrase coûte plus de jetons dans la plupart des autres langues, et Petrov et al. (2023) ont mesuré des écarts assez grands pour compter. Plus de jetons pour le même contenu, cela veut dire trois choses à la fois :

• une fenêtre contextuelle context windowfenêtre contextuelle language modelsmodèles de langue "The amount of input (like text) that an AI system can process at one time during a task. Think of it as a model's short-term memory. A model can only consider so much text when generating its next response, and once the conversation exceeds its context window, the model starts 'forgetting' prior responses." (Stanford HAI).Quantité d'entrée (du texte, par exemple) qu'un système d'IA peut traiter à la fois pendant une tâche ; en quelque sorte, la mémoire à court terme du modèle. Un modèle ne peut considérer qu'une quantité limitée de texte pour générer sa prochaine réponse et, quand la conversation dépasse sa fenêtre contextuelle, il commence à « oublier » les réponses antérieures (d'après Stanford HAI, traduction libre). effective plus petite, donc moins de place pour le document sur lequel vous travaillez ;
• des réponses plus lentes ;
• une facture plus élevée, là où un service facture au jeton (see also the Consequences of tokenization chapter, in the Language as numbers module) (voir aussi le chapitre Conséquences de la jetonisation, dans le module Le langage en nombres).

L’inceste des données d’entraînement

Tous les corpus décrits jusqu’ici ont été réunis par exploration, et le Web a changé : une part substantielle et croissante du texte qui s’y trouve a été produite par un modèle de langue. Le corpus du prochain modèle contient donc la sortie du précédent, et rien dans la chaîne de traitement ne permet de les distinguer de façon fiable.

Le phénomène porte d’autres noms. Il circule sous celui d’IA Habsbourg, du nom de la maison royale dont les portraits gardent la trace des effets de la consanguinité, pour un système entraîné si lourdement sur la sortie d’autres systèmes que ses traits ressortent exagérés et déformés ; on parle aussi de consanguinité de l’IA et de trouble d’autophagie des modèles.

Que se passe-t-il quand on s’entraîne sur du texte généré ?

Shumailov et al. (2024) ont entraîné des modèles sur des données produites par leurs prédécesseurs, sur plusieurs générations, et ont constaté un motif constant. La sortie d’un modèle surreprésente ce qui était fréquent dans son entraînement : le modèle suivant voit donc un monde plus étroit que celui d’avant, et après assez de répétitions la sortie dégénère. Ce qui disparaît en premier, c’est ce qui était le moins représenté au départ : une variante régionale, un terme spécialisé doublé d’un quasi-synonyme fréquent, une construction correcte sans être celle vers laquelle un modèle se tourne d’abord.