Ayla's learning materials Matériel pédagogique d'Ayla
Public

How much text a model readsQuelle quantité de texte lit un modèle

TRA6008 S2 · in classS2 · en classe

How much text goes into one model

The dataset assembled to train GPT-3 came to 499 billion tokens, of which the model saw 300 billion during training (Brown et al., 2020). A few years later, Chinchilla was trained on 1.4 trillion (Hoffmann et al., 2022). The published figures have gone on climbing since: 15.6 trillion tokens for Llama 3.1 in 2024 (Grattafiori et al., 2024), 36 trillion for Qwen3 in 2025 (Yang et al., 2025b).These are the figures that were published. OpenAI’s report on GPT-4 says it gives “no further details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar” (OpenAI, 2023), and the other large providers say no more, so the size of the models most people use today is a matter of estimate rather than record.

Those figures mean very little on their own, so here is a comparison to try to get a better grasp:

Reading at roughly five tokens a second, without stopping to eat or sleep, 1.4 trillion tokens would take somewhere near nine thousand years. Qwen3’s 36 trillion would take about two hundred and thirty thousand.

Four bars on a logarithmic scale of years spent reading nonstop at five tokens a second: a hundred years, GPT-3's training data at about three thousand years, Chinchilla's at about nine thousand, and Qwen3's at about two hundred and thirty thousand.
Figure 1. The same quantities as time spent reading, which is the only scale most of us have for them. Token counts from Brown et al. (2020), Hoffmann et al. (2022) and Yang et al. (2025b).

How the amounts have grown

Adjustable parameters plotted from 2018 to 2026 on a logarithmic scale: GPT-1 at 117 million, BERT-large at 340 million, GPT-2 at 1.5 billion, GPT-3 at 175 billion, Chinchilla at 70 billion, PaLM at 540 billion, Llama 2 at 70 billion, Llama 3.1 at 405 billion and Kimi K3 at 2.8 trillion.
Figure 2. Number of adjustable parameters per model, 2018 to 2026, on a logarithmic scale. Kimi K3's 2.8 T is the total it contains; about 104 B of them run for any one token. Figures from Radford et al. (2019), Devlin et al. (2019), Brown et al. (2020), Hoffmann et al. (2022), Chowdhery et al. (2022), Touvron et al. (2023), Grattafiori et al. (2024) and Kimi Team (2026).
Training tokens plotted from 2020 to 2026 on a logarithmic scale: GPT-3 at 300 billion, PaLM at 780 billion, Chinchilla at 1.4 trillion, Llama 2 at 2 trillion, Llama 3.1 at 15.6 trillion, and Qwen3 at 36 trillion.
Figure 3. Number of training tokens per model, 2020 to 2026, on a logarithmic scale. Figures from Brown et al. (2020), Hoffmann et al. (2022), Chowdhery et al. (2022), Touvron et al. (2023), Grattafiori et al. (2024) and Yang et al. (2025b).

The growth went into the text rather than into the model. Chinchilla and Llama 2 are smaller models than GPT-3 and were trained on several times more text, after Hoffmann et al. (2022) showed that for a given amount of computation a smaller model trained on more data does better (see also the Pretraining chapter) (voir aussi le chapitre Préentraînement).

Neither figure describes the best-known models after 2023, because their builders stopped publishing the figures. Everything plotted here comes from the open-weight models open-weight modelmodèle à poids ouverts AIIA An AI model whose trained parameters, commonly called weights, are made available for others to download.Modèle d'IA dont les paramètres entraînés, appelés poids, sont offerts au téléchargement. ; the scale of the closed ones is a matter of outside estimate (Epoch AI, 2026).

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Updated 19 September 2026

Quelle quantité de texte entre dans un modèle

Le jeu de données réuni pour entraîner GPT-3 comptait 499 milliards de jetons, dont le modèle a vu 300 milliards pendant l’entraînement (Brown et al., 2020). Quelques années plus tard, Chinchilla était entraîné sur 1 400 milliards (Hoffmann et al., 2022). Les chiffres publiés n’ont cessé de grimper depuis : 15 600 milliards de jetons pour Llama 3.1 en 2024 (Grattafiori et al., 2024), 36 000 milliards pour Qwen3 en 2025 (Yang et al., 2025b).Ce sont là les chiffres qui ont été publiés. Le rapport d’OpenAI sur GPT-4 précise qu’il ne donne « aucun détail supplémentaire sur l’architecture (y compris la taille du modèle), le matériel, le calcul d’entraînement, la construction du jeu de données, la méthode d’entraînement ou autre » (OpenAI, 2023), et les autres grands fournisseurs n’en disent pas davantage. La taille des modèles que la plupart des gens utilisent aujourd’hui relève donc de l’estimation plutôt que du fait établi.

Ces chiffres ne veulent pas dire grand-chose en eux-mêmes ; voici donc une comparaison pour tenter de mieux les saisir :

À raison d’environ cinq jetons par seconde, sans s’arrêter pour manger ni pour dormir, 1 400 milliards de jetons prendraient près de neuf mille ans. Les 36 000 milliards de Qwen3 en prendraient environ deux cent trente mille.

Quatre barres sur une échelle logarithmique du temps de lecture sans arrêt, à cinq jetons par seconde : cent ans, les données d'entraînement de GPT-3 à environ trois mille ans, celles de Chinchilla à environ neuf mille, et celles de Qwen3 à environ deux cent trente mille.
Figure 1. Les mêmes quantités exprimées en temps de lecture, la seule échelle dont la plupart d'entre nous disposent pour elles. Nombres de jetons tirés de Brown et al. (2020), Hoffmann et al. (2022) et Yang et al. (2025).

Comment les quantités ont augmenté

Paramètres ajustables de 2018 à 2026 sur une échelle logarithmique : GPT-1 à 117 millions, BERT-large à 340 millions, GPT-2 à 1,5 milliard, GPT-3 à 175 milliards, Chinchilla à 70 milliards, PaLM à 540 milliards, Llama 2 à 70 milliards, Llama 3.1 à 405 milliards et Kimi K3 à 2 800 milliards.
Figure 2. Nombre de paramètres ajustables par modèle, de 2018 à 2026, sur une échelle logarithmique. Les 2 800 milliards de Kimi K3 sont le total qu'il contient ; environ 104 milliards servent pour un jeton donné. Chiffres tirés de Radford et al. (2019), Devlin et al. (2019), Brown et al. (2020), Hoffmann et al. (2022), Chowdhery et al. (2022), Touvron et al. (2023), Grattafiori et al. (2024) et Kimi Team (2026).
Jetons d'entraînement de 2020 à 2026 sur une échelle logarithmique : GPT-3 à 300 milliards, PaLM à 780 milliards, Chinchilla à 1 400 milliards, Llama 2 à 2 000 milliards, Llama 3.1 à 15 600 milliards et Qwen3 à 36 000 milliards.
Figure 3. Nombre de jetons d'entraînement par modèle, de 2020 à 2026, sur une échelle logarithmique. Chiffres tirés de Brown et al. (2020), Hoffmann et al. (2022), Chowdhery et al. (2022), Touvron et al. (2023), Grattafiori et al. (2024) et Yang et al. (2025).

La croissance est allée au texte plutôt qu’au modèle. Chinchilla et Llama 2 sont des modèles plus petits que GPT-3 et ont été entraînés sur plusieurs fois plus de texte, après que Hoffmann et al. (2022) ont montré qu’à quantité de calcul donnée, un modèle plus petit entraîné sur plus de données fait mieux (see also the Pretraining chapter) (voir aussi le chapitre Préentraînement).

Ni l’une ni l’autre figure ne décrit les modèles les plus connus après 2023, parce que ceux qui les construisent ont cessé d’en publier les chiffres. Tout ce qui est représenté ici vient des modèles à poids ouverts open-weight modelmodèle à poids ouverts AIIA An AI model whose trained parameters, commonly called weights, are made available for others to download.Modèle d'IA dont les paramètres entraînés, appelés poids, sont offerts au téléchargement.  ; l’échelle des modèles fermés relève de l’estimation externe (Epoch AI, 2026).

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Mise à jour 23 septembre 2026

Sources

Sources

Spotted an error? Une erreur ?

Language, content, a broken link: e-mail me what you saw and I will fix it. Langue, contenu, lien brisé : écrivez-moi ce que vous avez vu et je corrige.

ayla.rigouts.terryn@umontreal.ca

Please mention the page: Mentionnez la page :