Who can afford to pretrainQui peut se permettre un préentraînement

TRA6008 To read for S3À lire pour la S3

What a large run costs

Training the largest of the Llama 3 models took up to 16 000 graphics processing units (GPUs), each drawing 700 watts (Grattafiori et al., 2024).

Epoch AI (2026) puts that run at about 89 days and 53 million US dollars.

What is settled before a run, and what is not

The budget is fixed before anything starts, together with the model’s architecture and its number of parameters, and dividing that budget between the size of the model and the amount of text it reads is the design question behind it (Kaplan et al., 2020; Hoffmann et al., 2022).

The text itself is not settled. Grattafiori et al. (2024) report raising the share of non-English data part way through Llama 3’s pretraining, to improve the model in other languages, and dropping sources they had come to judge poor. The run does not go straight through either: hardware fails at this size, and training picks up from the last saved copy of the model’s numbers, a checkpoint.

How many organizations pretrain

Very few, and they are a small number of well-funded companies and labs in the United States and in China, which concentrates a great deal of influence over what these systems read and how they behave (see also the Critical issues with LLMs module) (voir aussi le module Enjeux critiques des GML). A company releasing several models in a year is usually not pretraining several times: the variants come from one run, adapted afterwards by the cheaper steps that follow (see also the Fine-tuning chapter) (voir aussi le chapitre Affinage).

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Updated 14 September 2026

Ce que coûte un grand entraînement

Entraîner le plus grand des modèles Llama 3 a mobilisé jusqu’à 16 000 processeurs graphiques (GPU), chacun consommant 700 watts (Grattafiori et al., 2024).

Epoch AI (2026) estime cet entraînement à environ 89 jours et 53 millions de dollars américains.

Ce qui est fixé avant un entraînement, et ce qui ne l’est pas

Le budget est fixé avant que quoi que ce soit ne commence, tout comme l’architecture du modèle et son nombre de paramètres. Répartir ce budget entre la taille du modèle et la quantité de texte qu’il lit est la question de conception qui le sous-tend (Kaplan et al., 2020 ; Hoffmann et al., 2022).

Le texte lui-même n’est pas fixé. Grattafiori et al. (2024) rapportent avoir augmenté la part de données non anglaises en cours de préentraînement de Llama 3, pour améliorer le modèle dans les autres langues, et avoir écarté des sources qu’ils avaient fini par juger de mauvaise qualité. L’entraînement ne se déroule pas non plus d’une traite : à cette taille, le matériel tombe en panne, et l’entraînement reprend à partir de la dernière copie sauvegardée des nombres du modèle, un point de contrôle (angl. checkpoint).

Combien d’organisations préentraînent

Très peu, et ce sont quelques entreprises et laboratoires bien financés, aux États-Unis et en Chine, ce qui concentre une grande influence sur ce que ces systèmes lisent et sur leur comportement (see also the Critical issues with LLMs module) (voir aussi le module Enjeux critiques des GML). Une entreprise qui publie plusieurs modèles dans une année ne préentraîne généralement pas plusieurs fois : les variantes sortent d’un seul entraînement, adaptées ensuite par les étapes moins coûteuses qui suivent (see also the Fine-tuning chapter) (voir aussi le chapitre Affinage).

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Mise à jour 23 septembre 2026