Administrator

What pretraining is

Once the training data has been prepared and a tokenizer tokenization²jetonisation² language modelsmodèles de langue The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. is ready, you can start training the next-word predictors by having them do exactly that: try to predict the next word, and get better at it. For a large language model, that step is called pretraining.

What one training step does

Pretraining works the way supervised learning does (see also the From rules to machine learning chapter, in the Foundations of AI & NLP module) (voir aussi le chapitre Des règles à l'apprentissage automatique, dans le module Fondements de l'IA et du TAL), with one difference that makes the scale possible.

A stretch of text is taken from the corpus. The model is shown the beginning and asked which token comes next. It produces its probabilities, and those get compared against the token that actually came next. If the right token was given a low probability, the parameters are adjusted so that the same context would push that token a little higher next time.

Each adjustment is tiny. A usable model comes out of their number, across a corpus of trillions of tokens.

Why the corpus needs no labels

Pretraining is affordable at all because the corpus needs no annotation. Every position in every sentence is a ready-made exercise: cover the next token, predict it, uncover it, compare. The text is both the question and the answer key, so a trillion tokens of raw web text can be trained on without anyone marking up a single example.

That arrangement has a name. Training on labels a person wrote is supervised learning; finding structure in data with no answers at all is unsupervised learning unsupervised learningapprentissage non supervisé machine learningapprentissage automatique A machine-learning approach that seeks patterns or structure in data without being given a target label or expected output for each training example.Approche d'apprentissage automatique qui cherche des régularités ou des structures dans les données sans recevoir d'étiquette cible ni de sortie attendue pour chaque exemple d'entraînement. ; taking the answers from the data itself, as with next-word prediction, is neither: that is self-supervised learning.

The human decisions are concentrated in assembling the corpus and deciding what goes into it. The training itself is one arithmetic step repeated until the budget runs out.

What a large run costs

Training the largest of the Llama 3 models took up to 16 000 graphics processing units (GPUs), each drawing 700 watts (Grattafiori et al., 2024).

Epoch AI (2026) puts that run at about 89 days and 53 million US dollars.

What is settled before a run, and what is not

The budget is fixed before anything starts, together with the model’s architecture and its number of parameters, and dividing that budget between the size of the model and the amount of text it reads is the design question behind it (Kaplan et al., 2020; Hoffmann et al., 2022).

The text itself is not settled. Grattafiori et al. (2024) report raising the share of non-English data part way through Llama 3’s pretraining, to improve the model in other languages, and dropping sources they had come to judge poor. The run does not go straight through either: hardware fails at this size, and training picks up from the last saved copy of the model’s numbers, a checkpoint.

How many organizations pretrain

Very few, and they are a small number of well-funded companies and labs in the United States and in China, which concentrates a great deal of influence over what these systems read and how they behave (see also the Critical issues with LLMs module) (voir aussi le module Enjeux critiques des GML). A company releasing several models in a year is usually not pretraining several times: the variants come from one run, adapted afterwards by the cheaper steps that follow (see also the Fine-tuning chapter) (voir aussi le chapitre Affinage).

Asking a base model a question

When you have a base model complete What is the capital of France? it may generate Paris, or it may continue the text in different ways, e.g. what is the capital of Germany?

The model is doing what it was trained for: continue the given text in a plausible way. And there are certainly online sources where that question is followed by more questions instead of an answer. To get the model to behave as a helpful assistant, more training is needed (see also the Fine-tuning chapter) (voir aussi le chapitre Affinage).

A base model will drift between registers within one response for the same reason, continuing a news report, then drifting into something resembling a forum reply, then into what looks like code, because nothing has told it where a response ends or which voice to keep.

The knowledge is there and hard to reach

The model has read about French geography many times, and the association is in its parameters. The difficulty is getting at it reliably: you would have to write a prompt that makes the answer the most likely continuation, for instance by starting the text yourself.

The capital of France is

That is a real technique. But since it is not as intuitive, base models are rarely offered to the public. Most open families publish only an instruction-following version and only some offer the base model checkpoint as well: Meta released Llama 3 as both a pretrained and a post-trained version of the same model (Grattafiori et al., 2024). The models behind ChatGPT and Claude are not released at all.

The difference between base and foundation

The two terms get used as though they were interchangeable, and they answer different questions about a model.

Base answers when. It identifies one point in a pipeline: pretraining has finished, and no further training has happened.

Foundation answers what for. It identifies a model that serves as shared infrastructure, general enough that many specialized systems can be adapted from it. That role is not restricted to text: a broadly trained image or multimodal model multimodal modelmodèle multimodal AIIA An AI model that processes and relates information from two or more data modalities, such as text, images, audio, video, or sensor data.Modèle d'IA qui traite et met en relation l'information de deux modalités de données ou plus, comme le texte, les images, l'audio, la vidéo ou les données de capteurs. is a foundation model on the same reasoning.

They are not the same set. A base model base modelmodèle de base language modelsmodèles de langue A language model that has completed pretraining but has not yet undergone post-training.Modèle de langue qui a terminé son préentraînement mais n'a pas encore reçu de postentraînement. nobody builds on is not a foundation model, and what an application is built on is usually a post-trained model rather than the base checkpoint, so a foundation model is often not a base model at all.

Why a model comes in a family

Neither term names one artefact, in practice. A single pretraining run gives rise to a group of released models: the base checkpoint, one or more instruction-following versions, a version tuned for conversation and safety, and often several sizes of each.

A company’s foundation-model name usually covers that whole group, and the version you reach through a chat interface or an API is one member of it. Two of those members can behave quite differently while sharing all of their pretraining, which is worth knowing when you compare results and find you were not using the same thing twice (see also the Choosing a model chapter, in the Using LLMs module) (voir aussi le chapitre Choisir un modèle, dans le module Utiliser les GML).

Nothing left to consult

Once pretraining ends, the corpus is gone: not shipped with the model, not consultable, no article to reread and no document to retrieve. Everything it has is in its parameters, as numbers.

The corpus also stopped somewhere. Whatever text went into it was gathered up to a point in time, and nothing after that reached the model during training.

Systems that do search

Many systems you use do search. A chat assistant that browses the web, or that answers from documents you upload, is running a search and putting the results into its context before it answers. That search is a separate component around the model, and the retrieved text arrives the way your own prompt does.

Learned parameters, not stored data

The corpus is orders of magnitude bigger than the model, so its parameters keep patterns and associations rather than the text itself (see also the LLMs as next-word predictors chapter) (voir aussi le chapitre Les GML, prédicteurs du mot suivant).

Verbatim reproduction does happen all the same. Text repeated many times across the corpus can be learned closely enough to come back out word for word, and Nasr et al. (2025) showed that a deliberate attack can make a production model emit training data at a far higher rate than ordinary use produces.

Ce qu’est le préentraînement

Une fois les données d’entraînement préparées et un tokenizer tokenization²jetonisation² language modelsmodèles de langue The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. prêt, vous pouvez commencer à entraîner les prédicteurs du mot suivant en leur faisant faire exactement cela : essayer de prédire le mot suivant, et s’y améliorer. Pour un grand modèle de langue, cette étape s’appelle le préentraînement.

Ce que fait une étape d’entraînement

Le préentraînement fonctionne comme l’apprentissage supervisé que vous avez déjà rencontré (see also the From rules to machine learning chapter, in the Foundations of AI & NLP module) (voir aussi le chapitre Des règles à l'apprentissage automatique, dans le module Fondements de l'IA et du TAL), à une différence près, et c’est elle qui rend cette échelle possible.

On prend un passage du corpus. On montre le début au modèle et on lui demande quel jeton vient ensuite. Il produit ses probabilités, qui sont comparées au jeton qui suivait réellement. Si le bon jeton a reçu une probabilité faible, les paramètres sont ajustés de sorte que le même contexte pousse ce jeton un peu plus haut la prochaine fois.

Chaque ajustement est minuscule. Un modèle utilisable naît de leur nombre, sur un corpus de milliers de milliards de jetons.

Pourquoi le corpus n’a pas besoin d’étiquettes

Le préentraînement n’est abordable que parce que le corpus n’a besoin d’aucune annotation. Chaque position de chaque phrase est un exercice tout prêt : cacher le jeton suivant, le prédire, le découvrir, comparer. Le texte est à la fois la question et le corrigé, si bien qu’on peut entraîner un modèle sur mille milliards de jetons de texte brut tiré du Web sans que personne n’annote un seul exemple.

Cette façon de faire a un nom. Entraîner sur des étiquettes écrites par une personne, c’est l’apprentissage supervisé ; trouver des structures dans des données sans aucune réponse, c’est l’apprentissage non supervisé unsupervised learningapprentissage non supervisé machine learningapprentissage automatique A machine-learning approach that seeks patterns or structure in data without being given a target label or expected output for each training example.Approche d'apprentissage automatique qui cherche des régularités ou des structures dans les données sans recevoir d'étiquette cible ni de sortie attendue pour chaque exemple d'entraînement.  ; prendre les réponses dans les données elles-mêmes, comme le fait la prédiction du mot suivant, n’est ni l’un ni l’autre : c’est l’apprentissage autosupervisé.

Les décisions humaines se concentrent dans la constitution du corpus et le choix de ce qui y entre. L’entraînement lui-même est une seule opération arithmétique, répétée jusqu’à épuisement du budget.

Ce que coûte un grand entraînement

Entraîner le plus grand des modèles Llama 3 a mobilisé jusqu’à 16 000 processeurs graphiques (GPU), chacun consommant 700 watts (Grattafiori et al., 2024).

Epoch AI (2026) estime cet entraînement à environ 89 jours et 53 millions de dollars américains.

Ce qui est fixé avant un entraînement, et ce qui ne l’est pas

Le budget est fixé avant que quoi que ce soit ne commence, tout comme l’architecture du modèle et son nombre de paramètres. Répartir ce budget entre la taille du modèle et la quantité de texte qu’il lit est la question de conception qui le sous-tend (Kaplan et al., 2020 ; Hoffmann et al., 2022).

Le texte lui-même n’est pas fixé. Grattafiori et al. (2024) rapportent avoir augmenté la part de données non anglaises en cours de préentraînement de Llama 3, pour améliorer le modèle dans les autres langues, et avoir écarté des sources qu’ils avaient fini par juger de mauvaise qualité. L’entraînement ne se déroule pas non plus d’une traite : à cette taille, le matériel tombe en panne, et l’entraînement reprend à partir de la dernière copie sauvegardée des nombres du modèle, un point de contrôle (angl. checkpoint).

Combien d’organisations préentraînent

Très peu, et ce sont quelques entreprises et laboratoires bien financés, aux États-Unis et en Chine, ce qui concentre une grande influence sur ce que ces systèmes lisent et sur leur comportement (see also the Critical issues with LLMs module) (voir aussi le module Enjeux critiques des GML). Une entreprise qui publie plusieurs modèles dans une année ne préentraîne généralement pas plusieurs fois : les variantes sortent d’un seul entraînement, adaptées ensuite par les étapes moins coûteuses qui suivent (see also the Fine-tuning chapter) (voir aussi le chapitre Affinage).

Poser une question à un modèle de base

Quand vous faites compléter What is the capital of France? à un modèle de base, il peut générer Paris, ou prolonger le texte autrement, par exemple what is the capital of Germany?

Le modèle fait ce pour quoi il a été entraîné : prolonger le texte donné de façon plausible. Et il existe certainement des sources en ligne où cette question est suivie d’autres questions plutôt que d’une réponse. Pour que le modèle se comporte en assistant utile, il faut un entraînement supplémentaire (see also the Fine-tuning chapter) (voir aussi le chapitre Affinage).

Un modèle de base passe aussi d’un registre à l’autre au sein d’une même réponse, pour la même raison : il prolonge un article de presse, puis glisse vers quelque chose qui ressemble à une réponse de forum, puis vers ce qui ressemble à du code, parce que rien ne lui a dit où finit une réponse ni quelle voix garder.

Les connaissances sont là, mais difficiles à atteindre

Le modèle a lu bien des textes sur la géographie de la France, et l’association est dans ses paramètres. La difficulté est de l’atteindre de façon fiable : il faudrait écrire une requête qui fasse de la réponse la suite la plus probable, par exemple en commençant vous-même le texte.

The capital of France is

C’est une vraie technique. Mais comme elle est moins intuitive, les modèles de base sont rarement offerts au public. La plupart des familles ouvertes ne publient qu’une version qui suit les instructions, et seules certaines offrent aussi le point de contrôle du modèle de base : Meta a publié Llama 3 à la fois en version préentraînée et en version postentraînée du même modèle (Grattafiori et al., 2024). Les modèles derrière ChatGPT et Claude ne sont pas publiés du tout.

La différence entre base et fondation

Les deux termes s’emploient comme s’ils étaient interchangeables, et ils répondent à des questions différentes sur un modèle.

De base répond à la question quand. Il désigne un point d’une chaîne : le préentraînement est terminé, et aucun autre entraînement n’a eu lieu.

De fondation répond à la question pour quoi faire. Il désigne un modèle qui sert d’infrastructure commune, assez général pour que de nombreux systèmes spécialisés puissent en être dérivés. Ce rôle ne se limite pas au texte : un modèle d’images ou un modèle multimodal multimodal modelmodèle multimodal AIIA An AI model that processes and relates information from two or more data modalities, such as text, images, audio, video, or sensor data.Modèle d'IA qui traite et met en relation l'information de deux modalités de données ou plus, comme le texte, les images, l'audio, la vidéo ou les données de capteurs. entraîné largement est un modèle de fondation au même titre.

Ce ne sont pas les mêmes ensembles. Un modèle de base base modelmodèle de base language modelsmodèles de langue A language model that has completed pretraining but has not yet undergone post-training.Modèle de langue qui a terminé son préentraînement mais n'a pas encore reçu de postentraînement. sur lequel personne ne construit n’est pas un modèle de fondation, et une application est généralement construite sur un modèle postentraîné plutôt que sur le point de contrôle de base, si bien qu’un modèle de fondation n’est souvent pas du tout un modèle de base.

Pourquoi un modèle vient en famille

En pratique, aucun des deux termes ne nomme un seul objet. Un seul préentraînement donne naissance à un groupe de modèles publiés : le point de contrôle de base, une ou plusieurs versions qui suivent les instructions, une version ajustée pour la conversation et la sécurité, et souvent plusieurs tailles de chacune.

Le nom de modèle de fondation d’une entreprise couvre généralement tout ce groupe, et la version que vous atteignez par une interface de conversation ou une API en est un membre. Deux de ces membres peuvent se comporter très différemment tout en partageant tout leur préentraînement, ce qui vaut la peine d’être su quand vous comparez des résultats et découvrez que vous n’utilisiez pas deux fois la même chose (see also the Choosing a model chapter, in the Using LLMs module) (voir aussi le chapitre Choisir un modèle, dans le module Utiliser les GML).

Plus rien à consulter

Une fois le préentraînement terminé, le corpus a disparu : il n’est pas livré avec le modèle, il n’est pas consultable, il n’y a aucun article à relire ni aucun document à récupérer. Tout ce que le modèle possède est dans ses paramètres, sous forme de nombres.

Le corpus s’est aussi arrêté quelque part. Le texte qui y est entré a été rassemblé jusqu’à un moment donné, et rien de postérieur n’est parvenu au modèle pendant l’entraînement.

Les systèmes qui font des recherches

Bien des systèmes que vous utilisez font, eux, des recherches. Un assistant conversationnel qui navigue sur le Web, ou qui répond à partir de documents que vous téléversez, lance une recherche et met les résultats dans son contexte avant de répondre. Cette recherche est un composant distinct, autour du modèle, et le texte récupéré lui parvient comme votre propre requête.

Des paramètres appris, pas des données stockées

Le corpus est de plusieurs ordres de grandeur plus gros que le modèle, si bien que ses paramètres gardent des régularités et des associations plutôt que le texte lui-même (see also the LLMs as next-word predictors chapter) (voir aussi le chapitre Les GML, prédicteurs du mot suivant).

La reproduction mot pour mot se produit tout de même. Un texte répété de nombreuses fois dans le corpus peut être appris d’assez près pour ressortir mot pour mot, et Nasr et al. (2025) ont montré qu’une attaque délibérée peut amener un modèle en production à émettre des données d’entraînement à un taux bien plus élevé que l’usage ordinaire n’en produit.