Base models and foundation modelsModèles de base et modèles de fondation

TRA6008 To read for S3À lire pour la S3

The difference between base and foundation

The two terms get used as though they were interchangeable, and they answer different questions about a model.

Base answers when. It identifies one point in a pipeline: pretraining has finished, and no further training has happened.

Foundation answers what for. It identifies a model that serves as shared infrastructure, general enough that many specialized systems can be adapted from it. That role is not restricted to text: a broadly trained image or multimodal model multimodal modelmodèle multimodal AIIA An AI model that processes and relates information from two or more data modalities, such as text, images, audio, video, or sensor data.Modèle d'IA qui traite et met en relation l'information de deux modalités de données ou plus, comme le texte, les images, l'audio, la vidéo ou les données de capteurs. is a foundation model on the same reasoning.

They are not the same set. A base model base modelmodèle de base language modelsmodèles de langue A language model that has completed pretraining but has not yet undergone post-training.Modèle de langue qui a terminé son préentraînement mais n'a pas encore reçu de postentraînement. nobody builds on is not a foundation model, and what an application is built on is usually a post-trained model rather than the base checkpoint, so a foundation model is often not a base model at all.

One pretraining run produces the base model, which fans out into an instruction-following version, a conversational version and several sizes of each. The base model is labelled as answering when, one point in the pipeline; the whole family is labelled as answering what for, shared infrastructure others build on.
Figure 4. Base names a point in the pipeline; foundation names what the family is used for.

Why a model comes in a family

Neither term names one artefact, in practice. A single pretraining run gives rise to a group of released models: the base checkpoint, one or more instruction-following versions, a version tuned for conversation and safety, and often several sizes of each.

A company’s foundation-model name usually covers that whole group, and the version you reach through a chat interface or an API is one member of it. Two of those members can behave quite differently while sharing all of their pretraining, which is worth knowing when you compare results and find you were not using the same thing twice (see also the Choosing a model chapter, in the Using LLMs module) (voir aussi le chapitre Choisir un modèle, dans le module Utiliser les GML).

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Updated 1 October 2026

La différence entre base et fondation

Les deux termes s’emploient comme s’ils étaient interchangeables, et ils répondent à des questions différentes sur un modèle.

De base répond à la question quand. Il désigne un point d’une chaîne : le préentraînement est terminé, et aucun autre entraînement n’a eu lieu.

De fondation répond à la question pour quoi faire. Il désigne un modèle qui sert d’infrastructure commune, assez général pour que de nombreux systèmes spécialisés puissent en être dérivés. Ce rôle ne se limite pas au texte : un modèle d’images ou un modèle multimodal multimodal modelmodèle multimodal AIIA An AI model that processes and relates information from two or more data modalities, such as text, images, audio, video, or sensor data.Modèle d'IA qui traite et met en relation l'information de deux modalités de données ou plus, comme le texte, les images, l'audio, la vidéo ou les données de capteurs. entraîné largement est un modèle de fondation au même titre.

Ce ne sont pas les mêmes ensembles. Un modèle de base base modelmodèle de base language modelsmodèles de langue A language model that has completed pretraining but has not yet undergone post-training.Modèle de langue qui a terminé son préentraînement mais n'a pas encore reçu de postentraînement. sur lequel personne ne construit n’est pas un modèle de fondation, et une application est généralement construite sur un modèle postentraîné plutôt que sur le point de contrôle de base, si bien qu’un modèle de fondation n’est souvent pas du tout un modèle de base.

Un seul préentraînement produit le modèle de base, qui se déploie en une version qui suit les instructions, une version conversationnelle et plusieurs tailles de chacune. Le modèle de base est étiqueté comme répondant à la question quand, un point de la chaîne ; toute la famille est étiquetée comme répondant à la question pour quoi faire, une infrastructure commune sur laquelle d'autres construisent.
Figure 4. De base nomme un point de la chaîne ; de fondation nomme ce à quoi sert la famille.

Pourquoi un modèle vient en famille

En pratique, aucun des deux termes ne nomme un seul objet. Un seul préentraînement donne naissance à un groupe de modèles publiés : le point de contrôle de base, une ou plusieurs versions qui suivent les instructions, une version ajustée pour la conversation et la sécurité, et souvent plusieurs tailles de chacune.

Le nom de modèle de fondation d’une entreprise couvre généralement tout ce groupe, et la version que vous atteignez par une interface de conversation ou une API en est un membre. Deux de ces membres peuvent se comporter très différemment tout en partageant tout leur préentraînement, ce qui vaut la peine d’être su quand vous comparez des résultats et découvrez que vous n’utilisiez pas deux fois la même chose (see also the Choosing a model chapter, in the Using LLMs module) (voir aussi le chapitre Choisir un modèle, dans le module Utiliser les GML).

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Mise à jour 1er octobre 2026

Sources

  • Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/

Sources

  • Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/

Spotted an error? Une erreur ?

Language, content, a broken link: e-mail me what you saw and I will fix it. Langue, contenu, lien brisé : écrivez-moi ce que vous avez vu et je corrige.

ayla.rigouts.terryn@umontreal.ca

Please mention the page: Mentionnez la page :