Base models and foundation modelsModèles de base et modèles de fondation
TRA6008 To read for S3À lire pour la S3
The difference between base and foundation
The two terms get used as though they were interchangeable, and they answer different questions about a model.
Base answers when. It identifies one point in a pipeline: pretraining has finished, and no further training has happened.
Foundation answers what for. It identifies a model that serves as shared infrastructure, general enough that many specialized systems can be adapted from it. That role is not restricted to text: a broadly trained image or multimodal model multimodal modelmodèle multimodal AIIA An AI model that processes and relates information from two or more data modalities, such as text, images, audio, video, or sensor data.Modèle d'IA qui traite et met en relation l'information de deux modalités de données ou plus, comme le texte, les images, l'audio, la vidéo ou les données de capteurs. is a foundation model on the same reasoning.
They are not the same set. A base model base modelmodèle de base language modelsmodèles de langue A language model that has completed pretraining but has not yet undergone post-training.Modèle de langue qui a terminé son préentraînement mais n'a pas encore reçu de postentraînement. nobody builds on is not a foundation model, and what an application is built on is usually a post-trained model rather than the base checkpoint, so a foundation model is often not a base model at all.
Why a model comes in a family
Neither term names one artefact, in practice. A single pretraining run gives rise to a group of released models: the base checkpoint, one or more instruction-following versions, a version tuned for conversation and safety, and often several sizes of each.
A company’s foundation-model name usually covers that whole group, and the version you reach through a chat interface or an API is one member of it. Two of those members can behave quite differently while sharing all of their pretraining, which is worth knowing when you compare results and find you were not using the same thing twice (see also the Choosing a model chapter, in the Using LLMs module) (voir aussi le chapitre Choisir un modèle, dans le module Utiliser les GML).
La différence entre base et fondation
Les deux termes s’emploient comme s’ils étaient interchangeables, et ils répondent à des questions différentes sur un modèle.
De base répond à la question quand. Il désigne un point d’une chaîne : le préentraînement est terminé, et aucun autre entraînement n’a eu lieu.
De fondation répond à la question pour quoi faire. Il désigne un modèle qui sert d’infrastructure commune, assez général pour que de nombreux systèmes spécialisés puissent en être dérivés. Ce rôle ne se limite pas au texte : un modèle d’images ou un modèle multimodal multimodal modelmodèle multimodal AIIA An AI model that processes and relates information from two or more data modalities, such as text, images, audio, video, or sensor data.Modèle d'IA qui traite et met en relation l'information de deux modalités de données ou plus, comme le texte, les images, l'audio, la vidéo ou les données de capteurs. entraîné largement est un modèle de fondation au même titre.
Ce ne sont pas les mêmes ensembles. Un modèle de base base modelmodèle de base language modelsmodèles de langue A language model that has completed pretraining but has not yet undergone post-training.Modèle de langue qui a terminé son préentraînement mais n'a pas encore reçu de postentraînement. sur lequel personne ne construit n’est pas un modèle de fondation, et une application est généralement construite sur un modèle postentraîné plutôt que sur le point de contrôle de base, si bien qu’un modèle de fondation n’est souvent pas du tout un modèle de base.
Pourquoi un modèle vient en famille
En pratique, aucun des deux termes ne nomme un seul objet. Un seul préentraînement donne naissance à un groupe de modèles publiés : le point de contrôle de base, une ou plusieurs versions qui suivent les instructions, une version ajustée pour la conversation et la sécurité, et souvent plusieurs tailles de chacune.
Le nom de modèle de fondation d’une entreprise couvre généralement tout ce groupe, et la version que vous atteignez par une interface de conversation ou une API en est un membre. Deux de ces membres peuvent se comporter très différemment tout en partageant tout leur préentraînement, ce qui vaut la peine d’être su quand vous comparez des résultats et découvrez que vous n’utilisiez pas deux fois la même chose (see also the Choosing a model chapter, in the Using LLMs module) (voir aussi le chapitre Choisir un modèle, dans le module Utiliser les GML).
Sources
- Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Sources
- Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/