What a base model doesCe que fait un modèle de base

TRA6008 To read for S3À lire pour la S3

Asking a base model a question

When you have a base model complete What is the capital of France? it may generate Paris, or it may continue the text in different ways, e.g. what is the capital of Germany?

The model is doing what it was trained for: continue the given text in a plausible way. And there are certainly online sources where that question is followed by more questions instead of an answer. To get the model to behave as a helpful assistant, more training is needed (see also the Fine-tuning chapter) (voir aussi le chapitre Affinage).

A base model will drift between registers within one response for the same reason, continuing a news report, then drifting into something resembling a forum reply, then into what looks like code, because nothing has told it where a response ends or which voice to keep.

The knowledge is there and hard to reach

The model has read about French geography many times, and the association is in its parameters. The difficulty is getting at it reliably: you would have to write a prompt that makes the answer the most likely continuation, for instance by starting the text yourself.

The capital of France is

That is a real technique. But since it is not as intuitive, base models are rarely offered to the public. Most open families publish only an instruction-following version and only some offer the base model checkpoint as well: Meta released Llama 3 as both a pretrained and a post-trained version of the same model (Grattafiori et al., 2024). The models behind ChatGPT and Claude are not released at all.

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Updated 2 October 2026

Poser une question à un modèle de base

Quand vous faites compléter What is the capital of France? à un modèle de base, il peut générer Paris, ou prolonger le texte autrement, par exemple what is the capital of Germany?

Le modèle fait ce pour quoi il a été entraîné : prolonger le texte donné de façon plausible. Et il existe certainement des sources en ligne où cette question est suivie d’autres questions plutôt que d’une réponse. Pour que le modèle se comporte en assistant utile, il faut un entraînement supplémentaire (see also the Fine-tuning chapter) (voir aussi le chapitre Affinage).

Un modèle de base passe aussi d’un registre à l’autre au sein d’une même réponse, pour la même raison : il prolonge un article de presse, puis glisse vers quelque chose qui ressemble à une réponse de forum, puis vers ce qui ressemble à du code, parce que rien ne lui a dit où finit une réponse ni quelle voix garder.

Les connaissances sont là, mais difficiles à atteindre

Le modèle a lu bien des textes sur la géographie de la France, et l’association est dans ses paramètres. La difficulté est de l’atteindre de façon fiable : il faudrait écrire une requête qui fasse de la réponse la suite la plus probable, par exemple en commençant vous-même le texte.

The capital of France is

C’est une vraie technique. Mais comme elle est moins intuitive, les modèles de base sont rarement offerts au public. La plupart des familles ouvertes ne publient qu’une version qui suit les instructions, et seules certaines offrent aussi le point de contrôle du modèle de base : Meta a publié Llama 3 à la fois en version préentraînée et en version postentraînée du même modèle (Grattafiori et al., 2024). Les modèles derrière ChatGPT et Claude ne sont pas publiés du tout.

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Mise à jour 23 septembre 2026