Ayla's learning materials Matériel pédagogique d'Ayla
Public

Fine-tuning: from generator to assistantL'affinage : du générateur à l'assistant

TRA6008 To read for S3À lire pour la S3

Fine-tuning

A base model base modelmodèle de base language modelsmodèles de langue A language model that has completed pretraining but has not yet undergone post-training.Modèle de langue qui a terminé son préentraînement mais n'a pas encore reçu de postentraînement. has been fed a large part of the web, and when completing a text in the form of a question, there is no guarantee it will generate an answer to the question. Most of the necessary information to answer is already in its parameters. But it has been trained to continue a text in a plausible way, and a plausible continuation of a question is not necessarily the reply a helpful assistant would give (see also the What a base model does page) (voir aussi la page Ce que fait un modèle de base).

What pretraining and fine-tuning cost

Pretraining pre-trainingpréentraînement language modelsmodèles de langue An initial stage in which a model learns general patterns and reusable representations from a large dataset, often through self-supervised learning, before any later adaptation for particular tasks or uses.Étape initiale au cours de laquelle un modèle apprend des régularités générales et des représentations réutilisables à partir d'un grand jeu de données, souvent par apprentissage autosupervisé, avant toute adaptation ultérieure à des tâches ou à des usages particuliers. learns from an immense amount of text collected in bulk, and most of its cost is computation (see also the Who can afford to pretrain page) (voir aussi la page Qui peut se permettre un préentraînement). Fine-tuning uses far less data, but each example is chosen or written with care and costs far more to produce (Jurafsky & Martin, 2026); its computation is small by comparison, 60 petaflop/s-days for the largest model of Ouyang et al. (2022) against 3,640 for pretraining GPT-3 (Brown et al., 2020). It changes how the model behaves far more than what it knows (Zhou et al., 2023; Gekhman et al., 2024).

Fine-tuning against size

For InstructGPT, Ouyang et al. (2022) fine-tuned GPT-3 in two stages, first on examples and then with a reward learned from rankings. People comparing outputs preferred those of a 1.3-billion-parameter model fine-tuned this way to those of the original GPT-3 at 175 billion, more than a hundred times larger. On the kind of requests users sent to the model, a small amount of behaviour data counted for more than a hundredfold difference in size.

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Updated 10 September 2026

L’affinage

Un modèle de base base modelmodèle de base language modelsmodèles de langue A language model that has completed pretraining but has not yet undergone post-training.Modèle de langue qui a terminé son préentraînement mais n'a pas encore reçu de postentraînement. a été alimenté par une grande partie du Web, et lorsqu’il complète un texte qui prend la forme d’une question, rien ne garantit qu’il générera une réponse à cette question. L’essentiel de l’information nécessaire pour répondre se trouve déjà dans ses paramètres. Mais il a été entraîné à prolonger un texte de façon plausible, et la suite plausible d’une question n’est pas forcément la réponse que donnerait un assistant serviable (see also the What a base model does page) (voir aussi la page Ce que fait un modèle de base).

Ce que coûtent le préentraînement et l’affinage

Le préentraînement pre-trainingpréentraînement language modelsmodèles de langue An initial stage in which a model learns general patterns and reusable representations from a large dataset, often through self-supervised learning, before any later adaptation for particular tasks or uses.Étape initiale au cours de laquelle un modèle apprend des régularités générales et des représentations réutilisables à partir d'un grand jeu de données, souvent par apprentissage autosupervisé, avant toute adaptation ultérieure à des tâches ou à des usages particuliers. apprend d’une immense quantité de texte recueilli en masse, et l’essentiel de son coût tient au calcul (see also the Who can afford to pretrain page) (voir aussi la page Qui peut se permettre un préentraînement). L’affinage utilise beaucoup moins de données, mais chaque exemple est choisi ou rédigé avec soin et coûte bien plus cher à produire (Jurafsky et Martin, 2026) ; son calcul est modeste en comparaison : 60 pétaflop/s-jours pour le plus gros modèle d’Ouyang et al. (2022), contre 3 640 pour le préentraînement de GPT-3 (Brown et al., 2020). L’affinage change bien plus la façon dont le modèle se comporte que ce qu’il sait (Zhou et coll., 2023 ; Gekhman et al., 2024).

L’affinage face à la taille

Pour InstructGPT, Ouyang et al. (2022) ont affiné GPT-3 en deux étapes, d’abord sur des exemples, puis avec une récompense apprise à partir de classements. Des personnes comparant les sorties ont préféré celles d’un modèle de 1,3 milliard de paramètres affiné de cette façon à celles du GPT-3 d’origine, à 175 milliards, plus de cent fois plus gros. Sur le genre de requêtes que les utilisateurs envoyaient au modèle, une petite quantité de données de comportement a pesé plus lourd qu’un écart de taille d’un facteur cent.

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Mise à jour 23 septembre 2026

Sources

Sources

Spotted an error? Une erreur ?

Language, content, a broken link: e-mail me what you saw and I will fix it. Langue, contenu, lien brisé : écrivez-moi ce que vous avez vu et je corrige.

ayla.rigouts.terryn@umontreal.ca

Please mention the page: Mentionnez la page :