Ayla's learning materials Matériel pédagogique d'Ayla
Public

Ayla's learning materialsMatériel pédagogique d'Ayla

LLM lifecycleCycle de vie des GML

Fine-tuningAffinage

PrintedImprimé le · aylart.github.io/learn · CC BY-NC 4.0

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée.

Fine-tuning: from generator to assistantL'affinage : du générateur à l'assistant

Fine-tuning

A base model base modelmodèle de base language modelsmodèles de langue A language model that has completed pretraining but has not yet undergone post-training.Modèle de langue qui a terminé son préentraînement mais n'a pas encore reçu de postentraînement. has been fed a large part of the web, and when completing a text in the form of a question, there is no guarantee it will generate an answer to the question. Most of the necessary information to answer is already in its parameters. But it has been trained to continue a text in a plausible way, and a plausible continuation of a question is not necessarily the reply a helpful assistant would give (see also the What a base model does page) (voir aussi la page Ce que fait un modèle de base).

What pretraining and fine-tuning cost

Pretraining pre-trainingpréentraînement language modelsmodèles de langue An initial stage in which a model learns general patterns and reusable representations from a large dataset, often through self-supervised learning, before any later adaptation for particular tasks or uses.Étape initiale au cours de laquelle un modèle apprend des régularités générales et des représentations réutilisables à partir d'un grand jeu de données, souvent par apprentissage autosupervisé, avant toute adaptation ultérieure à des tâches ou à des usages particuliers. learns from an immense amount of text collected in bulk, and most of its cost is computation (see also the Who can afford to pretrain page) (voir aussi la page Qui peut se permettre un préentraînement). Fine-tuning uses far less data, but each example is chosen or written with care and costs far more to produce (Jurafsky & Martin, 2026); its computation is small by comparison, 60 petaflop/s-days for the largest model of Ouyang et al. (2022) against 3,640 for pretraining GPT-3 (Brown et al., 2020). It changes how the model behaves far more than what it knows (Zhou et al., 2023; Gekhman et al., 2024).

Fine-tuning against size

For InstructGPT, Ouyang et al. (2022) fine-tuned GPT-3 in two stages, first on examples and then with a reward learned from rankings. People comparing outputs preferred those of a 1.3-billion-parameter model fine-tuned this way to those of the original GPT-3 at 175 billion, more than a hundred times larger. On the kind of requests users sent to the model, a small amount of behaviour data counted for more than a hundredfold difference in size.

Sources

L’affinage

Un modèle de base base modelmodèle de base language modelsmodèles de langue A language model that has completed pretraining but has not yet undergone post-training.Modèle de langue qui a terminé son préentraînement mais n'a pas encore reçu de postentraînement. a été alimenté par une grande partie du Web, et lorsqu’il complète un texte qui prend la forme d’une question, rien ne garantit qu’il générera une réponse à cette question. L’essentiel de l’information nécessaire pour répondre se trouve déjà dans ses paramètres. Mais il a été entraîné à prolonger un texte de façon plausible, et la suite plausible d’une question n’est pas forcément la réponse que donnerait un assistant serviable (see also the What a base model does page) (voir aussi la page Ce que fait un modèle de base).

Ce que coûtent le préentraînement et l’affinage

Le préentraînement pre-trainingpréentraînement language modelsmodèles de langue An initial stage in which a model learns general patterns and reusable representations from a large dataset, often through self-supervised learning, before any later adaptation for particular tasks or uses.Étape initiale au cours de laquelle un modèle apprend des régularités générales et des représentations réutilisables à partir d'un grand jeu de données, souvent par apprentissage autosupervisé, avant toute adaptation ultérieure à des tâches ou à des usages particuliers. apprend d’une immense quantité de texte recueilli en masse, et l’essentiel de son coût tient au calcul (see also the Who can afford to pretrain page) (voir aussi la page Qui peut se permettre un préentraînement). L’affinage utilise beaucoup moins de données, mais chaque exemple est choisi ou rédigé avec soin et coûte bien plus cher à produire (Jurafsky et Martin, 2026) ; son calcul est modeste en comparaison : 60 pétaflop/s-jours pour le plus gros modèle d’Ouyang et al. (2022), contre 3 640 pour le préentraînement de GPT-3 (Brown et al., 2020). L’affinage change bien plus la façon dont le modèle se comporte que ce qu’il sait (Zhou et coll., 2023 ; Gekhman et al., 2024).

L’affinage face à la taille

Pour InstructGPT, Ouyang et al. (2022) ont affiné GPT-3 en deux étapes, d’abord sur des exemples, puis avec une récompense apprise à partir de classements. Des personnes comparant les sorties ont préféré celles d’un modèle de 1,3 milliard de paramètres affiné de cette façon à celles du GPT-3 d’origine, à 175 milliards, plus de cent fois plus gros. Sur le genre de requêtes que les utilisateurs envoyaient au modèle, une petite quantité de données de comportement a pesé plus lourd qu’un écart de taille d’un facteur cent.

Sources

The four stages from pretraining to assistantLes quatre étapes du préentraînement à l'assistant

From pretraining to deployment

A line of processes from left to right, each an arrow, with the model each one produces drawn as a small square grid of parameters. Pretraining, fed by a wall of many documents, produces the base model. Post-training, shaded, follows in two arrows: instruction tuning, fed by a few instruction and answer pairs written by a person, and preference tuning, fed by a few answers a person has put in order. Each recolours a few cells of the grid, in its own colour. Deployment, drawn in dashed lines and fed by a system prompt and a filter, leaves the grid as it is and puts a dashed frame around it: the assistant.
Figure 1. From pretraining to the assistant you type into.
  1. Pretraining pre-trainingpréentraînement language modelsmodèles de langue An initial stage in which a model learns general patterns and reusable representations from a large dataset, often through self-supervised learning, before any later adaptation for particular tasks or uses.Étape initiale au cours de laquelle un modèle apprend des régularités générales et des représentations réutilisables à partir d'un grand jeu de données, souvent par apprentissage autosupervisé, avant toute adaptation ultérieure à des tâches ou à des usages particuliers. . Training on a vast amount of text, which produces the base model base modelmodèle de base language modelsmodèles de langue A language model that has completed pretraining but has not yet undergone post-training.Modèle de langue qui a terminé son préentraînement mais n'a pas encore reçu de postentraînement. : it continues text and does not reliably follow instructions.
  2. Instruction tuning instruction tuningaffinage par instructions language modelsmodèles de langue A form of supervised fine-tuning in which a pretrained language model is trained further on examples pairing instructions or questions with appropriate responses.Forme d'affinage supervisé dans laquelle un modèle de langue préentraîné est entraîné davantage sur des exemples associant des instructions ou des questions à des réponses appropriées. . Training on examples of instructions and good responses, so the model recognizes a request as a request.
  3. Preference tuning preference tuningréglage des préférences language modelsmodèles de langue A form of fine-tuning, applied in post-training, that adjusts a language model so that it becomes more likely to produce responses judged preferable and less likely to produce responses judged undesirable.Forme d'affinage, appliquée au postentraînement, qui ajuste un modèle de langue pour qu'il produise plus volontiers des réponses jugées préférables et moins volontiers des réponses jugées indésirables. . Training on judgements, usually human, of which response is better, for the qualities that are easier to recognize than to demonstrate.
  4. Deployment. System prompts system promptrequête générative système promptingrequêtes An instruction supplied to a language model before or alongside the user's input that establishes the model's role, task, behavioural rules, tone, or other context for the interaction.Instruction fournie à un modèle de langue avant l'entrée de l'utilisateur, ou en parallèle, qui établit le rôle du modèle, sa tâche, ses règles de conduite, son ton ou d'autres éléments de contexte pour l'interaction. , safety filters and other machinery around the model, changing nothing in its parameters (see also the Alignment page) (voir aussi la page L'alignement).

Post-training

Stages 2 and 3 are both forms of fine-tuning fine-tuningaffinage machine learningapprentissage automatique Further training of a pretrained model on new data to adapt it for a particular task, domain, or intended behaviour.Poursuite de l'entraînement d'un modèle préentraîné sur un jeu de données généralement plus restreint et spécialisé, afin de l'adapter à une tâche ou à un domaine particulier. , and together the field calls them post-training. Many current models add a third post-training stage, reinforcement learning with verifiable rewards reinforcement learning with verifiable rewards (RLVR)apprentissage par renforcement vérifiable (ARV) language modelsmodèles de langue A method for post-training a language model in which rewards are based on whether its responses satisfy criteria that can be checked automatically.Méthode de postentraînement d'un modèle de langue dans laquelle les récompenses dépendent du respect, par ses réponses, de critères vérifiables automatiquement. (Jurafsky & Martin, 2026) (see also the RLVR: learning from answers that can be checked page) (voir aussi la page L'ARV : apprendre à partir de réponses vérifiables). The two terms are not synonyms: fine-tuning is the technique, and it is also used outside post-training, for instance to adapt an existing model to one organization’s texts.

Sources

Du préentraînement au déploiement

Une suite de processus de gauche à droite, chacun une flèche, avec le modèle que chacun produit dessiné comme une petite grille carrée de paramètres. Le préentraînement, alimenté par un mur de nombreux documents, produit le modèle de base. Le postentraînement, ombré, suit en deux flèches : l'affinage par instructions, alimenté par quelques paires d'instructions et de réponses écrites par une personne, et le réglage des préférences, alimenté par quelques réponses qu'une personne a classées. Chacun recolore quelques cases de la grille, dans sa propre couleur. Le déploiement, dessiné en pointillés et alimenté par une requête système et un filtre, laisse la grille telle quelle et l'entoure d'un cadre en pointillés : l'assistant.
Figure 1. Du préentraînement à l'assistant auquel vous écrivez.
  1. Préentraînement pre-trainingpréentraînement language modelsmodèles de langue An initial stage in which a model learns general patterns and reusable representations from a large dataset, often through self-supervised learning, before any later adaptation for particular tasks or uses.Étape initiale au cours de laquelle un modèle apprend des régularités générales et des représentations réutilisables à partir d'un grand jeu de données, souvent par apprentissage autosupervisé, avant toute adaptation ultérieure à des tâches ou à des usages particuliers. . Un entraînement sur une très grande quantité de texte, qui produit le modèle de base base modelmodèle de base language modelsmodèles de langue A language model that has completed pretraining but has not yet undergone post-training.Modèle de langue qui a terminé son préentraînement mais n'a pas encore reçu de postentraînement.  : il prolonge du texte et ne suit pas les instructions de façon fiable.
  2. Affinage par instructions instruction tuningaffinage par instructions language modelsmodèles de langue A form of supervised fine-tuning in which a pretrained language model is trained further on examples pairing instructions or questions with appropriate responses.Forme d'affinage supervisé dans laquelle un modèle de langue préentraîné est entraîné davantage sur des exemples associant des instructions ou des questions à des réponses appropriées. . Un entraînement sur des exemples d’instructions et de bonnes réponses, pour que le modèle reconnaisse une demande comme une demande.
  3. Réglage des préférences preference tuningréglage des préférences language modelsmodèles de langue A form of fine-tuning, applied in post-training, that adjusts a language model so that it becomes more likely to produce responses judged preferable and less likely to produce responses judged undesirable.Forme d'affinage, appliquée au postentraînement, qui ajuste un modèle de langue pour qu'il produise plus volontiers des réponses jugées préférables et moins volontiers des réponses jugées indésirables. . Un entraînement sur des jugements, humains le plus souvent, quant à la meilleure réponse, pour les qualités plus faciles à reconnaître qu’à montrer par l’exemple.
  4. Déploiement. Requêtes génératives système system promptrequête générative système promptingrequêtes An instruction supplied to a language model before or alongside the user's input that establishes the model's role, task, behavioural rules, tone, or other context for the interaction.Instruction fournie à un modèle de langue avant l'entrée de l'utilisateur, ou en parallèle, qui établit le rôle du modèle, sa tâche, ses règles de conduite, son ton ou d'autres éléments de contexte pour l'interaction. , filtres de sécurité et autres dispositifs autour du modèle, qui ne changent rien à ses paramètres (see also the Alignment page) (voir aussi la page L'alignement).

Le postentraînement

Les étapes 2 et 3 sont deux formes d’affinage fine-tuningaffinage machine learningapprentissage automatique Further training of a pretrained model on new data to adapt it for a particular task, domain, or intended behaviour.Poursuite de l'entraînement d'un modèle préentraîné sur un jeu de données généralement plus restreint et spécialisé, afin de l'adapter à une tâche ou à un domaine particulier. , que le domaine regroupe sous le nom de postentraînement. Beaucoup de modèles actuels y ajoutent une troisième étape, l’apprentissage par renforcement vérifiable reinforcement learning with verifiable rewards (RLVR)apprentissage par renforcement vérifiable (ARV) language modelsmodèles de langue A method for post-training a language model in which rewards are based on whether its responses satisfy criteria that can be checked automatically.Méthode de postentraînement d'un modèle de langue dans laquelle les récompenses dépendent du respect, par ses réponses, de critères vérifiables automatiquement. (Jurafsky et Martin, 2026) (see also the RLVR: learning from answers that can be checked page) (voir aussi la page L'ARV : apprendre à partir de réponses vérifiables). Les deux termes ne sont pas synonymes : l’affinage est la technique, et il sert aussi en dehors du postentraînement, par exemple pour adapter un modèle existant aux textes d’une organisation.

Sources

Instruction tuning: learning from examplesL'affinage par instructions : apprendre à partir d'exemples

Showing the model what a good answer looks like

Instruction tuning is done by giving pairs of examples: instructions and responses. One half is an instruction, the kind of thing a user would actually type, which in this context is called a prompt promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. . The other half is a response worth imitating.

Prompt: Explain photosynthesis to a 10-year-old.

Response: Photosynthesis is how plants make their own food using sunlight. Think of leaves as tiny factories that take in sunlight, water and air…

Training on enough of these teaches a pattern that pretraining rarely presented so consistently: an instruction is followed by a response to it. Thus, the text completion system becomes a question answering system.

Instruction tuning is one kind of supervised fine-tuning, which is itself one kind of fine-tuning. Supervised fine-tuning is also used outside assistants, to adapt a model to a task, such as translating with one organization’s terminology from its translation memory translation memory (TM)mémoire de traduction (MT) CAT toolsTAO A bilingual database of previously translated source segments and their corresponding target segments, which a translation-memory system searches to propose exact or similar matches for new source text.Base de données bilingue de segments source déjà traduits et de leurs segments cibles correspondants, dans laquelle un système de mémoire de traduction cherche des correspondances exactes ou similaires pour un nouveau texte source. .

Three nested ovals. The outer one is fine-tuning, which also contains preference tuning. Inside it is supervised fine-tuning, which also contains adapting to a task. Inside that is instruction tuning.
Figure 2. How the three names nest.

The term instruction tuning was introduced by Wei et al. (2022), who fine-tuned a pretrained model on more than 60 datasets phrased as instructions and found that it could then follow instructions for tasks it had not seen.

Small data, chosen carefully

Two panels. Pretraining is a block of text lines, labelled trillions of tokens, collected at scale and filtered in bulk, each document counts for little. Instruction tuning is three cards each containing an instruction, labelled far fewer examples, each chosen or written for the purpose.
Figure 3. Where the two kinds of training data come from, and what each is judged on.

Pretraining text was written by people too, but not for this purpose, and it is filtered in bulk. Instruction-tuning examples are chosen or written for the behaviour wanted. For InstructGPT, that meant about 13 000 prompts with answers written by hired labellers (Ouyang et al., 2022). Later sets also reuse questions and answers from community sites (Zhou et al., 2023) and instructions and answers generated by a model, then filtered (Wang et al., 2023).

Quality counts for more than quantity here: a thousand carefully chosen examples can be enough: doubling their number did not improve the answers, and filtering them for quality did (Zhou et al., 2023). The authors take this as a sign that the model learns a manner rather than a subject.

Where the examples are written for the purpose, the work is often paid: Ouyang et al. (2022) recruited and screened about 40 labellers for it.

Not quite the helpful assistant chatbot yet

After this stage the model answers questions and can keep up a conversation. Its finer judgement goes only as far as its examples showed it: how long an answer should be, when to say it is unsure, when a request should be declined. Those qualities are easy to recognize in a response and hard to specify in advance.

Sources

Montrer au modèle à quoi ressemble une bonne réponse

L’affinage par instructions se fait en fournissant des paires d’exemples : des instructions et des réponses. Une moitié est une instruction, le genre de chose qu’un utilisateur taperait réellement, ce qu’on appelle dans ce contexte une requête promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. . L’autre moitié est une réponse digne d’être imitée.

Requête : Explique la photosynthèse à un enfant de 10 ans.

Réponse : La photosynthèse, c’est la façon dont les plantes fabriquent leur propre nourriture avec la lumière du soleil. Imagine les feuilles comme de petites usines qui captent la lumière, l’eau et l’air…

S’entraîner sur assez de ces paires enseigne une régularité que le préentraînement présentait rarement de façon aussi constante : une instruction est suivie d’une réponse. Le système qui complète du texte devient ainsi un système qui répond aux questions.

L’affinage par instructions est une sorte d’affinage supervisé, qui est lui-même une sorte d’affinage. L’affinage supervisé sert aussi en dehors des assistants, pour adapter un modèle à une tâche, comme traduire avec la terminologie d’une organisation à partir de sa mémoire de traduction translation memory (TM)mémoire de traduction (MT) CAT toolsTAO A bilingual database of previously translated source segments and their corresponding target segments, which a translation-memory system searches to propose exact or similar matches for new source text.Base de données bilingue de segments source déjà traduits et de leurs segments cibles correspondants, dans laquelle un système de mémoire de traduction cherche des correspondances exactes ou similaires pour un nouveau texte source. .

Trois ovales emboîtés. Le plus grand est l'affinage, qui contient aussi le réglage des préférences. À l'intérieur se trouve l'affinage supervisé, qui contient aussi l'adaptation à une tâche. À l'intérieur de celui-ci se trouve l'affinage par instructions.
Figure 2. Comment les trois noms s'emboîtent.

Le terme anglais instruction tuning a été introduit par Wei et al. (2022), qui ont affiné un modèle préentraîné sur plus de 60 jeux de données formulés comme des instructions et constaté qu’il pouvait ensuite suivre des instructions pour des tâches qu’il n’avait pas vues.

Peu de données, choisies avec soin

Deux panneaux. Le préentraînement est un bloc de lignes de texte, étiqueté milliers de milliards de jetons, collectés à grande échelle et filtrés en bloc, chaque document compte peu. L'affinage par instructions est trois fiches portant chacune une instruction, étiquetées beaucoup moins d'exemples, chacun choisi ou rédigé exprès.
Figure 3. D'où viennent les deux sortes de données d'entraînement, et sur quoi chacune est jugée.

Le texte du préentraînement a lui aussi été écrit par des personnes, mais pas dans ce but, et il est filtré en bloc. Les exemples de l’affinage par instructions sont choisis ou rédigés selon le comportement recherché. Pour InstructGPT, il s’agissait d’environ 13 000 requêtes accompagnées de réponses rédigées par des étiqueteurs recrutés à cette fin (Ouyang et al., 2022). Les ensembles plus récents reprennent aussi des questions et des réponses de sites communautaires (Zhou et al., 2023) et des instructions et des réponses générées par un modèle, puis filtrées (Wang et al., 2023).

Ici, la qualité compte plus que la quantité : un millier d’exemples soigneusement choisis peut suffire. En doubler le nombre n’a pas amélioré les réponses, alors que les filtrer selon leur qualité les a améliorées (Zhou et al., 2023). Les auteurs y voient le signe que le modèle apprend une manière plutôt qu’un sujet.

Là où les exemples sont rédigés exprès, le travail est souvent rémunéré : Ouyang et coll. (2022) ont recruté et sélectionné une quarantaine d’étiqueteurs pour cette tâche.

Pas encore tout à fait l’agent conversationnel serviable

Après cette étape, le modèle répond aux questions et peut soutenir une conversation. Son jugement plus fin ne va pas plus loin que ce que ses exemples lui ont montré : quelle longueur donner à une réponse, quand dire qu’il n’est pas sûr, quand une demande devrait être refusée. Ces qualités sont faciles à reconnaître dans une réponse et difficiles à préciser d’avance.

Sources

Preference tuning: learning from rankingsLe réglage des préférences : apprendre à partir de classements

Ranking instead of writing

Some things about a good answer are easy to judge and hard to state. Asked whether this response or that one is better, an annotator can answer quickly; asked to write down the rule they applied, they would find it far harder.

Preference tuning uses that asymmetry. Rather than asking people to produce the ideal answer, it asks them to put several of the model’s own answers in order. The rankings are not perfectly consistent: the labellers of Ouyang et al. (2022) agreed with each other on about 73% of comparisons. Each ranking is then split into pairs: four answers in order give six pairs, each made of a better and a worse answer.

One question across the top: how do I get red wine out of a carpet? Below it, the same pictogram person in two panels. In the left panel, under the task write the best possible answer, the person shrugs beside an empty dashed answer box. In the right panel, under the task rank the answers from best to worst, the person points at three answers drawn as grey lines and numbered 1 to 3; the first, short and tidy, is outlined in indigo, and the others grow longer and denser.
Figure 4. It is often much easier to put concrete options in order, from best to worst, than to write the best possible answer yourself.

The two best-known methods are reinforcement learning from human feedback (RLHF) and direct preference optimization (DPO) (Jurafsky & Martin, 2026).

A dark grey bar from ChatGPT that reads 'Was this response better or worse?', with three buttons, Better with a thumbs-up, Worse with a thumbs-down, and Same, and a button to close it.
Figure 5. ChatGPT asking whether a response was better or worse (screenshot, 10 September 2026).
A panel from Gemini titled 'Which response is more helpful?', with the line 'Your choice will help Gemini give you more helpful responses.' Under it, two answers to the same request side by side, labelled Choice A and Choice B.
Figure 6. Gemini showing two answers to one request and asking which is more helpful (screenshot, 1 October 2026).

RLHF: a reward model stands in for the people

Three numbered stages in two bands. The first band, instruction tuning: a person writes a prompt and an example answer, and a process arrow trains the base model on them, so the model learns to answer instead of continuing the text. The second band, RLHF, contains two stages. Ranking answers: the model produces three answers, a person ranks them 2, 1, 3, and a process arrow trains a reward model, drawn with a dial, to predict the ranking. Training against the reward model: the model writes an answer, the reward model scores it 0.8, and an arrow loops back to the model to show its parameters shifting toward high scores; a crossed-out dashed person marks that no person is in this loop.
Figure 7. Post-training an LLM: instruction tuning, then RLHF.

The reward model is the piece that makes the scale possible. Human rankings are slow and expensive to collect, so a separate network is trained to imitate them, and the language model is then trained against that imitation, round after round. In each round, the model writes a new answer, the reward model gives that answer a score, and the model’s parameters parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. shift toward answers that score higher. A penalty keeps the model close to where it started: pushed too far, it learns to please the reward model rather than the people behind it (Ouyang et al., 2022).

The comparisons do not have to come from people: in a method its authors call Constitutional AI, a model compares answers for harmfulness against a written list of principles, and those comparisons, with human ones for helpfulness, train the reward model (Bai et al., 2022a).

The method predates large language models large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. : Christiano et al. (2017) trained systems from human comparisons of short behaviour clips, in a method designed for goals that are hard to write down.

DPO: learning from the ranked pairs directly

Direct preference optimization direct preference optimization (DPO)optimisation directe des préférences (DPO) language modelsmodèles de langue A preference-tuning method that trains a language model directly from pairs of preferred and rejected responses.Méthode de réglage des préférences qui entraîne un modèle de langue directement à partir de paires de réponses préférées et rejetées. (DPO) starts from the same ranked pairs but uses no reward model (Rafailov et al., 2023). The pairs are collected before training and stay the same throughout: the model writes no new answers while it learns. For each pair, its parameters are adjusted so that the preferred answer becomes more probable and the rejected one less probable.

DPO is therefore closer to supervised learning supervised (machine) learningapprentissage supervisé machine learningapprentissage automatique A form of machine learning in which a model learns from labelled examples.Forme d'apprentissage automatique dans laquelle un modèle apprend à partir d'exemples étiquetés. than to reinforcement learning (Jurafsky & Martin, 2026), but it is not supervised fine-tuning supervised fine-tuning (SFT)affinage supervisé language modelsmodèles de langue Additional training of a pretrained model on labelled examples that pair an input with a desired output, with the model's parameters adjusted to make the desired outputs more likely.Entraînement supplémentaire d'un modèle préentraîné sur des exemples étiquetés associant une entrée à une sortie souhaitée, les paramètres du modèle étant ajustés pour rendre ces sorties plus probables. : the model learns from a comparison between two answers, not from an answer to imitate.

Two rows that start from the same ranked pairs, two answers with the preferred one outlined. In the RLHF row, a process arrow trains a reward model, drawn with a dial, and a loop labelled each round: new answer, score, update runs between the reward model and the language model. The model writes a new answer, which goes to the reward model, and the reward model's score, 0.8, goes back to the model through reinforcement learning. In the DPO row, one arrow goes straight from the pairs to the language model, with the notes no reward model, no new answers, and the same pairs throughout.
Figure 8. The same ranked pairs, used in two ways.

Sources

Classer au lieu d’écrire

Certaines choses, dans une bonne réponse, sont faciles à juger et difficiles à énoncer. Si on lui demande si cette réponse-ci ou celle-là est meilleure, un annotateur peut répondre vite ; si on lui demande d’écrire la règle qu’il a appliquée, la tâche est bien plus difficile.

Le réglage des préférences exploite cette asymétrie. Plutôt que de demander aux gens de produire la réponse idéale, il leur demande de mettre en ordre plusieurs des réponses du modèle lui-même. Les classements ne sont pas parfaitement cohérents : les étiqueteurs d’Ouyang et al. (2022) concordaient sur environ 73 % des comparaisons. Chaque classement est ensuite découpé en paires : quatre réponses classées donnent six paires, chacune formée d’une meilleure et d’une moins bonne réponse.

Une question en haut : comment enlever une tache de vin rouge sur un tapis ? En dessous, la même personne en pictogramme dans deux panneaux. Dans le panneau de gauche, sous la tâche rédigez la meilleure réponse possible, la personne hausse les épaules à côté d'un cadre de réponse vide en pointillés. Dans le panneau de droite, sous la tâche classez les réponses de la meilleure à la pire, la personne montre trois réponses dessinées en lignes grises et numérotées de 1 à 3 ; la première, courte et nette, est entourée d'indigo, et les autres sont de plus en plus longues et denses.
Figure 4. Il est souvent bien plus facile de classer des options concrètes, de la meilleure à la pire, que de rédiger soi-même la meilleure réponse possible.

Les deux méthodes les plus connues sont l’apprentissage par renforcement avec rétroaction humaine (ARRH) et l’optimisation directe des préférences (DPO) (Jurafsky et Martin, 2026).

Une barre gris foncé de ChatGPT, en anglais, qui demande « Was this response better or worse? », avec trois boutons, Better avec un pouce levé, Worse avec un pouce baissé, et Same, et un bouton pour la fermer.
Figure 5. ChatGPT demande si une réponse était meilleure ou moins bonne (capture d'écran, 10 septembre 2026).
Un panneau de Gemini, en anglais, intitulé « Which response is more helpful? », avec la ligne « Your choice will help Gemini give you more helpful responses. » Dessous, deux réponses à la même requête, côte à côte, nommées Choice A et Choice B.
Figure 6. Gemini affiche deux réponses à une même requête et demande laquelle est la plus utile (capture d'écran, 1er octobre 2026).

L’ARRH : un modèle de récompense remplace les personnes

Trois étapes numérotées dans deux bandes. La première bande, affinage par instructions : une personne rédige une requête et une réponse modèle, et une flèche de processus entraîne le modèle de base sur elles, si bien que le modèle apprend à répondre au lieu de prolonger le texte. La seconde bande, ARRH, contient deux étapes. Classer des réponses : le modèle produit trois réponses, une personne les classe 2, 1, 3, et une flèche de processus entraîne un modèle de récompense, dessiné avec un cadran, à prédire le classement. S'entraîner contre le modèle de récompense : le modèle écrit une réponse, le modèle de récompense la note 0,8, et une flèche revient au modèle pour montrer ses paramètres qui glissent vers les bonnes notes ; une personne en pointillés barrée indique qu'aucune personne n'est dans cette boucle.
Figure 7. Le postentraînement d'un GML : l'affinage par instructions, puis l'ARRH.

Le modèle de récompense est la pièce qui rend l’échelle possible. Les classements humains sont lents et coûteux à recueillir ; on entraîne donc un réseau distinct à les imiter, et le modèle de langue est ensuite entraîné contre cette imitation, tour après tour. À chaque tour, le modèle écrit une nouvelle réponse, le modèle de récompense attribue une note à cette réponse, et les paramètres parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. du modèle sont ajustés en faveur des réponses les mieux notées. Une pénalité maintient le modèle près de son point de départ : poussé trop loin, il apprend à plaire au modèle de récompense plutôt qu’aux personnes derrière lui (Ouyang et al., 2022).

Les comparaisons ne viennent pas forcément de personnes : dans une méthode que ses auteurs appellent l’IA constitutionnelle, un modèle compare des réponses sur leur caractère nuisible d’après une liste écrite de principes, et ces comparaisons, avec des comparaisons humaines pour l’utilité, entraînent le modèle de récompense (Bai et al., 2022a).

La méthode est antérieure aux grands modèles de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris.  : Christiano et al. (2017) ont entraîné des systèmes à partir de comparaisons humaines de courts extraits de comportement, par une méthode conçue pour des objectifs difficiles à formuler.

La DPO : apprendre directement des paires classées

L’optimisation directe des préférences direct preference optimization (DPO)optimisation directe des préférences (DPO) language modelsmodèles de langue A preference-tuning method that trains a language model directly from pairs of preferred and rejected responses.Méthode de réglage des préférences qui entraîne un modèle de langue directement à partir de paires de réponses préférées et rejetées. (DPO) part des mêmes paires classées, mais sans modèle de récompense (Rafailov et al., 2023). Les paires sont recueillies avant l’entraînement et restent les mêmes du début à la fin : le modèle n’écrit aucune nouvelle réponse pendant qu’il apprend. Pour chaque paire, ses paramètres sont ajustés de sorte que la réponse préférée devienne plus probable et la réponse rejetée, moins probable.

La DPO est donc plus proche de l’apprentissage supervisé supervised (machine) learningapprentissage supervisé machine learningapprentissage automatique A form of machine learning in which a model learns from labelled examples.Forme d'apprentissage automatique dans laquelle un modèle apprend à partir d'exemples étiquetés. que de l’apprentissage par renforcement (Jurafsky et Martin, 2026), sans être pour autant un affinage supervisé supervised fine-tuning (SFT)affinage supervisé language modelsmodèles de langue Additional training of a pretrained model on labelled examples that pair an input with a desired output, with the model's parameters adjusted to make the desired outputs more likely.Entraînement supplémentaire d'un modèle préentraîné sur des exemples étiquetés associant une entrée à une sortie souhaitée, les paramètres du modèle étant ajustés pour rendre ces sorties plus probables.  : le modèle apprend d’une comparaison entre deux réponses, et non d’une réponse à imiter.

Deux rangées qui partent des mêmes paires classées, deux réponses dont la préférée est entourée. Dans la rangée ARRH, une flèche de processus entraîne un modèle de récompense, dessiné avec un cadran, puis une boucle, étiquetée à chaque tour : nouvelle réponse, note, mise à jour, relie le modèle de récompense et le modèle de langue. Le modèle écrit une nouvelle réponse, qui va au modèle de récompense, et la note de celui-ci, 0,8, revient au modèle par l'apprentissage par renforcement. Dans la rangée DPO, une seule flèche va directement des paires au modèle de langue, avec les mentions pas de modèle de récompense, pas de nouvelles réponses, et les mêmes paires du début à la fin.
Figure 8. Les mêmes paires classées, utilisées de deux façons.

Sources

Reinforcement learning: AlphaGo and move 37L'apprentissage par renforcement : AlphaGo et le coup 37

Go as a challenge for AI

Games have long been test cases for AI, chess being the best known (see also the What counts as AI? page, in the Foundations of AI & NLP module) (voir aussi la page Ce qu'on appelle « IA », dans le module Fondements de l'IA et du TAL), and Go had long been seen as the most challenging of the classic games (Silver et al., 2016). It offers far more possible moves at each turn than chess, about 250 against about 35, and its games run longer (Silver et al., 2016). No program can work through every possible continuation of a game of Go and pick the best one: it cannot brute-force its way to a good move.

Between 2015 and 2017, Google DeepMind nonetheless built systems that played Go well, and tested them in well-publicized matches against human champions.

Four newspaper headlines on cards. MIT Technology Review, 2016-01-27: Google's AI Masters the Game of Go a Decade Earlier Than Expected. PBS NewsHour, 2016-03-09: Google artificial intelligence beats world champion in first game of Go tournament. Reuters, via Fortune, 2016-03-13: Striking Back Against the Machine: Korean Go Player Beats Google Program. TechCrunch, 2016-03-15: Google AI beats Go world champion again to complete historic 4-1 series victory.
Figure 9. Headlines from January to March 2016, from the announcement of the Fan Hui result to the end of the Lee Sedol match (Knight, 2016; Akpan, 2016; Reuters, 2016; Russell, 2016).

Learning from humans, then from itself

AlphaGo, the Go program, was trained in two stages much like a language model’s.

It began by learning from about 30 million positions from games between strong amateur players on an online Go server, predicting the move such a player would make (Silver et al., 2016). Imitation tends to cap a program near the level of the players it copies (Silver et al., 2017).

Then it played against itself, millions of times, and learned from which side won. Self-play, combined with a search through possible moves, took it past them: the program beat a professional player, Fan Hui, five games to nothing (Silver et al., 2016). Learning from a score rather than from examples is called reinforcement learning reinforcement learning (RL)apprentissage par renforcement (AR) machine learningapprentissage automatique A type of machine learning in which an agent learns how to act by receiving rewards or penalties in response to its actions, with the aim of maximizing its overall reward.Type d'apprentissage automatique dans lequel un agent apprend à agir en recevant des récompenses ou des pénalités en réponse à ses actions, avec l'objectif de maximiser sa récompense globale. (see also the Three kinds of learning page, in the Foundations of AI & NLP module) (voir aussi la page Trois types d'apprentissage, dans le module Fondements de l'IA et du TAL).

The Lee Sedol match and move 37

In March 2016 AlphaGo played Lee Sedol, one of the strongest players in the world, and won four games of five (Metz, 2016).

A 19 by 19 Go board after 37 moves, with black and white stones mostly in the corners and along the edges. The last black stone, numbered 37 and ringed, stands at P10 on the right side, five lines in from the edge, diagonally touching a white stone.
Figure 10. The position after move 37 of the second game, 10 March 2016. AlphaGo, playing black, has just played at P10. It is the first move that is four steps away from the border.

Of the match’s two commentators, one called it a very strange move and the other thought it was a mistake. It proved central to winning the game, and AlphaGo won the match about a decade before experts had expected such a win (Metz, 2016).

Learning from the rules alone

A later system, AlphaZero, was given no human games at all. It started from the rules of the game and its own play, and it ended up stronger still (Silver et al., 2018).

Sources

Le go, un défi pour l’IA

Les jeux, dont les échecs sont l’exemple le plus connu, servent depuis longtemps de terrain d’essai à l’IA (see also the What counts as AI? page, in the Foundations of AI & NLP module) (voir aussi la page Ce qu'on appelle « IA », dans le module Fondements de l'IA et du TAL), et le go était vu depuis longtemps comme le plus difficile des jeux classiques (Silver et al., 2016). Il offre bien plus de coups possibles à chaque tour que les échecs, environ 250 contre environ 35, et ses parties sont plus longues (Silver et al., 2016). Aucun programme ne peut examiner toutes les suites possibles d’une partie de go pour choisir la meilleure : il ne peut pas trouver un bon coup par la force brute.

Entre 2015 et 2017, Google DeepMind a néanmoins construit des systèmes qui jouaient bien au go, et les a mis à l’épreuve lors de matchs très médiatisés contre des champions humains.

Quatre titres de presse en anglais, sur des fiches. MIT Technology Review, 2016-01-27 : Google's AI Masters the Game of Go a Decade Earlier Than Expected. PBS NewsHour, 2016-03-09 : Google artificial intelligence beats world champion in first game of Go tournament. Reuters, repris par Fortune, 2016-03-13 : Striking Back Against the Machine: Korean Go Player Beats Google Program. TechCrunch, 2016-03-15 : Google AI beats Go world champion again to complete historic 4-1 series victory.
Figure 9. Des titres de presse de janvier à mars 2016, de l'annonce du résultat contre Fan Hui à la fin du match contre Lee Sedol, reproduits en anglais (Knight, 2016 ; Akpan, 2016 ; Reuters, 2016 ; Russell, 2016).

Apprendre des humains, puis de soi-même

AlphaGo, le programme de go, a été entraîné en deux étapes, tout comme un modèle de langue.

Il a commencé par apprendre à partir d’environ 30 millions de positions tirées de parties entre de forts joueurs amateurs sur un serveur de go en ligne, en prédisant le coup qu’un tel joueur jouerait (Silver et al., 2016). L’imitation tend à plafonner un programme près du niveau des joueurs qu’il copie (Silver et al., 2017).

Puis il a joué contre lui-même, des millions de fois, et a appris de l’issue des parties. Le jeu contre lui-même, allié à une recherche parmi les coups possibles, l’a mené au-delà d’eux : le programme a battu un joueur professionnel, Fan Hui, cinq parties à zéro (Silver et al., 2016). Apprendre à partir d’un score plutôt que d’exemples, c’est l’apprentissage par renforcement reinforcement learning (RL)apprentissage par renforcement (AR) machine learningapprentissage automatique A type of machine learning in which an agent learns how to act by receiving rewards or penalties in response to its actions, with the aim of maximizing its overall reward.Type d'apprentissage automatique dans lequel un agent apprend à agir en recevant des récompenses ou des pénalités en réponse à ses actions, avec l'objectif de maximiser sa récompense globale. (see also the Three kinds of learning page, in the Foundations of AI & NLP module) (voir aussi la page Trois types d'apprentissage, dans le module Fondements de l'IA et du TAL).

Le match contre Lee Sedol et le coup 37

En mars 2016, AlphaGo a affronté Lee Sedol, l’un des plus forts joueurs du monde, et a gagné quatre parties sur cinq (Metz, 2016).

Un plateau de go de 19 lignes sur 19 après 37 coups, avec des pierres noires et blanches surtout dans les coins et le long des bords. La dernière pierre noire, numérotée 37 et entourée, se trouve en P10, sur le côté droit, à la cinquième ligne du bord, en contact en diagonale avec une pierre blanche.
Figure 10. La position après le coup 37 de la deuxième partie, 10 mars 2016. AlphaGo, qui joue les noirs, vient de jouer en P10. C'est le premier coup joué à quatre intersections du bord.

Des deux commentateurs du match, l’un a trouvé le coup très étrange et l’autre l’a pris pour une erreur. Le coup s’est révélé décisif pour gagner la partie, et AlphaGo a remporté le match une dizaine d’années avant ce qu’attendaient les experts (Metz, 2016).

Apprendre à partir des seules règles

Un système ultérieur, AlphaZero, n’a reçu aucune partie humaine. Il est parti des règles du jeu et de son propre jeu, et il a fini plus fort encore (Silver et coll., 2018).

Sources

RLVR: learning from answers that can be checkedL'ARV : apprendre à partir de réponses vérifiables

AlphaGo training versus LLM training

AlphaGo was trained in two stages, on human games and then against itself (see also the Reinforcement learning: AlphaGo and move 37 page) (voir aussi la page L'apprentissage par renforcement : AlphaGo et le coup 37). They line up with instruction tuning instruction tuningaffinage par instructions language modelsmodèles de langue A form of supervised fine-tuning in which a pretrained language model is trained further on examples pairing instructions or questions with appropriate responses.Forme d'affinage supervisé dans laquelle un modèle de langue préentraîné est entraîné davantage sur des exemples associant des instructions ou des questions à des réponses appropriées. and preference tuning preference tuningréglage des préférences language modelsmodèles de langue A form of fine-tuning, applied in post-training, that adjusts a language model so that it becomes more likely to produce responses judged preferable and less likely to produce responses judged undesirable.Forme d'affinage, appliquée au postentraînement, qui ajuste un modèle de langue pour qu'il produise plus volontiers des réponses jugées préférables et moins volontiers des réponses jugées indésirables. , and the resemblance ends at the thing being optimized.

Two columns side by side. AlphaGo learns from strong amateurs' games, then plays itself millions of times, optimizing for won or lost, a signal that is exact and checked for free, and goes past the players it learned from. A language model learns from instructions and answers, then trains on human rankings, optimizing against a reward model that is a stand-in for a judgement, and gets better at what its annotators preferred. A line below the second column reads that nothing defines the top.
Figure 11. The two pipelines line up stage for stage and part company at what is being optimized.

At the end of every game of Go, the rules say who won. That result is exact, it costs nothing to check, and a program can play millions of games against itself to collect more of it.

A translation, a summary or an explanation has nothing like that. No rule says whether a text is right, so preference tuning learns from people’s rankings, through a reward model or directly, and those rankings are a stand-in for a judgement and not a ground truth ground truthréalité de terrain evaluationévaluation The values, labels or observations treated as the correct description of the cases in a dataset.Valeurs, étiquettes ou observations tenues pour la description correcte des cas d'un jeu de données. (Guo et al., 2025). A language model can therefore get better at producing what its annotators preferred, but it has no clear route to becoming superhuman at writing the way AlphaGo and its successors became superhuman at Go, because nothing defines the top.

This is a crucial difference. Having a result you can check automatically means you can keep optimizing without people, and each check costs almost nothing. Whereas being reliant on subjective references that require human involvement to create is a considerable limitation in terms of how much you can optimize and what you should consider good performance (see also the Evaluating language technology module) (voir aussi le module L'évaluation des technologies langagières).

RLVR: verifiable answers are the answer

Some tasks done in language do end in a result that can be checked: a mathematical answer is right or wrong, and code passes its tests or does not. There, training can again score the model’s answers automatically, as often as the budget allows. This is reinforcement learning with verifiable rewards (RLVR), the method behind reasoning models reasoning modelmodèle de raisonnement language modelsmodèles de langue A language model designed to improve its performance on complex, multi-step problems by using additional computation during inference.Modèle de langue conçu pour améliorer sa performance sur des problèmes complexes en plusieurs étapes en recourant à un surcroît de calcul pendant l'inférence. such as DeepSeek-R1, which improved most in mathematics and code (Guo et al., 2025). The name was introduced for the post-training of the open Tülu 3 models (Lambert et al., 2025).

How the kinds of fine-tuning fit together

Instruction tuning, preference tuning and RLVR are all fine-tuning fine-tuningaffinage machine learningapprentissage automatique Further training of a pretrained model on new data to adapt it for a particular task, domain, or intended behaviour.Poursuite de l'entraînement d'un modèle préentraîné sur un jeu de données généralement plus restreint et spécialisé, afin de l'adapter à une tâche ou à un domaine particulier. : each trains a model that already exists on further data. Post-training post-trainingpostentraînement language modelsmodèles de langue Additional training applied to a pretrained model to adapt its capabilities or behaviour for intended uses.Entraînement supplémentaire appliqué à un modèle préentraîné pour adapter ses capacités ou son comportement aux usages visés. names the stages a developer runs to turn a base model base modelmodèle de base language modelsmodèles de langue A language model that has completed pretraining but has not yet undergone post-training.Modèle de langue qui a terminé son préentraînement mais n'a pas encore reçu de postentraînement. into an assistant (Jurafsky & Martin, 2026). Adapting a model to a domain or a task is fine-tuning as well, but it happens outside post-training.

A large box, fine-tuning, contains three kinds. Supervised fine-tuning, in indigo, contains two: adapting to a task, and instruction tuning. Preference tuning, in teal, also called preference alignment, contains RLHF, via a reward model, and DPO, directly on pairs. RLVR, on answers that can be checked, stands on its own. A dashed plum outline labelled post-training encloses instruction tuning, preference tuning and RLVR, and leaves task adaptation outside it.
Figure 12. The kinds of fine-tuning this chapter names, and which of them make up post-training.

Sources

  • Guo, D., Yang, D., Zhang, H., Song, J., Zhang, R., Xu, R., et al. (2025). DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning. Nature, 645(8081), 633–638. https://doi.org/10.1038/s41586-025-09422-z
  • Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
  • Lambert, N., Morrison, J., Pyatkin, V., Huang, S., Ivison, H., Brahman, F., et al. (2025). Tulu 3: Pushing Frontiers in Open Language Model Post-Training. Conference on Language Modeling (COLM 2025). https://openreview.net/forum?id=i1uGbfHHpH

L’entraînement d’AlphaGo face à celui des GML

AlphaGo a été entraîné en deux étapes, sur des parties humaines puis contre lui-même (see also the Reinforcement learning: AlphaGo and move 37 page) (voir aussi la page L'apprentissage par renforcement : AlphaGo et le coup 37). Elles correspondent à l’affinage par instructions instruction tuningaffinage par instructions language modelsmodèles de langue A form of supervised fine-tuning in which a pretrained language model is trained further on examples pairing instructions or questions with appropriate responses.Forme d'affinage supervisé dans laquelle un modèle de langue préentraîné est entraîné davantage sur des exemples associant des instructions ou des questions à des réponses appropriées. et au réglage des préférences preference tuningréglage des préférences language modelsmodèles de langue A form of fine-tuning, applied in post-training, that adjusts a language model so that it becomes more likely to produce responses judged preferable and less likely to produce responses judged undesirable.Forme d'affinage, appliquée au postentraînement, qui ajuste un modèle de langue pour qu'il produise plus volontiers des réponses jugées préférables et moins volontiers des réponses jugées indésirables. , et la ressemblance s’arrête à ce qui est optimisé.

Deux colonnes côte à côte. AlphaGo apprend à partir de parties de forts amateurs, puis joue contre lui-même des millions de fois, en optimisant pour gagné ou perdu, un signal exact et vérifié gratuitement, et dépasse les joueurs auprès desquels il a appris. Un modèle de langue apprend à partir d'instructions et de réponses, puis s'entraîne sur des classements humains, en optimisant contre un modèle de récompense qui tient lieu de jugement, et produit de mieux en mieux ce que ses annotateurs préféraient. Une ligne sous la seconde colonne dit que rien ne définit le sommet.
Figure 11. Les deux chaînes se correspondent étape pour étape et se séparent sur ce qu'elles optimisent.

À la fin de chaque partie de go, les règles disent qui a gagné. Ce résultat est exact, il ne coûte rien à vérifier, et un programme peut jouer des millions de parties contre lui-même pour en recueillir davantage.

Une traduction, un résumé ou une explication n’ont rien de tel. Aucune règle ne dit si un texte est juste ; le réglage des préférences apprend donc de classements humains, par un modèle de récompense ou directement, et ces classements tiennent lieu de jugement sans être une réalité de terrain ground truthréalité de terrain evaluationévaluation The values, labels or observations treated as the correct description of the cases in a dataset.Valeurs, étiquettes ou observations tenues pour la description correcte des cas d'un jeu de données. (Guo et al., 2025). Un modèle de langue peut donc produire de mieux en mieux ce que ses annotateurs préféraient, mais il n’a pas de voie claire pour devenir surhumain en écriture comme AlphaGo et ses successeurs le sont devenus au go, parce que rien ne définit le sommet.

C’est une différence cruciale. Disposer d’un résultat vérifiable automatiquement permet de continuer à optimiser sans intervention humaine, et chaque vérification ne coûte presque rien. Dépendre de références subjectives, dont la création exige une intervention humaine, limite au contraire considérablement ce qu’on peut optimiser et ce qu’on doit considérer comme une bonne performance (see also the Evaluating language technology module) (voir aussi le module L'évaluation des technologies langagières).

L’ARV : les réponses vérifiables sont la réponse

Certaines tâches langagières aboutissent pourtant à un résultat vérifiable : une réponse mathématique est juste ou fausse, et du code réussit ses tests ou non. Là, l’entraînement peut de nouveau noter automatiquement les réponses du modèle, aussi souvent que le budget le permet. C’est l’apprentissage par renforcement vérifiable (ARV), la méthode derrière des modèles de raisonnement reasoning modelmodèle de raisonnement language modelsmodèles de langue A language model designed to improve its performance on complex, multi-step problems by using additional computation during inference.Modèle de langue conçu pour améliorer sa performance sur des problèmes complexes en plusieurs étapes en recourant à un surcroît de calcul pendant l'inférence. comme DeepSeek-R1, qui ont le plus progressé en mathématiques et en programmation (Guo et al., 2025). Le nom a été introduit pour le postentraînement des modèles ouverts Tülu 3 (Lambert et al., 2025).

Comment les sortes d’affinage s’articulent

L’affinage par instructions, le réglage des préférences et l’ARV relèvent tous de l’affinage fine-tuningaffinage machine learningapprentissage automatique Further training of a pretrained model on new data to adapt it for a particular task, domain, or intended behaviour.Poursuite de l'entraînement d'un modèle préentraîné sur un jeu de données généralement plus restreint et spécialisé, afin de l'adapter à une tâche ou à un domaine particulier.  : chacun entraîne davantage un modèle qui existe déjà. Le postentraînement post-trainingpostentraînement language modelsmodèles de langue Additional training applied to a pretrained model to adapt its capabilities or behaviour for intended uses.Entraînement supplémentaire appliqué à un modèle préentraîné pour adapter ses capacités ou son comportement aux usages visés. désigne les étapes qu’un développeur mène pour faire d’un modèle de base base modelmodèle de base language modelsmodèles de langue A language model that has completed pretraining but has not yet undergone post-training.Modèle de langue qui a terminé son préentraînement mais n'a pas encore reçu de postentraînement. un assistant (Jurafsky et Martin, 2026). Adapter un modèle à un domaine ou à une tâche relève aussi de l’affinage, mais en dehors du postentraînement.

Une grande boîte, l'affinage, contient trois sortes. L'affinage supervisé, en indigo, en contient deux : l'adaptation à une tâche, et l'affinage par instructions. Le réglage des préférences, en vert, aussi appelé alignement sur les préférences, contient l'ARRH, par un modèle de récompense, et la DPO, directement sur des paires. L'ARV, sur des réponses vérifiables, est à part. Un contour pointillé prune, étiqueté postentraînement, entoure l'affinage par instructions, le réglage des préférences et l'ARV, et laisse l'adaptation à une tâche en dehors.
Figure 12. Les sortes d'affinage que nomme ce chapitre, et celles qui forment le postentraînement.

Sources

  • Guo, D., Yang, D., Zhang, H., Song, J., Zhang, R., Xu, R., et al. (2025). DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning. Nature, 645(8081), 633–638. https://doi.org/10.1038/s41586-025-09422-z
  • Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
  • Lambert, N., Morrison, J., Pyatkin, V., Huang, S., Ivison, H., Brahman, F., et al. (2025). Tulu 3: Pushing Frontiers in Open Language Model Post-Training. Conference on Language Modeling (COLM 2025). https://openreview.net/forum?id=i1uGbfHHpH

Spotted an error? Une erreur ?

Language, content, a broken link: e-mail me what you saw and I will fix it. Langue, contenu, lien brisé : écrivez-moi ce que vous avez vu et je corrige.

ayla.rigouts.terryn@umontreal.ca

Please mention the page: Mentionnez la page :