Administrator

From pretraining to deployment

1. Pretraining pre-trainingpréentraînement language modelsmodèles de langue An initial stage in which a model learns general patterns and reusable representations from a large dataset, often through self-supervised learning, before any later adaptation for particular tasks or uses.Étape initiale au cours de laquelle un modèle apprend des régularités générales et des représentations réutilisables à partir d'un grand jeu de données, souvent par apprentissage autosupervisé, avant toute adaptation ultérieure à des tâches ou à des usages particuliers. . Training on a vast amount of text, which produces the base model base modelmodèle de base language modelsmodèles de langue A language model that has completed pretraining but has not yet undergone post-training.Modèle de langue qui a terminé son préentraînement mais n'a pas encore reçu de postentraînement. : it continues text and does not reliably follow instructions.
2. Instruction tuning instruction tuningaffinage par instructions language modelsmodèles de langue A form of supervised fine-tuning in which a pretrained language model is trained further on examples pairing instructions or questions with appropriate responses.Forme d'affinage supervisé dans laquelle un modèle de langue préentraîné est entraîné davantage sur des exemples associant des instructions ou des questions à des réponses appropriées. . Training on examples of instructions and good responses, so the model recognizes a request as a request.
3. Preference tuning preference tuningréglage des préférences language modelsmodèles de langue A form of fine-tuning, applied in post-training, that adjusts a language model so that it becomes more likely to produce responses judged preferable and less likely to produce responses judged undesirable.Forme d'affinage, appliquée au postentraînement, qui ajuste un modèle de langue pour qu'il produise plus volontiers des réponses jugées préférables et moins volontiers des réponses jugées indésirables. . Training on judgements, usually human, of which response is better, for the qualities that are easier to recognize than to demonstrate.
4. Deployment. System prompts system promptrequête générative système promptingrequêtes An instruction supplied to a language model before or alongside the user's input that establishes the model's role, task, behavioural rules, tone, or other context for the interaction.Instruction fournie à un modèle de langue avant l'entrée de l'utilisateur, ou en parallèle, qui établit le rôle du modèle, sa tâche, ses règles de conduite, son ton ou d'autres éléments de contexte pour l'interaction. , safety filters and other machinery around the model, changing nothing in its parameters (see also the Alignment page) (voir aussi la page L'alignement).

Post-training

Stages 2 and 3 are both forms of fine-tuning fine-tuningaffinage machine learningapprentissage automatique Further training of a pretrained model on new data to adapt it for a particular task, domain, or intended behaviour.Poursuite de l'entraînement d'un modèle préentraîné sur un jeu de données généralement plus restreint et spécialisé, afin de l'adapter à une tâche ou à un domaine particulier. , and together the field calls them post-training. Many current models add a third post-training stage, reinforcement learning with verifiable rewards reinforcement learning with verifiable rewards (RLVR)apprentissage par renforcement vérifiable (ARV) language modelsmodèles de langue A method for post-training a language model in which rewards are based on whether its responses satisfy criteria that can be checked automatically.Méthode de postentraînement d'un modèle de langue dans laquelle les récompenses dépendent du respect, par ses réponses, de critères vérifiables automatiquement. (Jurafsky & Martin, 2026) (see also the RLVR: learning from answers that can be checked page) (voir aussi la page L'ARV : apprendre à partir de réponses vérifiables). The two terms are not synonyms: fine-tuning is the technique, and it is also used outside post-training, for instance to adapt an existing model to one organization’s texts.

Showing the model what a good answer looks like

Instruction tuning is done by giving pairs of examples: instructions and responses. One half is an instruction, the kind of thing a user would actually type, which in this context is called a prompt promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. . The other half is a response worth imitating.

Prompt: Explain photosynthesis to a 10-year-old.

Response: Photosynthesis is how plants make their own food using sunlight. Think of leaves as tiny factories that take in sunlight, water and air…

Training on enough of these teaches a pattern that pretraining rarely presented so consistently: an instruction is followed by a response to it. Thus, the text completion system becomes a question answering system.

Instruction tuning is one kind of supervised fine-tuning, which is itself one kind of fine-tuning. Supervised fine-tuning is also used outside assistants, to adapt a model to a task, such as translating with one organization’s terminology from its translation memory translation memory (TM)mémoire de traduction (MT) CAT toolsTAO A bilingual database of previously translated source segments and their corresponding target segments, which a translation-memory system searches to propose exact or similar matches for new source text.Base de données bilingue de segments source déjà traduits et de leurs segments cibles correspondants, dans laquelle un système de mémoire de traduction cherche des correspondances exactes ou similaires pour un nouveau texte source. .

The term instruction tuning was introduced by Wei et al. (2022), who fine-tuned a pretrained model on more than 60 datasets phrased as instructions and found that it could then follow instructions for tasks it had not seen.

Small data, chosen carefully

Pretraining text was written by people too, but not for this purpose, and it is filtered in bulk. Instruction-tuning examples are chosen or written for the behaviour wanted. For InstructGPT, that meant about 13 000 prompts with answers written by hired labellers (Ouyang et al., 2022). Later sets also reuse questions and answers from community sites (Zhou et al., 2023) and instructions and answers generated by a model, then filtered (Wang et al., 2023).

Quality counts for more than quantity here: a thousand carefully chosen examples can be enough: doubling their number did not improve the answers, and filtering them for quality did (Zhou et al., 2023). The authors take this as a sign that the model learns a manner rather than a subject.

Where the examples are written for the purpose, the work is often paid: Ouyang et al. (2022) recruited and screened about 40 labellers for it.

Not quite the helpful assistant chatbot yet

After this stage the model answers questions and can keep up a conversation. Its finer judgement goes only as far as its examples showed it: how long an answer should be, when to say it is unsure, when a request should be declined. Those qualities are easy to recognize in a response and hard to specify in advance.

Ranking instead of writing

Some things about a good answer are easy to judge and hard to state. Asked whether this response or that one is better, an annotator can answer quickly; asked to write down the rule they applied, they would find it far harder.

Preference tuning uses that asymmetry. Rather than asking people to produce the ideal answer, it asks them to put several of the model’s own answers in order. The rankings are not perfectly consistent: the labellers of Ouyang et al. (2022) agreed with each other on about 73% of comparisons. Each ranking is then split into pairs: four answers in order give six pairs, each made of a better and a worse answer.

The two best-known methods are reinforcement learning from human feedback (RLHF) and direct preference optimization (DPO) (Jurafsky & Martin, 2026).

RLHF: a reward model stands in for the people

The reward model is the piece that makes the scale possible. Human rankings are slow and expensive to collect, so a separate network is trained to imitate them, and the language model is then trained against that imitation, round after round. In each round, the model writes a new answer, the reward model gives that answer a score, and the model’s parameters parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. shift toward answers that score higher. A penalty keeps the model close to where it started: pushed too far, it learns to please the reward model rather than the people behind it (Ouyang et al., 2022).

The comparisons do not have to come from people: in a method its authors call Constitutional AI, a model compares answers for harmfulness against a written list of principles, and those comparisons, with human ones for helpfulness, train the reward model (Bai et al., 2022a).

The method predates large language models large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. : Christiano et al. (2017) trained systems from human comparisons of short behaviour clips, in a method designed for goals that are hard to write down.

DPO: learning from the ranked pairs directly

Direct preference optimization direct preference optimization (DPO)optimisation directe des préférences (DPO) language modelsmodèles de langue A preference-tuning method that trains a language model directly from pairs of preferred and rejected responses.Méthode de réglage des préférences qui entraîne un modèle de langue directement à partir de paires de réponses préférées et rejetées. (DPO) starts from the same ranked pairs but uses no reward model (Rafailov et al., 2023). The pairs are collected before training and stay the same throughout: the model writes no new answers while it learns. For each pair, its parameters are adjusted so that the preferred answer becomes more probable and the rejected one less probable.

DPO is therefore closer to supervised learning supervised (machine) learningapprentissage supervisé machine learningapprentissage automatique A form of machine learning in which a model learns from labelled examples.Forme d'apprentissage automatique dans laquelle un modèle apprend à partir d'exemples étiquetés. than to reinforcement learning (Jurafsky & Martin, 2026), but it is not supervised fine-tuning supervised fine-tuning (SFT)affinage supervisé language modelsmodèles de langue Additional training of a pretrained model on labelled examples that pair an input with a desired output, with the model's parameters adjusted to make the desired outputs more likely.Entraînement supplémentaire d'un modèle préentraîné sur des exemples étiquetés associant une entrée à une sortie souhaitée, les paramètres du modèle étant ajustés pour rendre ces sorties plus probables. : the model learns from a comparison between two answers, not from an answer to imitate.

Ranking instead of writing

Some things about a good answer are easy to judge and hard to state. Asked whether this response or that one is better, an annotator can answer quickly; asked to write down the rule they applied, they would find it far harder.

Preference tuning uses that asymmetry. Rather than asking people to produce the ideal answer, it asks them to put several of the model’s own answers in order. The rankings are not perfectly consistent: the labellers of Ouyang et al. (2022) agreed with each other on about 73% of comparisons. Each ranking is then split into pairs: four answers in order give six pairs, each made of a better and a worse answer.

The two best-known methods are reinforcement learning from human feedback (RLHF) and direct preference optimization (DPO) (Jurafsky & Martin, 2026).

RLHF: a reward model stands in for the people

The reward model is the piece that makes the scale possible. Human rankings are slow and expensive to collect, so a separate network is trained to imitate them, and the language model is then trained against that imitation, round after round. In each round, the model writes a new answer, the reward model gives that answer a score, and the model’s parameters parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. shift toward answers that score higher. A penalty keeps the model close to where it started: pushed too far, it learns to please the reward model rather than the people behind it (Ouyang et al., 2022).

The comparisons do not have to come from people: in a method its authors call Constitutional AI, a model compares answers for harmfulness against a written list of principles, and those comparisons, with human ones for helpfulness, train the reward model (Bai et al., 2022a).

The method predates large language models large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. : Christiano et al. (2017) trained systems from human comparisons of short behaviour clips, in a method designed for goals that are hard to write down.

DPO: learning from the ranked pairs directly

Direct preference optimization direct preference optimization (DPO)optimisation directe des préférences (DPO) language modelsmodèles de langue A preference-tuning method that trains a language model directly from pairs of preferred and rejected responses.Méthode de réglage des préférences qui entraîne un modèle de langue directement à partir de paires de réponses préférées et rejetées. (DPO) starts from the same ranked pairs but uses no reward model (Rafailov et al., 2023). The pairs are collected before training and stay the same throughout: the model writes no new answers while it learns. For each pair, its parameters are adjusted so that the preferred answer becomes more probable and the rejected one less probable.

DPO is therefore closer to supervised learning supervised (machine) learningapprentissage supervisé machine learningapprentissage automatique A form of machine learning in which a model learns from labelled examples.Forme d'apprentissage automatique dans laquelle un modèle apprend à partir d'exemples étiquetés. than to reinforcement learning (Jurafsky & Martin, 2026), but it is not supervised fine-tuning supervised fine-tuning (SFT)affinage supervisé language modelsmodèles de langue Additional training of a pretrained model on labelled examples that pair an input with a desired output, with the model's parameters adjusted to make the desired outputs more likely.Entraînement supplémentaire d'un modèle préentraîné sur des exemples étiquetés associant une entrée à une sortie souhaitée, les paramètres du modèle étant ajustés pour rendre ces sorties plus probables. : the model learns from a comparison between two answers, not from an answer to imitate.

Ranking instead of writing

Some things about a good answer are easy to judge and hard to state. Asked whether this response or that one is better, an annotator can answer quickly; asked to write down the rule they applied, they would find it far harder.

Preference tuning uses that asymmetry. Rather than asking people to produce the ideal answer, it asks them to put several of the model’s own answers in order. The rankings are not perfectly consistent: the labellers of Ouyang et al. (2022) agreed with each other on about 73% of comparisons. Each ranking is then split into pairs: four answers in order give six pairs, each made of a better and a worse answer.

The two best-known methods are reinforcement learning from human feedback (RLHF) and direct preference optimization (DPO) (Jurafsky & Martin, 2026).

RLHF: a reward model stands in for the people

The reward model is the piece that makes the scale possible. Human rankings are slow and expensive to collect, so a separate network is trained to imitate them, and the language model is then trained against that imitation, round after round. In each round, the model writes a new answer, the reward model gives that answer a score, and the model’s parameters parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. shift toward answers that score higher. A penalty keeps the model close to where it started: pushed too far, it learns to please the reward model rather than the people behind it (Ouyang et al., 2022).

The comparisons do not have to come from people: in a method its authors call Constitutional AI, a model compares answers for harmfulness against a written list of principles, and those comparisons, with human ones for helpfulness, train the reward model (Bai et al., 2022a).

The method predates large language models large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. : Christiano et al. (2017) trained systems from human comparisons of short behaviour clips, in a method designed for goals that are hard to write down.

DPO: learning from the ranked pairs directly

Direct preference optimization direct preference optimization (DPO)optimisation directe des préférences (DPO) language modelsmodèles de langue A preference-tuning method that trains a language model directly from pairs of preferred and rejected responses.Méthode de réglage des préférences qui entraîne un modèle de langue directement à partir de paires de réponses préférées et rejetées. (DPO) starts from the same ranked pairs but uses no reward model (Rafailov et al., 2023). The pairs are collected before training and stay the same throughout: the model writes no new answers while it learns. For each pair, its parameters are adjusted so that the preferred answer becomes more probable and the rejected one less probable.

DPO is therefore closer to supervised learning supervised (machine) learningapprentissage supervisé machine learningapprentissage automatique A form of machine learning in which a model learns from labelled examples.Forme d'apprentissage automatique dans laquelle un modèle apprend à partir d'exemples étiquetés. than to reinforcement learning (Jurafsky & Martin, 2026), but it is not supervised fine-tuning supervised fine-tuning (SFT)affinage supervisé language modelsmodèles de langue Additional training of a pretrained model on labelled examples that pair an input with a desired output, with the model's parameters adjusted to make the desired outputs more likely.Entraînement supplémentaire d'un modèle préentraîné sur des exemples étiquetés associant une entrée à une sortie souhaitée, les paramètres du modèle étant ajustés pour rendre ces sorties plus probables. : the model learns from a comparison between two answers, not from an answer to imitate.

Ranking instead of writing

Some things about a good answer are easy to judge and hard to state. Asked whether this response or that one is better, an annotator can answer quickly; asked to write down the rule they applied, they would find it far harder.

Preference tuning uses that asymmetry. Rather than asking people to produce the ideal answer, it asks them to put several of the model’s own answers in order. The rankings are not perfectly consistent: the labellers of Ouyang et al. (2022) agreed with each other on about 73% of comparisons. Each ranking is then split into pairs: four answers in order give six pairs, each made of a better and a worse answer.

The two best-known methods are reinforcement learning from human feedback (RLHF) and direct preference optimization (DPO) (Jurafsky & Martin, 2026).

RLHF: a reward model stands in for the people

The reward model is the piece that makes the scale possible. Human rankings are slow and expensive to collect, so a separate network is trained to imitate them, and the language model is then trained against that imitation, round after round. In each round, the model writes a new answer, the reward model gives that answer a score, and the model’s parameters parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. shift toward answers that score higher. A penalty keeps the model close to where it started: pushed too far, it learns to please the reward model rather than the people behind it (Ouyang et al., 2022).

The comparisons do not have to come from people: in a method its authors call Constitutional AI, a model compares answers for harmfulness against a written list of principles, and those comparisons, with human ones for helpfulness, train the reward model (Bai et al., 2022a).

The method predates large language models large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. : Christiano et al. (2017) trained systems from human comparisons of short behaviour clips, in a method designed for goals that are hard to write down.

DPO: learning from the ranked pairs directly

Direct preference optimization direct preference optimization (DPO)optimisation directe des préférences (DPO) language modelsmodèles de langue A preference-tuning method that trains a language model directly from pairs of preferred and rejected responses.Méthode de réglage des préférences qui entraîne un modèle de langue directement à partir de paires de réponses préférées et rejetées. (DPO) starts from the same ranked pairs but uses no reward model (Rafailov et al., 2023). The pairs are collected before training and stay the same throughout: the model writes no new answers while it learns. For each pair, its parameters are adjusted so that the preferred answer becomes more probable and the rejected one less probable.

DPO is therefore closer to supervised learning supervised (machine) learningapprentissage supervisé machine learningapprentissage automatique A form of machine learning in which a model learns from labelled examples.Forme d'apprentissage automatique dans laquelle un modèle apprend à partir d'exemples étiquetés. than to reinforcement learning (Jurafsky & Martin, 2026), but it is not supervised fine-tuning supervised fine-tuning (SFT)affinage supervisé language modelsmodèles de langue Additional training of a pretrained model on labelled examples that pair an input with a desired output, with the model's parameters adjusted to make the desired outputs more likely.Entraînement supplémentaire d'un modèle préentraîné sur des exemples étiquetés associant une entrée à une sortie souhaitée, les paramètres du modèle étant ajustés pour rendre ces sorties plus probables. : the model learns from a comparison between two answers, not from an answer to imitate.

Go as a challenge for AI

Games have long been test cases for AI, chess being the best known (see also the What counts as AI? page, in the Foundations of AI & NLP module) (voir aussi la page Ce qu'on appelle « IA », dans le module Fondements de l'IA et du TAL), and Go had long been seen as the most challenging of the classic games (Silver et al., 2016). It offers far more possible moves at each turn than chess, about 250 against about 35, and its games run longer (Silver et al., 2016). No program can work through every possible continuation of a game of Go and pick the best one: it cannot brute-force its way to a good move.

Between 2015 and 2017, Google DeepMind nonetheless built systems that played Go well, and tested them in well-publicized matches against human champions.

Learning from humans, then from itself

AlphaGo, the Go program, was trained in two stages much like a language model’s.

It began by learning from about 30 million positions from games between strong amateur players on an online Go server, predicting the move such a player would make (Silver et al., 2016). Imitation tends to cap a program near the level of the players it copies (Silver et al., 2017).

Then it played against itself, millions of times, and learned from which side won. Self-play, combined with a search through possible moves, took it past them: the program beat a professional player, Fan Hui, five games to nothing (Silver et al., 2016). Learning from a score rather than from examples is called reinforcement learning reinforcement learning (RL)apprentissage par renforcement (AR) machine learningapprentissage automatique A type of machine learning in which an agent learns how to act by receiving rewards or penalties in response to its actions, with the aim of maximizing its overall reward.Type d'apprentissage automatique dans lequel un agent apprend à agir en recevant des récompenses ou des pénalités en réponse à ses actions, avec l'objectif de maximiser sa récompense globale. (see also the Three kinds of learning page, in the Foundations of AI & NLP module) (voir aussi la page Trois types d'apprentissage, dans le module Fondements de l'IA et du TAL).

The Lee Sedol match and move 37

In March 2016 AlphaGo played Lee Sedol, one of the strongest players in the world, and won four games of five (Metz, 2016).

Of the match’s two commentators, one called it a very strange move and the other thought it was a mistake. It proved central to winning the game, and AlphaGo won the match about a decade before experts had expected such a win (Metz, 2016).

Learning from the rules alone

A later system, AlphaZero, was given no human games at all. It started from the rules of the game and its own play, and it ended up stronger still (Silver et al., 2018).

Go as a challenge for AI

Games have long been test cases for AI, chess being the best known (see also the What counts as AI? page, in the Foundations of AI & NLP module) (voir aussi la page Ce qu'on appelle « IA », dans le module Fondements de l'IA et du TAL), and Go had long been seen as the most challenging of the classic games (Silver et al., 2016). It offers far more possible moves at each turn than chess, about 250 against about 35, and its games run longer (Silver et al., 2016). No program can work through every possible continuation of a game of Go and pick the best one: it cannot brute-force its way to a good move.

Between 2015 and 2017, Google DeepMind nonetheless built systems that played Go well, and tested them in well-publicized matches against human champions.

Learning from humans, then from itself

AlphaGo, the Go program, was trained in two stages much like a language model’s.

It began by learning from about 30 million positions from games between strong amateur players on an online Go server, predicting the move such a player would make (Silver et al., 2016). Imitation tends to cap a program near the level of the players it copies (Silver et al., 2017).

Then it played against itself, millions of times, and learned from which side won. Self-play, combined with a search through possible moves, took it past them: the program beat a professional player, Fan Hui, five games to nothing (Silver et al., 2016). Learning from a score rather than from examples is called reinforcement learning reinforcement learning (RL)apprentissage par renforcement (AR) machine learningapprentissage automatique A type of machine learning in which an agent learns how to act by receiving rewards or penalties in response to its actions, with the aim of maximizing its overall reward.Type d'apprentissage automatique dans lequel un agent apprend à agir en recevant des récompenses ou des pénalités en réponse à ses actions, avec l'objectif de maximiser sa récompense globale. (see also the Three kinds of learning page, in the Foundations of AI & NLP module) (voir aussi la page Trois types d'apprentissage, dans le module Fondements de l'IA et du TAL).

The Lee Sedol match and move 37

In March 2016 AlphaGo played Lee Sedol, one of the strongest players in the world, and won four games of five (Metz, 2016).

Of the match’s two commentators, one called it a very strange move and the other thought it was a mistake. It proved central to winning the game, and AlphaGo won the match about a decade before experts had expected such a win (Metz, 2016).

Learning from the rules alone

A later system, AlphaZero, was given no human games at all. It started from the rules of the game and its own play, and it ended up stronger still (Silver et al., 2018).

AlphaGo training versus LLM training

AlphaGo was trained in two stages, on human games and then against itself (see also the Reinforcement learning: AlphaGo and move 37 page) (voir aussi la page L'apprentissage par renforcement : AlphaGo et le coup 37). They line up with instruction tuning instruction tuningaffinage par instructions language modelsmodèles de langue A form of supervised fine-tuning in which a pretrained language model is trained further on examples pairing instructions or questions with appropriate responses.Forme d'affinage supervisé dans laquelle un modèle de langue préentraîné est entraîné davantage sur des exemples associant des instructions ou des questions à des réponses appropriées. and preference tuning preference tuningréglage des préférences language modelsmodèles de langue A form of fine-tuning, applied in post-training, that adjusts a language model so that it becomes more likely to produce responses judged preferable and less likely to produce responses judged undesirable.Forme d'affinage, appliquée au postentraînement, qui ajuste un modèle de langue pour qu'il produise plus volontiers des réponses jugées préférables et moins volontiers des réponses jugées indésirables. , and the resemblance ends at the thing being optimized.

At the end of every game of Go, the rules say who won. That result is exact, it costs nothing to check, and a program can play millions of games against itself to collect more of it.

A translation, a summary or an explanation has nothing like that. No rule says whether a text is right, so preference tuning learns from people’s rankings, through a reward model or directly, and those rankings are a stand-in for a judgement and not a ground truth ground truthréalité de terrain evaluationévaluation The values, labels or observations treated as the correct description of the cases in a dataset.Valeurs, étiquettes ou observations tenues pour la description correcte des cas d'un jeu de données. (Guo et al., 2025). A language model can therefore get better at producing what its annotators preferred, but it has no clear route to becoming superhuman at writing the way AlphaGo and its successors became superhuman at Go, because nothing defines the top.

This is a crucial difference. Having a result you can check automatically means you can keep optimizing without people, and each check costs almost nothing. Whereas being reliant on subjective references that require human involvement to create is a considerable limitation in terms of how much you can optimize and what you should consider good performance (see also the Evaluating language technology module) (voir aussi le module L'évaluation des technologies langagières).

RLVR: verifiable answers are the answer

Some tasks done in language do end in a result that can be checked: a mathematical answer is right or wrong, and code passes its tests or does not. There, training can again score the model’s answers automatically, as often as the budget allows. This is reinforcement learning with verifiable rewards (RLVR), the method behind reasoning models reasoning modelmodèle de raisonnement language modelsmodèles de langue A language model designed to improve its performance on complex, multi-step problems by using additional computation during inference.Modèle de langue conçu pour améliorer sa performance sur des problèmes complexes en plusieurs étapes en recourant à un surcroît de calcul pendant l'inférence. such as DeepSeek-R1, which improved most in mathematics and code (Guo et al., 2025). The name was introduced for the post-training of the open Tülu 3 models (Lambert et al., 2025).

How the kinds of fine-tuning fit together

Instruction tuning, preference tuning and RLVR are all fine-tuning fine-tuningaffinage machine learningapprentissage automatique Further training of a pretrained model on new data to adapt it for a particular task, domain, or intended behaviour.Poursuite de l'entraînement d'un modèle préentraîné sur un jeu de données généralement plus restreint et spécialisé, afin de l'adapter à une tâche ou à un domaine particulier. : each trains a model that already exists on further data. Post-training post-trainingpostentraînement language modelsmodèles de langue Additional training applied to a pretrained model to adapt its capabilities or behaviour for intended uses.Entraînement supplémentaire appliqué à un modèle préentraîné pour adapter ses capacités ou son comportement aux usages visés. names the stages a developer runs to turn a base model base modelmodèle de base language modelsmodèles de langue A language model that has completed pretraining but has not yet undergone post-training.Modèle de langue qui a terminé son préentraînement mais n'a pas encore reçu de postentraînement. into an assistant (Jurafsky & Martin, 2026). Adapting a model to a domain or a task is fine-tuning as well, but it happens outside post-training.

AlphaGo training versus LLM training

AlphaGo was trained in two stages, on human games and then against itself (see also the Reinforcement learning: AlphaGo and move 37 page) (voir aussi la page L'apprentissage par renforcement : AlphaGo et le coup 37). They line up with instruction tuning instruction tuningaffinage par instructions language modelsmodèles de langue A form of supervised fine-tuning in which a pretrained language model is trained further on examples pairing instructions or questions with appropriate responses.Forme d'affinage supervisé dans laquelle un modèle de langue préentraîné est entraîné davantage sur des exemples associant des instructions ou des questions à des réponses appropriées. and preference tuning preference tuningréglage des préférences language modelsmodèles de langue A form of fine-tuning, applied in post-training, that adjusts a language model so that it becomes more likely to produce responses judged preferable and less likely to produce responses judged undesirable.Forme d'affinage, appliquée au postentraînement, qui ajuste un modèle de langue pour qu'il produise plus volontiers des réponses jugées préférables et moins volontiers des réponses jugées indésirables. , and the resemblance ends at the thing being optimized.

At the end of every game of Go, the rules say who won. That result is exact, it costs nothing to check, and a program can play millions of games against itself to collect more of it.

A translation, a summary or an explanation has nothing like that. No rule says whether a text is right, so preference tuning learns from people’s rankings, through a reward model or directly, and those rankings are a stand-in for a judgement and not a ground truth ground truthréalité de terrain evaluationévaluation The values, labels or observations treated as the correct description of the cases in a dataset.Valeurs, étiquettes ou observations tenues pour la description correcte des cas d'un jeu de données. (Guo et al., 2025). A language model can therefore get better at producing what its annotators preferred, but it has no clear route to becoming superhuman at writing the way AlphaGo and its successors became superhuman at Go, because nothing defines the top.

This is a crucial difference. Having a result you can check automatically means you can keep optimizing without people, and each check costs almost nothing. Whereas being reliant on subjective references that require human involvement to create is a considerable limitation in terms of how much you can optimize and what you should consider good performance (see also the Evaluating language technology module) (voir aussi le module L'évaluation des technologies langagières).

RLVR: verifiable answers are the answer

Some tasks done in language do end in a result that can be checked: a mathematical answer is right or wrong, and code passes its tests or does not. There, training can again score the model’s answers automatically, as often as the budget allows. This is reinforcement learning with verifiable rewards (RLVR), the method behind reasoning models reasoning modelmodèle de raisonnement language modelsmodèles de langue A language model designed to improve its performance on complex, multi-step problems by using additional computation during inference.Modèle de langue conçu pour améliorer sa performance sur des problèmes complexes en plusieurs étapes en recourant à un surcroît de calcul pendant l'inférence. such as DeepSeek-R1, which improved most in mathematics and code (Guo et al., 2025). The name was introduced for the post-training of the open Tülu 3 models (Lambert et al., 2025).

How the kinds of fine-tuning fit together

Instruction tuning, preference tuning and RLVR are all fine-tuning fine-tuningaffinage machine learningapprentissage automatique Further training of a pretrained model on new data to adapt it for a particular task, domain, or intended behaviour.Poursuite de l'entraînement d'un modèle préentraîné sur un jeu de données généralement plus restreint et spécialisé, afin de l'adapter à une tâche ou à un domaine particulier. : each trains a model that already exists on further data. Post-training post-trainingpostentraînement language modelsmodèles de langue Additional training applied to a pretrained model to adapt its capabilities or behaviour for intended uses.Entraînement supplémentaire appliqué à un modèle préentraîné pour adapter ses capacités ou son comportement aux usages visés. names the stages a developer runs to turn a base model base modelmodèle de base language modelsmodèles de langue A language model that has completed pretraining but has not yet undergone post-training.Modèle de langue qui a terminé son préentraînement mais n'a pas encore reçu de postentraînement. into an assistant (Jurafsky & Martin, 2026). Adapting a model to a domain or a task is fine-tuning as well, but it happens outside post-training.

Du préentraînement au déploiement

1. Préentraînement pre-trainingpréentraînement language modelsmodèles de langue An initial stage in which a model learns general patterns and reusable representations from a large dataset, often through self-supervised learning, before any later adaptation for particular tasks or uses.Étape initiale au cours de laquelle un modèle apprend des régularités générales et des représentations réutilisables à partir d'un grand jeu de données, souvent par apprentissage autosupervisé, avant toute adaptation ultérieure à des tâches ou à des usages particuliers. . Un entraînement sur une très grande quantité de texte, qui produit le modèle de base base modelmodèle de base language modelsmodèles de langue A language model that has completed pretraining but has not yet undergone post-training.Modèle de langue qui a terminé son préentraînement mais n'a pas encore reçu de postentraînement.  : il prolonge du texte et ne suit pas les instructions de façon fiable.
2. Affinage par instructions instruction tuningaffinage par instructions language modelsmodèles de langue A form of supervised fine-tuning in which a pretrained language model is trained further on examples pairing instructions or questions with appropriate responses.Forme d'affinage supervisé dans laquelle un modèle de langue préentraîné est entraîné davantage sur des exemples associant des instructions ou des questions à des réponses appropriées. . Un entraînement sur des exemples d’instructions et de bonnes réponses, pour que le modèle reconnaisse une demande comme une demande.
3. Réglage des préférences preference tuningréglage des préférences language modelsmodèles de langue A form of fine-tuning, applied in post-training, that adjusts a language model so that it becomes more likely to produce responses judged preferable and less likely to produce responses judged undesirable.Forme d'affinage, appliquée au postentraînement, qui ajuste un modèle de langue pour qu'il produise plus volontiers des réponses jugées préférables et moins volontiers des réponses jugées indésirables. . Un entraînement sur des jugements, humains le plus souvent, quant à la meilleure réponse, pour les qualités plus faciles à reconnaître qu’à montrer par l’exemple.
4. Déploiement. Requêtes génératives système system promptrequête générative système promptingrequêtes An instruction supplied to a language model before or alongside the user's input that establishes the model's role, task, behavioural rules, tone, or other context for the interaction.Instruction fournie à un modèle de langue avant l'entrée de l'utilisateur, ou en parallèle, qui établit le rôle du modèle, sa tâche, ses règles de conduite, son ton ou d'autres éléments de contexte pour l'interaction. , filtres de sécurité et autres dispositifs autour du modèle, qui ne changent rien à ses paramètres (see also the Alignment page) (voir aussi la page L'alignement).

Le postentraînement

Les étapes 2 et 3 sont deux formes d’affinage fine-tuningaffinage machine learningapprentissage automatique Further training of a pretrained model on new data to adapt it for a particular task, domain, or intended behaviour.Poursuite de l'entraînement d'un modèle préentraîné sur un jeu de données généralement plus restreint et spécialisé, afin de l'adapter à une tâche ou à un domaine particulier. , que le domaine regroupe sous le nom de postentraînement. Beaucoup de modèles actuels y ajoutent une troisième étape, l’apprentissage par renforcement vérifiable reinforcement learning with verifiable rewards (RLVR)apprentissage par renforcement vérifiable (ARV) language modelsmodèles de langue A method for post-training a language model in which rewards are based on whether its responses satisfy criteria that can be checked automatically.Méthode de postentraînement d'un modèle de langue dans laquelle les récompenses dépendent du respect, par ses réponses, de critères vérifiables automatiquement. (Jurafsky et Martin, 2026) (see also the RLVR: learning from answers that can be checked page) (voir aussi la page L'ARV : apprendre à partir de réponses vérifiables). Les deux termes ne sont pas synonymes : l’affinage est la technique, et il sert aussi en dehors du postentraînement, par exemple pour adapter un modèle existant aux textes d’une organisation.

Montrer au modèle à quoi ressemble une bonne réponse

L’affinage par instructions se fait en fournissant des paires d’exemples : des instructions et des réponses. Une moitié est une instruction, le genre de chose qu’un utilisateur taperait réellement, ce qu’on appelle dans ce contexte une requête promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. . L’autre moitié est une réponse digne d’être imitée.

Requête : Explique la photosynthèse à un enfant de 10 ans.

Réponse : La photosynthèse, c’est la façon dont les plantes fabriquent leur propre nourriture avec la lumière du soleil. Imagine les feuilles comme de petites usines qui captent la lumière, l’eau et l’air…

S’entraîner sur assez de ces paires enseigne une régularité que le préentraînement présentait rarement de façon aussi constante : une instruction est suivie d’une réponse. Le système qui complète du texte devient ainsi un système qui répond aux questions.

L’affinage par instructions est une sorte d’affinage supervisé, qui est lui-même une sorte d’affinage. L’affinage supervisé sert aussi en dehors des assistants, pour adapter un modèle à une tâche, comme traduire avec la terminologie d’une organisation à partir de sa mémoire de traduction translation memory (TM)mémoire de traduction (MT) CAT toolsTAO A bilingual database of previously translated source segments and their corresponding target segments, which a translation-memory system searches to propose exact or similar matches for new source text.Base de données bilingue de segments source déjà traduits et de leurs segments cibles correspondants, dans laquelle un système de mémoire de traduction cherche des correspondances exactes ou similaires pour un nouveau texte source. .

Le terme anglais instruction tuning a été introduit par Wei et al. (2022), qui ont affiné un modèle préentraîné sur plus de 60 jeux de données formulés comme des instructions et constaté qu’il pouvait ensuite suivre des instructions pour des tâches qu’il n’avait pas vues.

Peu de données, choisies avec soin

Le texte du préentraînement a lui aussi été écrit par des personnes, mais pas dans ce but, et il est filtré en bloc. Les exemples de l’affinage par instructions sont choisis ou rédigés selon le comportement recherché. Pour InstructGPT, il s’agissait d’environ 13 000 requêtes accompagnées de réponses rédigées par des étiqueteurs recrutés à cette fin (Ouyang et al., 2022). Les ensembles plus récents reprennent aussi des questions et des réponses de sites communautaires (Zhou et al., 2023) et des instructions et des réponses générées par un modèle, puis filtrées (Wang et al., 2023).

Ici, la qualité compte plus que la quantité : un millier d’exemples soigneusement choisis peut suffire. En doubler le nombre n’a pas amélioré les réponses, alors que les filtrer selon leur qualité les a améliorées (Zhou et al., 2023). Les auteurs y voient le signe que le modèle apprend une manière plutôt qu’un sujet.

Là où les exemples sont rédigés exprès, le travail est souvent rémunéré : Ouyang et coll. (2022) ont recruté et sélectionné une quarantaine d’étiqueteurs pour cette tâche.

Pas encore tout à fait l’agent conversationnel serviable

Après cette étape, le modèle répond aux questions et peut soutenir une conversation. Son jugement plus fin ne va pas plus loin que ce que ses exemples lui ont montré : quelle longueur donner à une réponse, quand dire qu’il n’est pas sûr, quand une demande devrait être refusée. Ces qualités sont faciles à reconnaître dans une réponse et difficiles à préciser d’avance.

Classer au lieu d’écrire

Certaines choses, dans une bonne réponse, sont faciles à juger et difficiles à énoncer. Si on lui demande si cette réponse-ci ou celle-là est meilleure, un annotateur peut répondre vite ; si on lui demande d’écrire la règle qu’il a appliquée, la tâche est bien plus difficile.

Le réglage des préférences exploite cette asymétrie. Plutôt que de demander aux gens de produire la réponse idéale, il leur demande de mettre en ordre plusieurs des réponses du modèle lui-même. Les classements ne sont pas parfaitement cohérents : les étiqueteurs d’Ouyang et al. (2022) concordaient sur environ 73 % des comparaisons. Chaque classement est ensuite découpé en paires : quatre réponses classées donnent six paires, chacune formée d’une meilleure et d’une moins bonne réponse.

Les deux méthodes les plus connues sont l’apprentissage par renforcement avec rétroaction humaine (ARRH) et l’optimisation directe des préférences (DPO) (Jurafsky et Martin, 2026).

L’ARRH : un modèle de récompense remplace les personnes

Le modèle de récompense est la pièce qui rend l’échelle possible. Les classements humains sont lents et coûteux à recueillir ; on entraîne donc un réseau distinct à les imiter, et le modèle de langue est ensuite entraîné contre cette imitation, tour après tour. À chaque tour, le modèle écrit une nouvelle réponse, le modèle de récompense attribue une note à cette réponse, et les paramètres parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. du modèle sont ajustés en faveur des réponses les mieux notées. Une pénalité maintient le modèle près de son point de départ : poussé trop loin, il apprend à plaire au modèle de récompense plutôt qu’aux personnes derrière lui (Ouyang et al., 2022).

Les comparaisons ne viennent pas forcément de personnes : dans une méthode que ses auteurs appellent l’IA constitutionnelle, un modèle compare des réponses sur leur caractère nuisible d’après une liste écrite de principes, et ces comparaisons, avec des comparaisons humaines pour l’utilité, entraînent le modèle de récompense (Bai et al., 2022a).

La méthode est antérieure aux grands modèles de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris.  : Christiano et al. (2017) ont entraîné des systèmes à partir de comparaisons humaines de courts extraits de comportement, par une méthode conçue pour des objectifs difficiles à formuler.

La DPO : apprendre directement des paires classées

L’optimisation directe des préférences direct preference optimization (DPO)optimisation directe des préférences (DPO) language modelsmodèles de langue A preference-tuning method that trains a language model directly from pairs of preferred and rejected responses.Méthode de réglage des préférences qui entraîne un modèle de langue directement à partir de paires de réponses préférées et rejetées. (DPO) part des mêmes paires classées, mais sans modèle de récompense (Rafailov et al., 2023). Les paires sont recueillies avant l’entraînement et restent les mêmes du début à la fin : le modèle n’écrit aucune nouvelle réponse pendant qu’il apprend. Pour chaque paire, ses paramètres sont ajustés de sorte que la réponse préférée devienne plus probable et la réponse rejetée, moins probable.

La DPO est donc plus proche de l’apprentissage supervisé supervised (machine) learningapprentissage supervisé machine learningapprentissage automatique A form of machine learning in which a model learns from labelled examples.Forme d'apprentissage automatique dans laquelle un modèle apprend à partir d'exemples étiquetés. que de l’apprentissage par renforcement (Jurafsky et Martin, 2026), sans être pour autant un affinage supervisé supervised fine-tuning (SFT)affinage supervisé language modelsmodèles de langue Additional training of a pretrained model on labelled examples that pair an input with a desired output, with the model's parameters adjusted to make the desired outputs more likely.Entraînement supplémentaire d'un modèle préentraîné sur des exemples étiquetés associant une entrée à une sortie souhaitée, les paramètres du modèle étant ajustés pour rendre ces sorties plus probables.  : le modèle apprend d’une comparaison entre deux réponses, et non d’une réponse à imiter.

Classer au lieu d’écrire

Certaines choses, dans une bonne réponse, sont faciles à juger et difficiles à énoncer. Si on lui demande si cette réponse-ci ou celle-là est meilleure, un annotateur peut répondre vite ; si on lui demande d’écrire la règle qu’il a appliquée, la tâche est bien plus difficile.

Le réglage des préférences exploite cette asymétrie. Plutôt que de demander aux gens de produire la réponse idéale, il leur demande de mettre en ordre plusieurs des réponses du modèle lui-même. Les classements ne sont pas parfaitement cohérents : les étiqueteurs d’Ouyang et al. (2022) concordaient sur environ 73 % des comparaisons. Chaque classement est ensuite découpé en paires : quatre réponses classées donnent six paires, chacune formée d’une meilleure et d’une moins bonne réponse.

Les deux méthodes les plus connues sont l’apprentissage par renforcement avec rétroaction humaine (ARRH) et l’optimisation directe des préférences (DPO) (Jurafsky et Martin, 2026).

L’ARRH : un modèle de récompense remplace les personnes

Le modèle de récompense est la pièce qui rend l’échelle possible. Les classements humains sont lents et coûteux à recueillir ; on entraîne donc un réseau distinct à les imiter, et le modèle de langue est ensuite entraîné contre cette imitation, tour après tour. À chaque tour, le modèle écrit une nouvelle réponse, le modèle de récompense attribue une note à cette réponse, et les paramètres parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. du modèle sont ajustés en faveur des réponses les mieux notées. Une pénalité maintient le modèle près de son point de départ : poussé trop loin, il apprend à plaire au modèle de récompense plutôt qu’aux personnes derrière lui (Ouyang et al., 2022).

Les comparaisons ne viennent pas forcément de personnes : dans une méthode que ses auteurs appellent l’IA constitutionnelle, un modèle compare des réponses sur leur caractère nuisible d’après une liste écrite de principes, et ces comparaisons, avec des comparaisons humaines pour l’utilité, entraînent le modèle de récompense (Bai et al., 2022a).

La méthode est antérieure aux grands modèles de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris.  : Christiano et al. (2017) ont entraîné des systèmes à partir de comparaisons humaines de courts extraits de comportement, par une méthode conçue pour des objectifs difficiles à formuler.

La DPO : apprendre directement des paires classées

L’optimisation directe des préférences direct preference optimization (DPO)optimisation directe des préférences (DPO) language modelsmodèles de langue A preference-tuning method that trains a language model directly from pairs of preferred and rejected responses.Méthode de réglage des préférences qui entraîne un modèle de langue directement à partir de paires de réponses préférées et rejetées. (DPO) part des mêmes paires classées, mais sans modèle de récompense (Rafailov et al., 2023). Les paires sont recueillies avant l’entraînement et restent les mêmes du début à la fin : le modèle n’écrit aucune nouvelle réponse pendant qu’il apprend. Pour chaque paire, ses paramètres sont ajustés de sorte que la réponse préférée devienne plus probable et la réponse rejetée, moins probable.

La DPO est donc plus proche de l’apprentissage supervisé supervised (machine) learningapprentissage supervisé machine learningapprentissage automatique A form of machine learning in which a model learns from labelled examples.Forme d'apprentissage automatique dans laquelle un modèle apprend à partir d'exemples étiquetés. que de l’apprentissage par renforcement (Jurafsky et Martin, 2026), sans être pour autant un affinage supervisé supervised fine-tuning (SFT)affinage supervisé language modelsmodèles de langue Additional training of a pretrained model on labelled examples that pair an input with a desired output, with the model's parameters adjusted to make the desired outputs more likely.Entraînement supplémentaire d'un modèle préentraîné sur des exemples étiquetés associant une entrée à une sortie souhaitée, les paramètres du modèle étant ajustés pour rendre ces sorties plus probables.  : le modèle apprend d’une comparaison entre deux réponses, et non d’une réponse à imiter.

Classer au lieu d’écrire

Certaines choses, dans une bonne réponse, sont faciles à juger et difficiles à énoncer. Si on lui demande si cette réponse-ci ou celle-là est meilleure, un annotateur peut répondre vite ; si on lui demande d’écrire la règle qu’il a appliquée, la tâche est bien plus difficile.

Le réglage des préférences exploite cette asymétrie. Plutôt que de demander aux gens de produire la réponse idéale, il leur demande de mettre en ordre plusieurs des réponses du modèle lui-même. Les classements ne sont pas parfaitement cohérents : les étiqueteurs d’Ouyang et al. (2022) concordaient sur environ 73 % des comparaisons. Chaque classement est ensuite découpé en paires : quatre réponses classées donnent six paires, chacune formée d’une meilleure et d’une moins bonne réponse.

Les deux méthodes les plus connues sont l’apprentissage par renforcement avec rétroaction humaine (ARRH) et l’optimisation directe des préférences (DPO) (Jurafsky et Martin, 2026).

L’ARRH : un modèle de récompense remplace les personnes

Le modèle de récompense est la pièce qui rend l’échelle possible. Les classements humains sont lents et coûteux à recueillir ; on entraîne donc un réseau distinct à les imiter, et le modèle de langue est ensuite entraîné contre cette imitation, tour après tour. À chaque tour, le modèle écrit une nouvelle réponse, le modèle de récompense attribue une note à cette réponse, et les paramètres parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. du modèle sont ajustés en faveur des réponses les mieux notées. Une pénalité maintient le modèle près de son point de départ : poussé trop loin, il apprend à plaire au modèle de récompense plutôt qu’aux personnes derrière lui (Ouyang et al., 2022).

Les comparaisons ne viennent pas forcément de personnes : dans une méthode que ses auteurs appellent l’IA constitutionnelle, un modèle compare des réponses sur leur caractère nuisible d’après une liste écrite de principes, et ces comparaisons, avec des comparaisons humaines pour l’utilité, entraînent le modèle de récompense (Bai et al., 2022a).

La méthode est antérieure aux grands modèles de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris.  : Christiano et al. (2017) ont entraîné des systèmes à partir de comparaisons humaines de courts extraits de comportement, par une méthode conçue pour des objectifs difficiles à formuler.

La DPO : apprendre directement des paires classées

L’optimisation directe des préférences direct preference optimization (DPO)optimisation directe des préférences (DPO) language modelsmodèles de langue A preference-tuning method that trains a language model directly from pairs of preferred and rejected responses.Méthode de réglage des préférences qui entraîne un modèle de langue directement à partir de paires de réponses préférées et rejetées. (DPO) part des mêmes paires classées, mais sans modèle de récompense (Rafailov et al., 2023). Les paires sont recueillies avant l’entraînement et restent les mêmes du début à la fin : le modèle n’écrit aucune nouvelle réponse pendant qu’il apprend. Pour chaque paire, ses paramètres sont ajustés de sorte que la réponse préférée devienne plus probable et la réponse rejetée, moins probable.

La DPO est donc plus proche de l’apprentissage supervisé supervised (machine) learningapprentissage supervisé machine learningapprentissage automatique A form of machine learning in which a model learns from labelled examples.Forme d'apprentissage automatique dans laquelle un modèle apprend à partir d'exemples étiquetés. que de l’apprentissage par renforcement (Jurafsky et Martin, 2026), sans être pour autant un affinage supervisé supervised fine-tuning (SFT)affinage supervisé language modelsmodèles de langue Additional training of a pretrained model on labelled examples that pair an input with a desired output, with the model's parameters adjusted to make the desired outputs more likely.Entraînement supplémentaire d'un modèle préentraîné sur des exemples étiquetés associant une entrée à une sortie souhaitée, les paramètres du modèle étant ajustés pour rendre ces sorties plus probables.  : le modèle apprend d’une comparaison entre deux réponses, et non d’une réponse à imiter.

Classer au lieu d’écrire

Certaines choses, dans une bonne réponse, sont faciles à juger et difficiles à énoncer. Si on lui demande si cette réponse-ci ou celle-là est meilleure, un annotateur peut répondre vite ; si on lui demande d’écrire la règle qu’il a appliquée, la tâche est bien plus difficile.

Le réglage des préférences exploite cette asymétrie. Plutôt que de demander aux gens de produire la réponse idéale, il leur demande de mettre en ordre plusieurs des réponses du modèle lui-même. Les classements ne sont pas parfaitement cohérents : les étiqueteurs d’Ouyang et al. (2022) concordaient sur environ 73 % des comparaisons. Chaque classement est ensuite découpé en paires : quatre réponses classées donnent six paires, chacune formée d’une meilleure et d’une moins bonne réponse.

Les deux méthodes les plus connues sont l’apprentissage par renforcement avec rétroaction humaine (ARRH) et l’optimisation directe des préférences (DPO) (Jurafsky et Martin, 2026).

L’ARRH : un modèle de récompense remplace les personnes

Le modèle de récompense est la pièce qui rend l’échelle possible. Les classements humains sont lents et coûteux à recueillir ; on entraîne donc un réseau distinct à les imiter, et le modèle de langue est ensuite entraîné contre cette imitation, tour après tour. À chaque tour, le modèle écrit une nouvelle réponse, le modèle de récompense attribue une note à cette réponse, et les paramètres parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. du modèle sont ajustés en faveur des réponses les mieux notées. Une pénalité maintient le modèle près de son point de départ : poussé trop loin, il apprend à plaire au modèle de récompense plutôt qu’aux personnes derrière lui (Ouyang et al., 2022).

Les comparaisons ne viennent pas forcément de personnes : dans une méthode que ses auteurs appellent l’IA constitutionnelle, un modèle compare des réponses sur leur caractère nuisible d’après une liste écrite de principes, et ces comparaisons, avec des comparaisons humaines pour l’utilité, entraînent le modèle de récompense (Bai et al., 2022a).

La méthode est antérieure aux grands modèles de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris.  : Christiano et al. (2017) ont entraîné des systèmes à partir de comparaisons humaines de courts extraits de comportement, par une méthode conçue pour des objectifs difficiles à formuler.

La DPO : apprendre directement des paires classées

L’optimisation directe des préférences direct preference optimization (DPO)optimisation directe des préférences (DPO) language modelsmodèles de langue A preference-tuning method that trains a language model directly from pairs of preferred and rejected responses.Méthode de réglage des préférences qui entraîne un modèle de langue directement à partir de paires de réponses préférées et rejetées. (DPO) part des mêmes paires classées, mais sans modèle de récompense (Rafailov et al., 2023). Les paires sont recueillies avant l’entraînement et restent les mêmes du début à la fin : le modèle n’écrit aucune nouvelle réponse pendant qu’il apprend. Pour chaque paire, ses paramètres sont ajustés de sorte que la réponse préférée devienne plus probable et la réponse rejetée, moins probable.

La DPO est donc plus proche de l’apprentissage supervisé supervised (machine) learningapprentissage supervisé machine learningapprentissage automatique A form of machine learning in which a model learns from labelled examples.Forme d'apprentissage automatique dans laquelle un modèle apprend à partir d'exemples étiquetés. que de l’apprentissage par renforcement (Jurafsky et Martin, 2026), sans être pour autant un affinage supervisé supervised fine-tuning (SFT)affinage supervisé language modelsmodèles de langue Additional training of a pretrained model on labelled examples that pair an input with a desired output, with the model's parameters adjusted to make the desired outputs more likely.Entraînement supplémentaire d'un modèle préentraîné sur des exemples étiquetés associant une entrée à une sortie souhaitée, les paramètres du modèle étant ajustés pour rendre ces sorties plus probables.  : le modèle apprend d’une comparaison entre deux réponses, et non d’une réponse à imiter.

Le go, un défi pour l’IA

Les jeux, dont les échecs sont l’exemple le plus connu, servent depuis longtemps de terrain d’essai à l’IA (see also the What counts as AI? page, in the Foundations of AI & NLP module) (voir aussi la page Ce qu'on appelle « IA », dans le module Fondements de l'IA et du TAL), et le go était vu depuis longtemps comme le plus difficile des jeux classiques (Silver et al., 2016). Il offre bien plus de coups possibles à chaque tour que les échecs, environ 250 contre environ 35, et ses parties sont plus longues (Silver et al., 2016). Aucun programme ne peut examiner toutes les suites possibles d’une partie de go pour choisir la meilleure : il ne peut pas trouver un bon coup par la force brute.

Entre 2015 et 2017, Google DeepMind a néanmoins construit des systèmes qui jouaient bien au go, et les a mis à l’épreuve lors de matchs très médiatisés contre des champions humains.

Apprendre des humains, puis de soi-même

AlphaGo, le programme de go, a été entraîné en deux étapes, tout comme un modèle de langue.

Il a commencé par apprendre à partir d’environ 30 millions de positions tirées de parties entre de forts joueurs amateurs sur un serveur de go en ligne, en prédisant le coup qu’un tel joueur jouerait (Silver et al., 2016). L’imitation tend à plafonner un programme près du niveau des joueurs qu’il copie (Silver et al., 2017).

Puis il a joué contre lui-même, des millions de fois, et a appris de l’issue des parties. Le jeu contre lui-même, allié à une recherche parmi les coups possibles, l’a mené au-delà d’eux : le programme a battu un joueur professionnel, Fan Hui, cinq parties à zéro (Silver et al., 2016). Apprendre à partir d’un score plutôt que d’exemples, c’est l’apprentissage par renforcement reinforcement learning (RL)apprentissage par renforcement (AR) machine learningapprentissage automatique A type of machine learning in which an agent learns how to act by receiving rewards or penalties in response to its actions, with the aim of maximizing its overall reward.Type d'apprentissage automatique dans lequel un agent apprend à agir en recevant des récompenses ou des pénalités en réponse à ses actions, avec l'objectif de maximiser sa récompense globale. (see also the Three kinds of learning page, in the Foundations of AI & NLP module) (voir aussi la page Trois types d'apprentissage, dans le module Fondements de l'IA et du TAL).

Le match contre Lee Sedol et le coup 37

En mars 2016, AlphaGo a affronté Lee Sedol, l’un des plus forts joueurs du monde, et a gagné quatre parties sur cinq (Metz, 2016).

Des deux commentateurs du match, l’un a trouvé le coup très étrange et l’autre l’a pris pour une erreur. Le coup s’est révélé décisif pour gagner la partie, et AlphaGo a remporté le match une dizaine d’années avant ce qu’attendaient les experts (Metz, 2016).

Apprendre à partir des seules règles

Un système ultérieur, AlphaZero, n’a reçu aucune partie humaine. Il est parti des règles du jeu et de son propre jeu, et il a fini plus fort encore (Silver et coll., 2018).

Le go, un défi pour l’IA

Les jeux, dont les échecs sont l’exemple le plus connu, servent depuis longtemps de terrain d’essai à l’IA (see also the What counts as AI? page, in the Foundations of AI & NLP module) (voir aussi la page Ce qu'on appelle « IA », dans le module Fondements de l'IA et du TAL), et le go était vu depuis longtemps comme le plus difficile des jeux classiques (Silver et al., 2016). Il offre bien plus de coups possibles à chaque tour que les échecs, environ 250 contre environ 35, et ses parties sont plus longues (Silver et al., 2016). Aucun programme ne peut examiner toutes les suites possibles d’une partie de go pour choisir la meilleure : il ne peut pas trouver un bon coup par la force brute.

Entre 2015 et 2017, Google DeepMind a néanmoins construit des systèmes qui jouaient bien au go, et les a mis à l’épreuve lors de matchs très médiatisés contre des champions humains.

Apprendre des humains, puis de soi-même

AlphaGo, le programme de go, a été entraîné en deux étapes, tout comme un modèle de langue.

Il a commencé par apprendre à partir d’environ 30 millions de positions tirées de parties entre de forts joueurs amateurs sur un serveur de go en ligne, en prédisant le coup qu’un tel joueur jouerait (Silver et al., 2016). L’imitation tend à plafonner un programme près du niveau des joueurs qu’il copie (Silver et al., 2017).

Puis il a joué contre lui-même, des millions de fois, et a appris de l’issue des parties. Le jeu contre lui-même, allié à une recherche parmi les coups possibles, l’a mené au-delà d’eux : le programme a battu un joueur professionnel, Fan Hui, cinq parties à zéro (Silver et al., 2016). Apprendre à partir d’un score plutôt que d’exemples, c’est l’apprentissage par renforcement reinforcement learning (RL)apprentissage par renforcement (AR) machine learningapprentissage automatique A type of machine learning in which an agent learns how to act by receiving rewards or penalties in response to its actions, with the aim of maximizing its overall reward.Type d'apprentissage automatique dans lequel un agent apprend à agir en recevant des récompenses ou des pénalités en réponse à ses actions, avec l'objectif de maximiser sa récompense globale. (see also the Three kinds of learning page, in the Foundations of AI & NLP module) (voir aussi la page Trois types d'apprentissage, dans le module Fondements de l'IA et du TAL).

Le match contre Lee Sedol et le coup 37

En mars 2016, AlphaGo a affronté Lee Sedol, l’un des plus forts joueurs du monde, et a gagné quatre parties sur cinq (Metz, 2016).

Des deux commentateurs du match, l’un a trouvé le coup très étrange et l’autre l’a pris pour une erreur. Le coup s’est révélé décisif pour gagner la partie, et AlphaGo a remporté le match une dizaine d’années avant ce qu’attendaient les experts (Metz, 2016).

Apprendre à partir des seules règles

Un système ultérieur, AlphaZero, n’a reçu aucune partie humaine. Il est parti des règles du jeu et de son propre jeu, et il a fini plus fort encore (Silver et coll., 2018).

L’entraînement d’AlphaGo face à celui des GML

AlphaGo a été entraîné en deux étapes, sur des parties humaines puis contre lui-même (see also the Reinforcement learning: AlphaGo and move 37 page) (voir aussi la page L'apprentissage par renforcement : AlphaGo et le coup 37). Elles correspondent à l’affinage par instructions instruction tuningaffinage par instructions language modelsmodèles de langue A form of supervised fine-tuning in which a pretrained language model is trained further on examples pairing instructions or questions with appropriate responses.Forme d'affinage supervisé dans laquelle un modèle de langue préentraîné est entraîné davantage sur des exemples associant des instructions ou des questions à des réponses appropriées. et au réglage des préférences preference tuningréglage des préférences language modelsmodèles de langue A form of fine-tuning, applied in post-training, that adjusts a language model so that it becomes more likely to produce responses judged preferable and less likely to produce responses judged undesirable.Forme d'affinage, appliquée au postentraînement, qui ajuste un modèle de langue pour qu'il produise plus volontiers des réponses jugées préférables et moins volontiers des réponses jugées indésirables. , et la ressemblance s’arrête à ce qui est optimisé.

À la fin de chaque partie de go, les règles disent qui a gagné. Ce résultat est exact, il ne coûte rien à vérifier, et un programme peut jouer des millions de parties contre lui-même pour en recueillir davantage.

Une traduction, un résumé ou une explication n’ont rien de tel. Aucune règle ne dit si un texte est juste ; le réglage des préférences apprend donc de classements humains, par un modèle de récompense ou directement, et ces classements tiennent lieu de jugement sans être une réalité de terrain ground truthréalité de terrain evaluationévaluation The values, labels or observations treated as the correct description of the cases in a dataset.Valeurs, étiquettes ou observations tenues pour la description correcte des cas d'un jeu de données. (Guo et al., 2025). Un modèle de langue peut donc produire de mieux en mieux ce que ses annotateurs préféraient, mais il n’a pas de voie claire pour devenir surhumain en écriture comme AlphaGo et ses successeurs le sont devenus au go, parce que rien ne définit le sommet.

C’est une différence cruciale. Disposer d’un résultat vérifiable automatiquement permet de continuer à optimiser sans intervention humaine, et chaque vérification ne coûte presque rien. Dépendre de références subjectives, dont la création exige une intervention humaine, limite au contraire considérablement ce qu’on peut optimiser et ce qu’on doit considérer comme une bonne performance (see also the Evaluating language technology module) (voir aussi le module L'évaluation des technologies langagières).

L’ARV : les réponses vérifiables sont la réponse

Certaines tâches langagières aboutissent pourtant à un résultat vérifiable : une réponse mathématique est juste ou fausse, et du code réussit ses tests ou non. Là, l’entraînement peut de nouveau noter automatiquement les réponses du modèle, aussi souvent que le budget le permet. C’est l’apprentissage par renforcement vérifiable (ARV), la méthode derrière des modèles de raisonnement reasoning modelmodèle de raisonnement language modelsmodèles de langue A language model designed to improve its performance on complex, multi-step problems by using additional computation during inference.Modèle de langue conçu pour améliorer sa performance sur des problèmes complexes en plusieurs étapes en recourant à un surcroît de calcul pendant l'inférence. comme DeepSeek-R1, qui ont le plus progressé en mathématiques et en programmation (Guo et al., 2025). Le nom a été introduit pour le postentraînement des modèles ouverts Tülu 3 (Lambert et al., 2025).

Comment les sortes d’affinage s’articulent

L’affinage par instructions, le réglage des préférences et l’ARV relèvent tous de l’affinage fine-tuningaffinage machine learningapprentissage automatique Further training of a pretrained model on new data to adapt it for a particular task, domain, or intended behaviour.Poursuite de l'entraînement d'un modèle préentraîné sur un jeu de données généralement plus restreint et spécialisé, afin de l'adapter à une tâche ou à un domaine particulier.  : chacun entraîne davantage un modèle qui existe déjà. Le postentraînement post-trainingpostentraînement language modelsmodèles de langue Additional training applied to a pretrained model to adapt its capabilities or behaviour for intended uses.Entraînement supplémentaire appliqué à un modèle préentraîné pour adapter ses capacités ou son comportement aux usages visés. désigne les étapes qu’un développeur mène pour faire d’un modèle de base base modelmodèle de base language modelsmodèles de langue A language model that has completed pretraining but has not yet undergone post-training.Modèle de langue qui a terminé son préentraînement mais n'a pas encore reçu de postentraînement. un assistant (Jurafsky et Martin, 2026). Adapter un modèle à un domaine ou à une tâche relève aussi de l’affinage, mais en dehors du postentraînement.

L’entraînement d’AlphaGo face à celui des GML

AlphaGo a été entraîné en deux étapes, sur des parties humaines puis contre lui-même (see also the Reinforcement learning: AlphaGo and move 37 page) (voir aussi la page L'apprentissage par renforcement : AlphaGo et le coup 37). Elles correspondent à l’affinage par instructions instruction tuningaffinage par instructions language modelsmodèles de langue A form of supervised fine-tuning in which a pretrained language model is trained further on examples pairing instructions or questions with appropriate responses.Forme d'affinage supervisé dans laquelle un modèle de langue préentraîné est entraîné davantage sur des exemples associant des instructions ou des questions à des réponses appropriées. et au réglage des préférences preference tuningréglage des préférences language modelsmodèles de langue A form of fine-tuning, applied in post-training, that adjusts a language model so that it becomes more likely to produce responses judged preferable and less likely to produce responses judged undesirable.Forme d'affinage, appliquée au postentraînement, qui ajuste un modèle de langue pour qu'il produise plus volontiers des réponses jugées préférables et moins volontiers des réponses jugées indésirables. , et la ressemblance s’arrête à ce qui est optimisé.

À la fin de chaque partie de go, les règles disent qui a gagné. Ce résultat est exact, il ne coûte rien à vérifier, et un programme peut jouer des millions de parties contre lui-même pour en recueillir davantage.

Une traduction, un résumé ou une explication n’ont rien de tel. Aucune règle ne dit si un texte est juste ; le réglage des préférences apprend donc de classements humains, par un modèle de récompense ou directement, et ces classements tiennent lieu de jugement sans être une réalité de terrain ground truthréalité de terrain evaluationévaluation The values, labels or observations treated as the correct description of the cases in a dataset.Valeurs, étiquettes ou observations tenues pour la description correcte des cas d'un jeu de données. (Guo et al., 2025). Un modèle de langue peut donc produire de mieux en mieux ce que ses annotateurs préféraient, mais il n’a pas de voie claire pour devenir surhumain en écriture comme AlphaGo et ses successeurs le sont devenus au go, parce que rien ne définit le sommet.

C’est une différence cruciale. Disposer d’un résultat vérifiable automatiquement permet de continuer à optimiser sans intervention humaine, et chaque vérification ne coûte presque rien. Dépendre de références subjectives, dont la création exige une intervention humaine, limite au contraire considérablement ce qu’on peut optimiser et ce qu’on doit considérer comme une bonne performance (see also the Evaluating language technology module) (voir aussi le module L'évaluation des technologies langagières).

L’ARV : les réponses vérifiables sont la réponse

Certaines tâches langagières aboutissent pourtant à un résultat vérifiable : une réponse mathématique est juste ou fausse, et du code réussit ses tests ou non. Là, l’entraînement peut de nouveau noter automatiquement les réponses du modèle, aussi souvent que le budget le permet. C’est l’apprentissage par renforcement vérifiable (ARV), la méthode derrière des modèles de raisonnement reasoning modelmodèle de raisonnement language modelsmodèles de langue A language model designed to improve its performance on complex, multi-step problems by using additional computation during inference.Modèle de langue conçu pour améliorer sa performance sur des problèmes complexes en plusieurs étapes en recourant à un surcroît de calcul pendant l'inférence. comme DeepSeek-R1, qui ont le plus progressé en mathématiques et en programmation (Guo et al., 2025). Le nom a été introduit pour le postentraînement des modèles ouverts Tülu 3 (Lambert et al., 2025).

Comment les sortes d’affinage s’articulent

L’affinage par instructions, le réglage des préférences et l’ARV relèvent tous de l’affinage fine-tuningaffinage machine learningapprentissage automatique Further training of a pretrained model on new data to adapt it for a particular task, domain, or intended behaviour.Poursuite de l'entraînement d'un modèle préentraîné sur un jeu de données généralement plus restreint et spécialisé, afin de l'adapter à une tâche ou à un domaine particulier.  : chacun entraîne davantage un modèle qui existe déjà. Le postentraînement post-trainingpostentraînement language modelsmodèles de langue Additional training applied to a pretrained model to adapt its capabilities or behaviour for intended uses.Entraînement supplémentaire appliqué à un modèle préentraîné pour adapter ses capacités ou son comportement aux usages visés. désigne les étapes qu’un développeur mène pour faire d’un modèle de base base modelmodèle de base language modelsmodèles de langue A language model that has completed pretraining but has not yet undergone post-training.Modèle de langue qui a terminé son préentraînement mais n'a pas encore reçu de postentraînement. un assistant (Jurafsky et Martin, 2026). Adapter un modèle à un domaine ou à une tâche relève aussi de l’affinage, mais en dehors du postentraînement.