The alignment taxLa taxe d'alignement

TRA6008 OptionalFacultatif

Lower scores on tasks the model handled before

Training a model to behave as intended can make it worse at things it could do before. Ouyang et al. (2022) measured this: after preference tuning preference tuningréglage des préférences language modelsmodèles de langue A form of fine-tuning, applied in post-training, that adjusts a language model so that it becomes more likely to produce responses judged preferable and less likely to produce responses judged undesirable.Forme d'affinage, appliquée au postentraînement, qui ajuste un modèle de langue pour qu'il produise plus volontiers des réponses jugées préférables et moins volontiers des réponses jugées indésirables. , their models scored lower than GPT-3 on several public datasets, among them the French to English test of the WMT 2015 translation task, a machine translation shared task shared tasktâche partagée evaluationévaluation A public evaluation exercise in which every participating team is given the same task, the same data and the same scoring, so that their systems can be compared directly.Exercice d'évaluation public où toutes les équipes participantes reçoivent la même tâche, les mêmes données et la même notation, de sorte que leurs systèmes se comparent directement. held every year (Bojar et al., 2015).

Side effects a language professional notices

Besides those measured losses, alignment training changes how a model answers, in ways that show up in professional use.

Refusals that reach too far

A model trained to decline dangerous requests learns what such requests look like, and a legitimate request that resembles one is declined too: a question about a drug interaction for a medical translation, a violent passage in a novel you are translating, a factual query about an extremist movement for a report about it. A test suite built for this found models of 2023 refusing clearly safe prompts that use wording similar to unsafe ones or mention sensitive topics (Röttger et al., 2024). In two of their examples, the model refused to say how to kill someone in a video game, and answered a question about killing time at an airport only after refusing its literal sense (Figure 5figure 5): it was reacting to the word kill rather than to what was asked.

Less varied writing

RLHF reinforcement learning from human feedback (RLHF)apprentissage par renforcement avec rétroaction humaine (ARRH) language modelsmodèles de langue A method for post-training a language model in which human evaluations of possible responses are used to create a reward signal, often by training a separate reward model.Méthode de postentraînement d'un modèle de langue dans laquelle des évaluations humaines de réponses possibles servent à créer un signal de récompense, souvent en entraînant un modèle de récompense distinct. also makes a model’s outputs less varied: compared with instruction tuning instruction tuningaffinage par instructions language modelsmodèles de langue A form of supervised fine-tuning in which a pretrained language model is trained further on examples pairing instructions or questions with appropriate responses.Forme d'affinage supervisé dans laquelle un modèle de langue préentraîné est entraîné davantage sur des exemples associant des instructions ou des questions à des réponses appropriées. alone, it narrows the range of answers a model gives to the same request (Kirk et al., 2024). That is worth knowing when you want writing with a distinctive voice.

Longer answers, easier agreement

Answers also get longer. Reward models reward modelmodèle de récompense language modelsmodèles de langue A model trained to assign a numerical score to a candidate output, usually by learning from human judgements of which outputs are better.Modèle entraîné à attribuer une note numérique à une sortie candidate, généralement à partir de jugements humains indiquant quelles sorties sont meilleures. tend to score longer answers higher, and a reward based on length only reproduces much of what RLHF gains over instruction tuning alone (Singhal et al., 2024). Caveats, disclaimers and restatements of the question make an answer longer without making it better.

Agreement is rated well too, and a model that has learned this can revise a correct answer because you pushed back (Sharma et al., 2024).

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Updated 2 October 2026

Des scores plus bas à des tâches que le modèle réussissait

Entraîner un modèle à se comporter comme prévu peut le rendre moins bon à ce qu’il savait faire. Ouyang et al. (2022) l’ont mesuré : après le réglage des préférences preference tuningréglage des préférences language modelsmodèles de langue A form of fine-tuning, applied in post-training, that adjusts a language model so that it becomes more likely to produce responses judged preferable and less likely to produce responses judged undesirable.Forme d'affinage, appliquée au postentraînement, qui ajuste un modèle de langue pour qu'il produise plus volontiers des réponses jugées préférables et moins volontiers des réponses jugées indésirables. , leurs modèles obtenaient de moins bons résultats que GPT-3 sur plusieurs jeux de données publics, dont le test français-anglais de la tâche de traduction de WMT 2015, une tâche partagée shared tasktâche partagée evaluationévaluation A public evaluation exercise in which every participating team is given the same task, the same data and the same scoring, so that their systems can be compared directly.Exercice d'évaluation public où toutes les équipes participantes reçoivent la même tâche, les mêmes données et la même notation, de sorte que leurs systèmes se comparent directement. de traduction automatique organisée chaque année (Bojar et al., 2015).

Des effets secondaires qu’un langagier remarque

Au-delà de ces pertes mesurées, l’entraînement à l’alignement change la manière dont un modèle répond, d’une façon qui se voit dans l’usage professionnel.

Des refus trop larges

Un modèle entraîné à refuser les demandes dangereuses apprend à quoi elles ressemblent, et une demande légitime qui leur ressemble est refusée aussi : une question sur une interaction médicamenteuse pour une traduction médicale, un passage violent dans un roman que vous traduisez, une question factuelle sur un mouvement extrémiste pour un rapport à son sujet. Une batterie de tests conçue pour cela a montré des modèles de 2023 qui refusent des requêtes manifestement sans danger qui emploient des mots proches de requêtes dangereuses ou abordent des sujets sensibles (Röttger et al., 2024). Dans deux de leurs exemples, le modèle a refusé de dire comment tuer quelqu’un dans un jeu vidéo, et n’a répondu à une question sur la façon de tuer le temps à l’aéroport qu’après en avoir refusé le sens littéral (Figure 5figure 5) : il réagissait au mot kill plutôt qu’à ce qui était demandé.

Une écriture moins variée

L’ARRH reinforcement learning from human feedback (RLHF)apprentissage par renforcement avec rétroaction humaine (ARRH) language modelsmodèles de langue A method for post-training a language model in which human evaluations of possible responses are used to create a reward signal, often by training a separate reward model.Méthode de postentraînement d'un modèle de langue dans laquelle des évaluations humaines de réponses possibles servent à créer un signal de récompense, souvent en entraînant un modèle de récompense distinct. rend aussi les sorties d’un modèle moins variées : par rapport au seul affinage par instructions instruction tuningaffinage par instructions language modelsmodèles de langue A form of supervised fine-tuning in which a pretrained language model is trained further on examples pairing instructions or questions with appropriate responses.Forme d'affinage supervisé dans laquelle un modèle de langue préentraîné est entraîné davantage sur des exemples associant des instructions ou des questions à des réponses appropriées. , il resserre l’éventail des réponses qu’un modèle donne à une même demande (Kirk et al., 2024). Bon à savoir si vous cherchez une écriture qui a sa propre voix.

Des réponses plus longues, un accord plus facile

Les réponses s’allongent aussi. Les modèles de récompense reward modelmodèle de récompense language modelsmodèles de langue A model trained to assign a numerical score to a candidate output, usually by learning from human judgements of which outputs are better.Modèle entraîné à attribuer une note numérique à une sortie candidate, généralement à partir de jugements humains indiquant quelles sorties sont meilleures. ont tendance à mieux noter les réponses longues, et une récompense fondée sur la seule longueur reproduit une bonne part de ce que l’ARRH gagne par rapport au seul affinage par instructions (Singhal et al., 2024). Mises en garde, avertissements et reformulations de la question allongent une réponse sans l’améliorer.

L’accord est bien noté lui aussi, et un modèle qui l’a appris peut réviser une réponse correcte parce que vous avez insisté (Sharma et al., 2024).

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Mise à jour 23 septembre 2026