Administrator

What is being aligned

A model trained only to continue text has no reason to decline anything, to signal that it is unsure, or to weigh being useful against doing harm. Those dispositions are added deliberately, mostly during fine-tuning fine-tuningaffinage machine learningapprentissage automatique Further training of a pretrained model on new data to adapt it for a particular task, domain, or intended behaviour.Poursuite de l'entraînement d'un modèle préentraîné sur un jeu de données généralement plus restreint et spécialisé, afin de l'adapter à une tâche ou à un domaine particulier. (see also the four stages from pretraining to assistant page) (voir aussi la page Les quatre étapes du préentraînement à l'assistant).

The common framing is that a model should be helpful, honest and harmless (Askell et al., 2021), and they can pull against each other. Helping with a request can mean helping someone harm others; saying something true can hurt the person who asked; and a model trained to please can agree with a user when it should correct them (Sharma et al., 2024).

Where alignment happens

During training, alignment is part of both instruction tuning instruction tuningaffinage par instructions language modelsmodèles de langue A form of supervised fine-tuning in which a pretrained language model is trained further on examples pairing instructions or questions with appropriate responses.Forme d'affinage supervisé dans laquelle un modèle de langue préentraîné est entraîné davantage sur des exemples associant des instructions ou des questions à des réponses appropriées. and preference tuning preference tuningréglage des préférences language modelsmodèles de langue A form of fine-tuning, applied in post-training, that adjusts a language model so that it becomes more likely to produce responses judged preferable and less likely to produce responses judged undesirable.Forme d'affinage, appliquée au postentraînement, qui ajuste un modèle de langue pour qu'il produise plus volontiers des réponses jugées préférables et moins volontiers des réponses jugées indésirables. , and it changes the parameters. Examples of appropriate refusals and of acknowledged uncertainty go into the instruction data; preference tuning rewards responses that balance the competing values; and red teaming red-teamingapproche par l'équipe rouge AI safetysécurité de l'IA A structured testing process in which testers adopt an adversarial perspective and deliberately try to expose vulnerabilities, harmful or unexpected behaviour, and possible ways of misusing an AI model or system.Processus d'essai structuré dans lequel les testeurs adoptent une perspective antagoniste et tentent délibérément de mettre au jour des vulnérabilités, des comportements nuisibles ou inattendus et des façons possibles de détourner un modèle ou un système d'IA. supplies adversarial cases, where people deliberately try to make the model misbehave so that its handling of those attempts can be trained (Bai et al., 2022b).

At deployment deploymentdéploiement computinginformatique Putting a system into operation where it will be used: installing it with what it needs to run and making it available to its users. For an AI system, it means making a trained model available to people, for instance behind an application or a chat interface.Mise en service d'un système là où il sera utilisé : son installation, avec ce dont il a besoin pour fonctionner, et sa mise à la disposition de ses utilisateurs. Pour un système d'IA, il s'agit de rendre un modèle entraîné accessible aux personnes, par exemple derrière une application ou une interface conversationnelle. , without touching the parameters, a system prompt system promptrequête générative système promptingrequêtes An instruction supplied to a language model before or alongside the user's input that establishes the model's role, task, behavioural rules, tone, or other context for the interaction.Instruction fournie à un modèle de langue avant l'entrée de l'utilisateur, ou en parallèle, qui établit le rôle du modèle, sa tâche, ses règles de conduite, son ton ou d'autres éléments de contexte pour l'interaction. sets standing instructions that the user usually does not see, output filters check responses before they are shown, and access can be restricted by context (see also the System prompts page) (voir aussi la page Requêtes génératives système). These can be changed without retraining the model, which is one reason a system’s behaviour can shift between two Tuesdays with no new model released.

What is being aligned

A model trained only to continue text has no reason to decline anything, to signal that it is unsure, or to weigh being useful against doing harm. Those dispositions are added deliberately, mostly during fine-tuning fine-tuningaffinage machine learningapprentissage automatique Further training of a pretrained model on new data to adapt it for a particular task, domain, or intended behaviour.Poursuite de l'entraînement d'un modèle préentraîné sur un jeu de données généralement plus restreint et spécialisé, afin de l'adapter à une tâche ou à un domaine particulier. (see also the four stages from pretraining to assistant page) (voir aussi la page Les quatre étapes du préentraînement à l'assistant).

The common framing is that a model should be helpful, honest and harmless (Askell et al., 2021), and they can pull against each other. Helping with a request can mean helping someone harm others; saying something true can hurt the person who asked; and a model trained to please can agree with a user when it should correct them (Sharma et al., 2024).

Where alignment happens

During training, alignment is part of both instruction tuning instruction tuningaffinage par instructions language modelsmodèles de langue A form of supervised fine-tuning in which a pretrained language model is trained further on examples pairing instructions or questions with appropriate responses.Forme d'affinage supervisé dans laquelle un modèle de langue préentraîné est entraîné davantage sur des exemples associant des instructions ou des questions à des réponses appropriées. and preference tuning preference tuningréglage des préférences language modelsmodèles de langue A form of fine-tuning, applied in post-training, that adjusts a language model so that it becomes more likely to produce responses judged preferable and less likely to produce responses judged undesirable.Forme d'affinage, appliquée au postentraînement, qui ajuste un modèle de langue pour qu'il produise plus volontiers des réponses jugées préférables et moins volontiers des réponses jugées indésirables. , and it changes the parameters. Examples of appropriate refusals and of acknowledged uncertainty go into the instruction data; preference tuning rewards responses that balance the competing values; and red teaming red-teamingapproche par l'équipe rouge AI safetysécurité de l'IA A structured testing process in which testers adopt an adversarial perspective and deliberately try to expose vulnerabilities, harmful or unexpected behaviour, and possible ways of misusing an AI model or system.Processus d'essai structuré dans lequel les testeurs adoptent une perspective antagoniste et tentent délibérément de mettre au jour des vulnérabilités, des comportements nuisibles ou inattendus et des façons possibles de détourner un modèle ou un système d'IA. supplies adversarial cases, where people deliberately try to make the model misbehave so that its handling of those attempts can be trained (Bai et al., 2022b).

At deployment deploymentdéploiement computinginformatique Putting a system into operation where it will be used: installing it with what it needs to run and making it available to its users. For an AI system, it means making a trained model available to people, for instance behind an application or a chat interface.Mise en service d'un système là où il sera utilisé : son installation, avec ce dont il a besoin pour fonctionner, et sa mise à la disposition de ses utilisateurs. Pour un système d'IA, il s'agit de rendre un modèle entraîné accessible aux personnes, par exemple derrière une application ou une interface conversationnelle. , without touching the parameters, a system prompt system promptrequête générative système promptingrequêtes An instruction supplied to a language model before or alongside the user's input that establishes the model's role, task, behavioural rules, tone, or other context for the interaction.Instruction fournie à un modèle de langue avant l'entrée de l'utilisateur, ou en parallèle, qui établit le rôle du modèle, sa tâche, ses règles de conduite, son ton ou d'autres éléments de contexte pour l'interaction. sets standing instructions that the user usually does not see, output filters check responses before they are shown, and access can be restricted by context (see also the System prompts page) (voir aussi la page Requêtes génératives système). These can be changed without retraining the model, which is one reason a system’s behaviour can shift between two Tuesdays with no new model released.

Behaviour is decided, and written down

A model’s readiness to commit to an answer, its hedging, its politeness and its refusals are decided by its developer. They reach the model through the instruction data, the system prompt system promptrequête générative système promptingrequêtes An instruction supplied to a language model before or alongside the user's input that establishes the model's role, task, behavioural rules, tone, or other context for the interaction.Instruction fournie à un modèle de langue avant l'entrée de l'utilisateur, ou en parallèle, qui établit le rôle du modèle, sa tâche, ses règles de conduite, son ton ou d'autres éléments de contexte pour l'interaction. , and the written guidelines annotators follow when they rank answers, and those annotators’ preferences are not everyone’s (Ouyang et al., 2022) (see also the Who decides what is right page, in the Critical issues with LLMs module) (voir aussi la page Qui décide de ce qui est juste, dans le module Enjeux critiques des GML).

Some developers publish these decisions: OpenAI (2026) in its Model Spec, Anthropic (2026) in the constitution for its Claude models.

What a specification contains

The two examples from OpenAI and from Anthropic each set an order of priority, for different things.

• Whose instructions count. OpenAI (2026) ranks the sources of instructions: its own rules come first, then the developer building a product on the model, then the user. Its specification also sets defaults that a developer or a user may change (see also the System prompts page) (voir aussi la page Requêtes génératives système).
• Which values come first. Anthropic (2026) ranks four properties in its constitution: being broadly safe, broadly ethical, compliant with Anthropic’s guidelines and genuinely helpful. They are weighed together, the higher ones generally dominating, rather than applied strictly in order.

Anthropic (2026) also says it prefers cultivating good values and judgement to strict rules, and explains the few rules it does set, because rules imposed without explanation tend to generalize less well. OpenAI (2026) sets out a default personality as well: warm, curious and rationally optimistic.

From a document to the model

A specification changes nothing by being published. It reaches the model mainly through training: through the examples the model is fine-tuned on, the rankings it learns from, and training data a model produces itself by applying written principles (Bai et al., 2022a) (see also the Preference tuning: learning from rankings page) (voir aussi la page Le réglage des préférences : apprendre à partir de classements). Part of it can also go into the system prompt (Jurafsky & Martin, 2026). Anthropic (2026) describes its constitution as playing a crucial role in its training. OpenAI (2026) says it trains its models to follow its specification, and that its production models do not yet fully do so.

When the balance tips: the April 2025 GPT-4o update

An update to GPT-4o released in ChatGPT on 25 April 2025 made the model noticeably more sycophantic sycophancycomplaisance de l'IA AI safetysécurité de l'IA The tendency of a language model trained on human preferences to agree with the user, revise a correct answer under challenge, or flatter, partly because agreement was rated well during training.Tendance d'un modèle de langue entraîné sur des préférences humaines à abonder dans le sens de l'utilisateur, à revenir sur une réponse correcte quand on la conteste ou à flatter, en partie parce que l'accord a été bien noté pendant l'entraînement. , and its rollback began on 28 April 2025 (OpenAI, 2025). One of its changes was an additional reward signal built from users’ thumbs-up and thumbs-down ratings. That signal is often useful, but user feedback can favour answers that agree with the user, and together with the other changes it weakened the influence of the main reward signal, which had been keeping sycophancy in check (OpenAI, 2025).

By OpenAI’s own early assessment, then, the model’s manner changed because the balance between its training signals changed. OpenAI (2025) said it would treat behaviour problems, personality among them, as reasons to block a launch.

Lower scores on tasks the model handled before

Training a model to behave as intended can make it worse at things it could do before. Ouyang et al. (2022) measured this: after preference tuning preference tuningréglage des préférences language modelsmodèles de langue A form of fine-tuning, applied in post-training, that adjusts a language model so that it becomes more likely to produce responses judged preferable and less likely to produce responses judged undesirable.Forme d'affinage, appliquée au postentraînement, qui ajuste un modèle de langue pour qu'il produise plus volontiers des réponses jugées préférables et moins volontiers des réponses jugées indésirables. , their models scored lower than GPT-3 on several public datasets, among them the French to English test of the WMT 2015 translation task, a machine translation shared task shared tasktâche partagée evaluationévaluation A public evaluation exercise in which every participating team is given the same task, the same data and the same scoring, so that their systems can be compared directly.Exercice d'évaluation public où toutes les équipes participantes reçoivent la même tâche, les mêmes données et la même notation, de sorte que leurs systèmes se comparent directement. held every year (Bojar et al., 2015).

Side effects a language professional notices

Besides those measured losses, alignment training changes how a model answers, in ways that show up in professional use.

Refusals that reach too far

A model trained to decline dangerous requests learns what such requests look like, and a legitimate request that resembles one is declined too: a question about a drug interaction for a medical translation, a violent passage in a novel you are translating, a factual query about an extremist movement for a report about it. A test suite built for this found models of 2023 refusing clearly safe prompts that use wording similar to unsafe ones or mention sensitive topics (Röttger et al., 2024). In two of their examples, the model refused to say how to kill someone in a video game, and answered a question about killing time at an airport only after refusing its literal sense (Figure 5figure 5): it was reacting to the word kill rather than to what was asked.

Less varied writing

RLHF reinforcement learning from human feedback (RLHF)apprentissage par renforcement avec rétroaction humaine (ARRH) language modelsmodèles de langue A method for post-training a language model in which human evaluations of possible responses are used to create a reward signal, often by training a separate reward model.Méthode de postentraînement d'un modèle de langue dans laquelle des évaluations humaines de réponses possibles servent à créer un signal de récompense, souvent en entraînant un modèle de récompense distinct. also makes a model’s outputs less varied: compared with instruction tuning instruction tuningaffinage par instructions language modelsmodèles de langue A form of supervised fine-tuning in which a pretrained language model is trained further on examples pairing instructions or questions with appropriate responses.Forme d'affinage supervisé dans laquelle un modèle de langue préentraîné est entraîné davantage sur des exemples associant des instructions ou des questions à des réponses appropriées. alone, it narrows the range of answers a model gives to the same request (Kirk et al., 2024). That is worth knowing when you want writing with a distinctive voice.

Longer answers, easier agreement

Answers also get longer. Reward models reward modelmodèle de récompense language modelsmodèles de langue A model trained to assign a numerical score to a candidate output, usually by learning from human judgements of which outputs are better.Modèle entraîné à attribuer une note numérique à une sortie candidate, généralement à partir de jugements humains indiquant quelles sorties sont meilleures. tend to score longer answers higher, and a reward based on length only reproduces much of what RLHF gains over instruction tuning alone (Singhal et al., 2024). Caveats, disclaimers and restatements of the question make an answer longer without making it better.

Agreement is rated well too, and a model that has learned this can revise a correct answer because you pushed back (Sharma et al., 2024).

Ce qui est aligné

Un modèle entraîné seulement à prolonger du texte n’a aucune raison de refuser quoi que ce soit, de signaler qu’il n’est pas sûr, ou de mettre en balance l’utilité et le tort. Ces dispositions sont ajoutées délibérément, surtout pendant l’affinage fine-tuningaffinage machine learningapprentissage automatique Further training of a pretrained model on new data to adapt it for a particular task, domain, or intended behaviour.Poursuite de l'entraînement d'un modèle préentraîné sur un jeu de données généralement plus restreint et spécialisé, afin de l'adapter à une tâche ou à un domaine particulier. (see also the four stages from pretraining to assistant page) (voir aussi la page Les quatre étapes du préentraînement à l'assistant).

Le cadre courant veut qu’un modèle soit utile, honnête et inoffensif (Askell et al., 2021), et ces trois exigences peuvent tirer en sens contraires. Aider à une demande peut vouloir dire aider quelqu’un à nuire à autrui ; dire une chose vraie peut blesser la personne qui a posé la question ; et un modèle entraîné à plaire peut donner raison à l’utilisateur quand il devrait le corriger (Sharma et al., 2024).

Où se fait l’alignement

À l’entraînement, l’alignement fait partie de l’affinage par instructions instruction tuningaffinage par instructions language modelsmodèles de langue A form of supervised fine-tuning in which a pretrained language model is trained further on examples pairing instructions or questions with appropriate responses.Forme d'affinage supervisé dans laquelle un modèle de langue préentraîné est entraîné davantage sur des exemples associant des instructions ou des questions à des réponses appropriées. comme du réglage des préférences preference tuningréglage des préférences language modelsmodèles de langue A form of fine-tuning, applied in post-training, that adjusts a language model so that it becomes more likely to produce responses judged preferable and less likely to produce responses judged undesirable.Forme d'affinage, appliquée au postentraînement, qui ajuste un modèle de langue pour qu'il produise plus volontiers des réponses jugées préférables et moins volontiers des réponses jugées indésirables. , et il modifie les paramètres. Des exemples de refus appropriés et d’incertitude reconnue entrent dans les données d’instructions ; le réglage des préférences récompense les réponses qui équilibrent les valeurs concurrentes ; et l’approche par l’équipe rouge red-teamingapproche par l'équipe rouge AI safetysécurité de l'IA A structured testing process in which testers adopt an adversarial perspective and deliberately try to expose vulnerabilities, harmful or unexpected behaviour, and possible ways of misusing an AI model or system.Processus d'essai structuré dans lequel les testeurs adoptent une perspective antagoniste et tentent délibérément de mettre au jour des vulnérabilités, des comportements nuisibles ou inattendus et des façons possibles de détourner un modèle ou un système d'IA. fournit des cas adverses, où des personnes tentent délibérément de faire dérailler le modèle pour que sa façon de traiter ces tentatives puisse être entraînée (Bai et al., 2022b).

Au déploiement deploymentdéploiement computinginformatique Putting a system into operation where it will be used: installing it with what it needs to run and making it available to its users. For an AI system, it means making a trained model available to people, for instance behind an application or a chat interface.Mise en service d'un système là où il sera utilisé : son installation, avec ce dont il a besoin pour fonctionner, et sa mise à la disposition de ses utilisateurs. Pour un système d'IA, il s'agit de rendre un modèle entraîné accessible aux personnes, par exemple derrière une application ou une interface conversationnelle. , sans toucher aux paramètres, une requête générative système system promptrequête générative système promptingrequêtes An instruction supplied to a language model before or alongside the user's input that establishes the model's role, task, behavioural rules, tone, or other context for the interaction.Instruction fournie à un modèle de langue avant l'entrée de l'utilisateur, ou en parallèle, qui établit le rôle du modèle, sa tâche, ses règles de conduite, son ton ou d'autres éléments de contexte pour l'interaction. fixe des instructions permanentes que l’utilisateur ne voit généralement pas, des filtres de sortie vérifient les réponses avant de les afficher, et l’accès peut être restreint selon le contexte (see also the System prompts page) (voir aussi la page Requêtes génératives système). Tout cela peut changer sans réentraîner le modèle, et c’est une des raisons pour lesquelles le comportement d’un système peut changer d’un mardi à l’autre sans qu’aucun nouveau modèle ne sorte.

Ce qui est aligné

Un modèle entraîné seulement à prolonger du texte n’a aucune raison de refuser quoi que ce soit, de signaler qu’il n’est pas sûr, ou de mettre en balance l’utilité et le tort. Ces dispositions sont ajoutées délibérément, surtout pendant l’affinage fine-tuningaffinage machine learningapprentissage automatique Further training of a pretrained model on new data to adapt it for a particular task, domain, or intended behaviour.Poursuite de l'entraînement d'un modèle préentraîné sur un jeu de données généralement plus restreint et spécialisé, afin de l'adapter à une tâche ou à un domaine particulier. (see also the four stages from pretraining to assistant page) (voir aussi la page Les quatre étapes du préentraînement à l'assistant).

Le cadre courant veut qu’un modèle soit utile, honnête et inoffensif (Askell et al., 2021), et ces trois exigences peuvent tirer en sens contraires. Aider à une demande peut vouloir dire aider quelqu’un à nuire à autrui ; dire une chose vraie peut blesser la personne qui a posé la question ; et un modèle entraîné à plaire peut donner raison à l’utilisateur quand il devrait le corriger (Sharma et al., 2024).

Où se fait l’alignement

À l’entraînement, l’alignement fait partie de l’affinage par instructions instruction tuningaffinage par instructions language modelsmodèles de langue A form of supervised fine-tuning in which a pretrained language model is trained further on examples pairing instructions or questions with appropriate responses.Forme d'affinage supervisé dans laquelle un modèle de langue préentraîné est entraîné davantage sur des exemples associant des instructions ou des questions à des réponses appropriées. comme du réglage des préférences preference tuningréglage des préférences language modelsmodèles de langue A form of fine-tuning, applied in post-training, that adjusts a language model so that it becomes more likely to produce responses judged preferable and less likely to produce responses judged undesirable.Forme d'affinage, appliquée au postentraînement, qui ajuste un modèle de langue pour qu'il produise plus volontiers des réponses jugées préférables et moins volontiers des réponses jugées indésirables. , et il modifie les paramètres. Des exemples de refus appropriés et d’incertitude reconnue entrent dans les données d’instructions ; le réglage des préférences récompense les réponses qui équilibrent les valeurs concurrentes ; et l’approche par l’équipe rouge red-teamingapproche par l'équipe rouge AI safetysécurité de l'IA A structured testing process in which testers adopt an adversarial perspective and deliberately try to expose vulnerabilities, harmful or unexpected behaviour, and possible ways of misusing an AI model or system.Processus d'essai structuré dans lequel les testeurs adoptent une perspective antagoniste et tentent délibérément de mettre au jour des vulnérabilités, des comportements nuisibles ou inattendus et des façons possibles de détourner un modèle ou un système d'IA. fournit des cas adverses, où des personnes tentent délibérément de faire dérailler le modèle pour que sa façon de traiter ces tentatives puisse être entraînée (Bai et al., 2022b).

Au déploiement deploymentdéploiement computinginformatique Putting a system into operation where it will be used: installing it with what it needs to run and making it available to its users. For an AI system, it means making a trained model available to people, for instance behind an application or a chat interface.Mise en service d'un système là où il sera utilisé : son installation, avec ce dont il a besoin pour fonctionner, et sa mise à la disposition de ses utilisateurs. Pour un système d'IA, il s'agit de rendre un modèle entraîné accessible aux personnes, par exemple derrière une application ou une interface conversationnelle. , sans toucher aux paramètres, une requête générative système system promptrequête générative système promptingrequêtes An instruction supplied to a language model before or alongside the user's input that establishes the model's role, task, behavioural rules, tone, or other context for the interaction.Instruction fournie à un modèle de langue avant l'entrée de l'utilisateur, ou en parallèle, qui établit le rôle du modèle, sa tâche, ses règles de conduite, son ton ou d'autres éléments de contexte pour l'interaction. fixe des instructions permanentes que l’utilisateur ne voit généralement pas, des filtres de sortie vérifient les réponses avant de les afficher, et l’accès peut être restreint selon le contexte (see also the System prompts page) (voir aussi la page Requêtes génératives système). Tout cela peut changer sans réentraîner le modèle, et c’est une des raisons pour lesquelles le comportement d’un système peut changer d’un mardi à l’autre sans qu’aucun nouveau modèle ne sorte.

Un comportement décidé, et mis par écrit

La propension d’un modèle à s’engager sur une réponse, ses nuances, sa politesse et ses refus sont décidés par son développeur. Ils atteignent le modèle par les données d’instructions, la requête générative système system promptrequête générative système promptingrequêtes An instruction supplied to a language model before or alongside the user's input that establishes the model's role, task, behavioural rules, tone, or other context for the interaction.Instruction fournie à un modèle de langue avant l'entrée de l'utilisateur, ou en parallèle, qui établit le rôle du modèle, sa tâche, ses règles de conduite, son ton ou d'autres éléments de contexte pour l'interaction. et les consignes écrites que suivent les annotateurs quand ils classent des réponses, et les préférences de ces annotateurs ne sont pas celles de tout le monde (Ouyang et al., 2022) (see also the Who decides what is right page, in the Critical issues with LLMs module) (voir aussi la page Qui décide de ce qui est juste, dans le module Enjeux critiques des GML).

Certains développeurs publient ces décisions : OpenAI (2026) dans sa Model Spec, Anthropic (2026) dans la constitution de ses modèles Claude.

Ce que contient une spécification

Les deux exemples, celui d’OpenAI et celui d’Anthropic, fixent chacun un ordre de priorité, pour des choses différentes.

• À qui obéir. OpenAI (2026) classe les sources d’instructions : ses propres règles d’abord, puis le développeur qui construit un produit sur le modèle, puis l’utilisateur. Sa spécification fixe aussi des comportements par défaut qu’un développeur ou un utilisateur peut modifier (see also the System prompts page) (voir aussi la page Requêtes génératives système).
• Quelles valeurs passent d’abord. Anthropic (2026) classe quatre propriétés dans sa constitution : être globalement sûr, globalement éthique, conforme aux lignes directrices d’Anthropic et réellement serviable. Elles sont pesées ensemble, les plus hautes l’emportant en général, plutôt qu’appliquées strictement dans l’ordre.

Anthropic (2026) dit aussi préférer cultiver de bonnes valeurs et un bon jugement plutôt qu’imposer des règles strictes, et expliquer les quelques règles qu’elle fixe, parce que des règles imposées sans explication se généralisent moins bien. OpenAI (2026) définit aussi une personnalité par défaut : chaleureuse, curieuse et d’un optimisme raisonné.

D’un document au modèle

Publier une spécification ne change rien en soi. Elle atteint le modèle surtout par l’entraînement : par les exemples sur lesquels il est affiné, par les classements dont il apprend, et par des données d’entraînement qu’un modèle produit lui-même en appliquant des principes écrits (Bai et al., 2022a) (see also the Preference tuning: learning from rankings page) (voir aussi la page Le réglage des préférences : apprendre à partir de classements). Une partie peut aussi passer dans la requête générative système (Jurafsky et Martin, 2026). Anthropic (2026) décrit sa constitution comme jouant un rôle crucial dans l’entraînement de ses modèles. OpenAI (2026) dit entraîner ses modèles à suivre sa spécification, et reconnaît que ses modèles en production ne la suivent pas encore entièrement.

Quand l’équilibre bascule : la mise à jour de GPT-4o d’avril 2025

Une mise à jour de GPT-4o publiée dans ChatGPT le 25 avril 2025 a rendu le modèle nettement plus complaisant sycophancycomplaisance de l'IA AI safetysécurité de l'IA The tendency of a language model trained on human preferences to agree with the user, revise a correct answer under challenge, or flatter, partly because agreement was rated well during training.Tendance d'un modèle de langue entraîné sur des préférences humaines à abonder dans le sens de l'utilisateur, à revenir sur une réponse correcte quand on la conteste ou à flatter, en partie parce que l'accord a été bien noté pendant l'entraînement. , et son retrait a commencé le 28 avril 2025 (OpenAI, 2025). L’un de ses changements était un signal de récompense supplémentaire tiré des pouces levés et baissés des utilisateurs. Ce signal est souvent utile, mais la rétroaction des utilisateurs peut favoriser les réponses qui leur donnent raison ; combiné aux autres changements, il a affaibli l’influence du signal de récompense principal, qui tenait jusque-là la complaisance en échec (OpenAI, 2025).

Selon la première évaluation d’OpenAI, la manière de répondre du modèle a donc changé parce que l’équilibre entre ses signaux d’entraînement avait changé. OpenAI (2025) a annoncé traiter désormais les problèmes de comportement, dont la personnalité, comme des raisons de bloquer un lancement.

Des scores plus bas à des tâches que le modèle réussissait

Entraîner un modèle à se comporter comme prévu peut le rendre moins bon à ce qu’il savait faire. Ouyang et al. (2022) l’ont mesuré : après le réglage des préférences preference tuningréglage des préférences language modelsmodèles de langue A form of fine-tuning, applied in post-training, that adjusts a language model so that it becomes more likely to produce responses judged preferable and less likely to produce responses judged undesirable.Forme d'affinage, appliquée au postentraînement, qui ajuste un modèle de langue pour qu'il produise plus volontiers des réponses jugées préférables et moins volontiers des réponses jugées indésirables. , leurs modèles obtenaient de moins bons résultats que GPT-3 sur plusieurs jeux de données publics, dont le test français-anglais de la tâche de traduction de WMT 2015, une tâche partagée shared tasktâche partagée evaluationévaluation A public evaluation exercise in which every participating team is given the same task, the same data and the same scoring, so that their systems can be compared directly.Exercice d'évaluation public où toutes les équipes participantes reçoivent la même tâche, les mêmes données et la même notation, de sorte que leurs systèmes se comparent directement. de traduction automatique organisée chaque année (Bojar et al., 2015).

Des effets secondaires qu’un langagier remarque

Au-delà de ces pertes mesurées, l’entraînement à l’alignement change la manière dont un modèle répond, d’une façon qui se voit dans l’usage professionnel.

Des refus trop larges

Un modèle entraîné à refuser les demandes dangereuses apprend à quoi elles ressemblent, et une demande légitime qui leur ressemble est refusée aussi : une question sur une interaction médicamenteuse pour une traduction médicale, un passage violent dans un roman que vous traduisez, une question factuelle sur un mouvement extrémiste pour un rapport à son sujet. Une batterie de tests conçue pour cela a montré des modèles de 2023 qui refusent des requêtes manifestement sans danger qui emploient des mots proches de requêtes dangereuses ou abordent des sujets sensibles (Röttger et al., 2024). Dans deux de leurs exemples, le modèle a refusé de dire comment tuer quelqu’un dans un jeu vidéo, et n’a répondu à une question sur la façon de tuer le temps à l’aéroport qu’après en avoir refusé le sens littéral (Figure 5figure 5) : il réagissait au mot kill plutôt qu’à ce qui était demandé.

Une écriture moins variée

L’ARRH reinforcement learning from human feedback (RLHF)apprentissage par renforcement avec rétroaction humaine (ARRH) language modelsmodèles de langue A method for post-training a language model in which human evaluations of possible responses are used to create a reward signal, often by training a separate reward model.Méthode de postentraînement d'un modèle de langue dans laquelle des évaluations humaines de réponses possibles servent à créer un signal de récompense, souvent en entraînant un modèle de récompense distinct. rend aussi les sorties d’un modèle moins variées : par rapport au seul affinage par instructions instruction tuningaffinage par instructions language modelsmodèles de langue A form of supervised fine-tuning in which a pretrained language model is trained further on examples pairing instructions or questions with appropriate responses.Forme d'affinage supervisé dans laquelle un modèle de langue préentraîné est entraîné davantage sur des exemples associant des instructions ou des questions à des réponses appropriées. , il resserre l’éventail des réponses qu’un modèle donne à une même demande (Kirk et al., 2024). Bon à savoir si vous cherchez une écriture qui a sa propre voix.

Des réponses plus longues, un accord plus facile

Les réponses s’allongent aussi. Les modèles de récompense reward modelmodèle de récompense language modelsmodèles de langue A model trained to assign a numerical score to a candidate output, usually by learning from human judgements of which outputs are better.Modèle entraîné à attribuer une note numérique à une sortie candidate, généralement à partir de jugements humains indiquant quelles sorties sont meilleures. ont tendance à mieux noter les réponses longues, et une récompense fondée sur la seule longueur reproduit une bonne part de ce que l’ARRH gagne par rapport au seul affinage par instructions (Singhal et al., 2024). Mises en garde, avertissements et reformulations de la question allongent une réponse sans l’améliorer.

L’accord est bien noté lui aussi, et un modèle qui l’a appris peut réviser une réponse correcte parce que vous avez insisté (Sharma et al., 2024).