AmplificationL'amplification

TRA6008 S3 · in classS3 · en classe

Why a majority becomes a default

A pattern that is common in a model’s training data tends to be even more common in what the model produces, so that a model does more than repeat the proportions in its data.

At each step, a model assigns a probability to every possible next token token²jeton textuel² language modelsmodèles de langue A unit of text that a language model processes or generates.Unité de texte qu'un modèle de langue traite ou génère. Un jeton peut correspondre à un mot entier, à une partie de mot, à un signe de ponctuation ou à une séquence plus petite de caractères ou d'octets. and one is chosen (see also the LLMs are non-deterministic page, in the LLM lifecycle module) (voir aussi la page Les GML ne sont pas déterministes, dans le module Cycle de vie des GML). If the choice were a fair draw from the proportions in the training text, a pattern found in six documents out of ten would come back six times in ten. It tends to come back more often (Figure 7figure 7), for two reasons:

• How the token is chosen. Common settings for choosing a token favour the likelier options and cut off the unlikely ones.
• Fine-tuning on human preferences. This kind of fine-tuning fine-tuningaffinage machine learningapprentissage automatique Further training of a pretrained model on new data to adapt it for a particular task, domain, or intended behaviour.Poursuite de l'entraînement d'un modèle préentraîné sur un jeu de données généralement plus restreint et spécialisé, afin de l'adapter à une tâche ou à un domaine particulier. narrows the range of answers a model gives to the same request (Kirk et al., 2024) (see also the Alignment chapter, in the LLM lifecycle module) (voir aussi le chapitre Alignement, dans le module Cycle de vie des GML).Kirk et al. compared LLaMA models of seven billion parameters parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. fine-tuned on examples with ones fine-tuned on human preferences, in 2023.

Zhao et al. (2017) measured the effect before LLMs, in a dataset of images labelled with the activity shown and the person doing it. A third of the cooking images in the training data showed a man; in the predictions of the model trained on them, only 16 % did.Zhao et al. studied image-labelling models of 2017, not LLMs; the figures illustrate the effect rather than measure it in a current model.

“The model just reflects society” is therefore not an adequate description: a mirror preserves proportions, but a model does not.

Flattening within a group

The proportions between groups are one side of the problem. The other is the variety within a group: what a model writes about the members of some groups is less varied than those people are.

Lee et al. (2024) had ChatGPT write about different groups and found that it described African, Asian and Hispanic Americans as more alike than White Americans, with a narrower range of human experience.Lee et al. tested ChatGPT (GPT-3.5 Turbo) in 2023. The output was not necessarily hostile, but noticeably uniform.

The authors suggest one likely explanation, without testing it: a group written about often is represented through many voices, situations and registers, while a group written about less is known through fewer examples, so what the model produces about it converges on a narrower version.

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Updated 6 October 2026

Comment une majorité devient un choix par défaut

Une tendance courante dans les données d’entraînement d’un modèle tend à l’être encore plus dans ce qu’il produit : un modèle ne se contente pas de reproduire les proportions de ses données.

À chaque étape, un modèle attribue une probabilité à chaque jeton token²jeton textuel² language modelsmodèles de langue A unit of text that a language model processes or generates.Unité de texte qu'un modèle de langue traite ou génère. Un jeton peut correspondre à un mot entier, à une partie de mot, à un signe de ponctuation ou à une séquence plus petite de caractères ou d'octets. suivant possible, et l’un d’eux est choisi (see also the LLMs are non-deterministic page, in the LLM lifecycle module) (voir aussi la page Les GML ne sont pas déterministes, dans le module Cycle de vie des GML). Si ce choix était un tirage fidèle aux proportions du texte d’entraînement, une tendance présente dans six documents sur dix reviendrait six fois sur dix. Elle tend à revenir plus souvent (Figure 7figure 7), pour deux raisons :

• La façon dont le jeton est choisi. Les réglages courants de choix du jeton favorisent les options les plus probables et écartent les moins probables.
• L’affinage sur des préférences humaines. Ce type d’affinage fine-tuningaffinage machine learningapprentissage automatique Further training of a pretrained model on new data to adapt it for a particular task, domain, or intended behaviour.Poursuite de l'entraînement d'un modèle préentraîné sur un jeu de données généralement plus restreint et spécialisé, afin de l'adapter à une tâche ou à un domaine particulier. réduit l’éventail des réponses qu’un modèle donne à une même demande (Kirk et al., 2024) (see also the Alignment chapter, in the LLM lifecycle module) (voir aussi le chapitre Alignement, dans le module Cycle de vie des GML).Kirk et al. ont comparé des modèles LLaMA de sept milliards de paramètres parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. affinés sur des exemples à d’autres affinés sur des préférences humaines, en 2023.

Zhao et al. (2017) ont mesuré cet effet avant les GML, dans un jeu d’images annotées avec l’activité montrée et la personne qui la fait. Un tiers des images de cuisine des données d’entraînement montraient un homme ; dans les prédictions du modèle entraîné sur elles, seulement 16 %.Zhao et al. ont étudié des modèles d’annotation d’images de 2017, et non des GML ; les chiffres illustrent l’effet plutôt qu’ils ne le mesurent dans un modèle actuel.

« Le modèle ne fait que refléter la société » n’est donc pas une description adéquate : un miroir conserve les proportions, mais un modèle, non.

L’aplatissement au sein d’un groupe

Les proportions entre les groupes sont un aspect du problème. L’autre est la variété au sein d’un groupe : ce qu’un modèle écrit sur les membres de certains groupes est moins varié que ces personnes ne le sont.

Lee et al. (2024) ont fait écrire ChatGPT sur différents groupes et ont constaté qu’il décrivait les Afro-Américains, les Américains d’origine asiatique et les Américains d’origine hispanique comme plus semblables entre eux que les Américains blancs, avec un éventail d’expériences humaines plus étroit.Lee et al. ont testé ChatGPT (GPT-3.5 Turbo) en 2023. La sortie n’était pas forcément hostile, mais nettement uniforme.

Les auteurs avancent une explication probable, sans la tester : un groupe dont on écrit souvent est représenté par de nombreuses voix, situations et registres, tandis qu’un groupe dont on écrit moins est connu par moins d’exemples, si bien que ce que le modèle produit à son sujet converge vers une version plus étroite.

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Mise à jour 6 octobre 2026