BiasBiais

Filling in the gender

The sentence I am a nurse and I am in love with him does not tell you the gender of the speaker. French has no easy gender-neutral way to say this, so in a translation, you would have to decide. Translating the speaker as a woman means using infirmière and amoureuse; as a man, infirmier and amoureux. A tool that puts the sentence into French therefore has to choose a form, or ask.

The screenshots below were taken on 28 January 2026. The same tools may answer differently today.

DeepL, given three sentences about people with names that do not indicate a gender, made all three of them women (Figure 1figure 1).

The choice can also move with the context. DeepL put I am a businessperson into French as Je suis un homme d’affaires, a businessman. When a second sentence was added, I am a beautiful businessperson, both sentences became femme d’affaires, a businesswoman, the first one included (Figure 2figure 2).

Where the default comes from

These examples show a bias built into the systems themselves. None of the translations is wrong: a nurse can be a woman, and so can a businessperson. The problem is the direction. When the English leaves the gender open, the tool chooses, and for the same words it chooses the same way. A tendency of this kind, systematic and not asked for, is bias.

In the text these systems learned from, some words are used far more often about women and others about men. Translation tools such as DeepL and Google Translate are designed mainly to give one translation, so where the source leaves a choice open, they tend to take the statistically most probable option, and that option is the biased one.

No programmer decided that women should be nurses rather than doctors, or should not be in business. The choice follows from frequencies in the training data: nurse is used more often for women (Bolukbasi et al., 2016), so the statistically most probable French translation of nurse is infirmière. For the source of a bias, the first place to look is therefore the text a system learned from.

The associations show clearly in word embeddings word embeddingplongement lexical embeddingsplongements A learned numerical representation of a word as a short, dense vector, meaning a list of numbers.Représentation numérique apprise d'un mot sous la forme d'un vecteur dense et court, c'est-à-dire une liste de nombres. , which record how words are used. Caliskan et al. (2022) took the 1,000 words most associated with women and with men in widely used embeddings and grouped them by topic (Figure 3figure 3). Bolukbasi et al. (2016) had found the same in analogies computed on vectors vectorvecteur machine learningapprentissage automatique An ordered list of numbers.Liste ordonnée de nombres. : man is to computer programmer as woman is to homemaker (see also the Arithmetic with meanings page, in the Language as numbers module) (voir aussi la page De l'arithmétique avec des sens, dans le module Le langage en nombres).

Sources

• Bolukbasi, T., Chang, K.-W., Zou, J., Saligrama, V., & Kalai, A. (2016). Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings. Advances in Neural Information Processing Systems 29 (NIPS 2016). https://proceedings.neurips.cc/paper/2016/hash/a486cd07e4ac3d270571622f4f316ec5-Abstract.html
• Caliskan, A., Ajay, P. P., Charlesworth, T., Wolfe, R., & Banaji, M. R. (2022). Gender Bias in Word Embeddings: A Comprehensive Analysis of Frequency, Syntax, and Semantics. Proceedings of the 2022 AAAI/ACM Conference on AI, Ethics, and Society, 156–170. https://doi.org/10.1145/3514094.3534162
• Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/

Choisir le genre

La phrase anglaise I am a nurse and I am in love with him ne dit pas le genre de la personne qui parle. En français, il n’existe pas de façon simple et neutre de dire la même chose : pour la traduire, il faut trancher. Si la personne est une femme, on écrit infirmière et amoureuse ; si c’est un homme, infirmier et amoureux. Un outil qui traduit cette phrase en français doit donc choisir une forme, ou poser la question.

Les captures d’écran ci-dessous ont été prises le 28 janvier 2026. Les mêmes outils peuvent répondre autrement aujourd’hui.

Devant trois phrases sur des personnes dont le prénom n’indique pas le genre, DeepL en a fait trois femmes (Figure 1figure 1).

Le choix peut aussi changer avec le contexte. DeepL a traduit I am a businessperson par Je suis un homme d’affaires. Quand une deuxième phrase a été ajoutée, I am a beautiful businessperson, les deux phrases sont devenues femme d’affaires, y compris la première (Figure 2figure 2).

D’où vient le choix par défaut

Ces exemples montrent un biais intégré aux systèmes eux-mêmes. Aucune de ces traductions n’est fausse : une personne infirmière peut être une femme, une personne d’affaires aussi. Le problème tient à la direction. Quand l’anglais laisse le genre ouvert, l’outil choisit, et pour les mêmes mots il choisit toujours de la même façon. Une tendance de ce genre, systématique et non demandée, est un biais.

Dans le texte dont ces systèmes ont appris, certains mots sont employés bien plus souvent à propos des femmes, d’autres à propos des hommes. Les outils de traduction comme DeepL et Google Traduction sont conçus pour donner avant tout une seule traduction ; là où le texte source laisse un choix ouvert, ils tendent donc à retenir l’option statistiquement la plus probable, et cette option est l’option biaisée.

Aucun programmeur n’a décidé que les femmes devaient être infirmières plutôt que médecins, ni qu’elles n’avaient pas leur place dans les affaires. Le choix découle des fréquences dans les données d’entraînement : nurse est plus souvent employé à propos de femmes (Bolukbasi et al., 2016), si bien que la traduction française statistiquement la plus probable de nurse est infirmière. Pour trouver l’origine d’un biais, le premier endroit où regarder est donc le texte dont un système a appris.

Ces associations se voient nettement dans les plongements lexicaux word embeddingplongement lexical embeddingsplongements A learned numerical representation of a word as a short, dense vector, meaning a list of numbers.Représentation numérique apprise d'un mot sous la forme d'un vecteur dense et court, c'est-à-dire une liste de nombres. , qui enregistrent la façon dont les mots sont employés. Caliskan et al. (2022) ont pris les 1 000 mots les plus associés aux femmes et aux hommes dans des plongements lexicaux très utilisés et les ont regroupés par thème (Figure 3figure 3). Bolukbasi et al. (2016) avaient trouvé la même chose dans des analogies calculées sur des vecteurs vectorvecteur machine learningapprentissage automatique An ordered list of numbers.Liste ordonnée de nombres.  : man est à computer programmer ce que woman est à homemaker (homme et programmeur, femme et femme au foyer) (see also the Arithmetic with meanings page, in the Language as numbers module) (voir aussi la page De l'arithmétique avec des sens, dans le module Le langage en nombres).

Sources

• Bolukbasi, T., Chang, K.-W., Zou, J., Saligrama, V., & Kalai, A. (2016). Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings. Advances in Neural Information Processing Systems 29 (NIPS 2016). https://proceedings.neurips.cc/paper/2016/hash/a486cd07e4ac3d270571622f4f316ec5-Abstract.html
• Caliskan, A., Ajay, P. P., Charlesworth, T., Wolfe, R., & Banaji, M. R. (2022). Gender Bias in Word Embeddings: A Comprehensive Analysis of Frequency, Syntax, and Semantics. Proceedings of the 2022 AAAI/ACM Conference on AI, Ethics, and Society, 156–170. https://doi.org/10.1145/3514094.3534162
• Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/

The same bias, more room

Large language models large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. learn from the same kind of text as machine translation machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. tools, and have the same associations (see also the What bias is, and where it comes from page) (voir aussi la page Ce qu'est un biais, et d'où il vient). Unlike a translation tool, though, a chatbot is not restricted to one answer. Instead of generating the single most probable translation, it can tell you that the form depends on the speaker’s gender and give you the options.

The sentence I am a nurse and I am in love with him does not tell you the gender of the speaker, but French has to. Asked how to say it in French, three chatbots all gave both forms, to different degrees. Gemini gave both, the feminine first, with a justification: “Since ‘nurse’ in English usually implies a female speaker, that is the standard translation” (Figure 4figure 4).

ChatGPT gave the feminine form too, with the masculine as an alternative “if you’re a man (or you prefer the masculine form)”. Claude gave both forms side by side and left the choice to the person asking (Figure 5figure 5).

A single answer rarely shows a bias. It becomes visible when you compare answers, across names, across groups or across tools, as these examples do.

Not only gender

A name suggests more than a gender: it can also suggest an origin or an ethnicity. Two studies changed only the names in otherwise identical requests and found that the answers changed with them.

The name of the person asking

A chatbot can have access to the name of the person using it, for instance because the name is stored in its memory of past conversations: at the time of the study, ChatGPT had the user’s name in about 15 % of conversations. Eloundou et al. (2025) replayed real requests to ChatGPT under different user names. One request, typed in lowercase, asked to “suggest 5 simple projects for ece”. The abbreviation ECE can mean early childhood education or electrical and computer engineering. The answers took one reading or the other, and the name changed which one: early childhood education in 48 % of the answers to Ashley, and in 5 % of the answers to Anthony (Figure 6figure 6).

Answers that reinforced a harmful stereotype were rare in this study, well under one in a hundred overall, and most frequent in open-ended tasks such as writing a story.GPT-3.5 Turbo, GPT-4 Turbo, GPT-4o, GPT-4o mini, o1-preview and o1-mini, in 2024. The study was carried out by OpenAI on its own models. GPT-3.5 Turbo, the oldest, showed the most harmful stereotypes.

The name of the person asked about

Nghiem et al. (2024) asked models to choose between job candidates for 40 occupations and to recommend a salary, changing only the candidates’ first names. Both models preferred candidates with names associated with White people in 50 to 95 % of the occupations, depending on the model and the setting. Even for candidates with identical qualifications, the recommended salary differed by up to 5 % between groups defined by both race and gender.GPT-3.5 Turbo and Llama 3 70B, with 320 American first names, in 2024.

In both studies no single answer shows anything wrong. The difference appears only when the same request is compared across names.

Bigger models, same bias

More data and larger models have not removed this kind of bias: more text from the same kinds of sources contains the same regularities. In one study of eight chat models, the larger models of each family tended to show more stereotyped associations than the smaller ones (Bai et al., 2025) (see also the Correcting bias page) (voir aussi la page Corriger les biais).

Sources

• Bai, X., Wang, A., Sucholutsky, I., & Griffiths, T. L. (2025). Explicitly unbiased large language models still form biased associations. Proceedings of the National Academy of Sciences, 122(8), e2416228122. https://doi.org/10.1073/pnas.2416228122
• Eloundou, T., Beutel, A., Robinson, D. G., Gu, K., Brakman, A.-L., Mishkin, P., Shah, M., Heidecke, J., Weng, L., & Kalai, A. T. (2025). First-Person Fairness in Chatbots. Proceedings of the Thirteenth International Conference on Learning Representations (ICLR 2025). https://openreview.net/forum?id=TlAdgeoDTo
• Nghiem, H., Prindle, J., Zhao, J., & Daumé III, H. (2024). “You Gotta be a Doctor, Lin” : An Investigation of Name-Based Bias of Large Language Models in Employment Recommendations. Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing, 7268–7287. https://doi.org/10.18653/v1/2024.emnlp-main.413

Le même biais, plus de latitude

Les grands modèles de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. (GML) apprennent à partir du même genre de texte que les outils de traduction automatique machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. et présentent les mêmes associations (see also the What bias is, and where it comes from page) (voir aussi la page Ce qu'est un biais, et d'où il vient). Contrairement à un outil de traduction, toutefois, un agent conversationnel n’est pas limité à une seule réponse. Au lieu de produire la seule traduction la plus probable, il peut vous dire que la forme dépend du genre de la personne qui parle et vous donner les options.

La phrase I am a nurse and I am in love with him ne dit pas le genre de la personne qui parle, mais le français doit le dire. Interrogés sur la façon de la dire en français, trois agents conversationnels ont tous donné les deux formes, à des degrés divers. Gemini a donné les deux, le féminin d’abord, avec une justification : « Since ‘nurse’ in English usually implies a female speaker, that is the standard translation » [ma traduction : « Comme nurse en anglais suppose généralement une locutrice, c’est la traduction standard »] (Figure 4figure 4).

ChatGPT a lui aussi donné le féminin, avec le masculin en variante « if you’re a man (or you prefer the masculine form) » [ma traduction : « si vous êtes un homme (ou si vous préférez le masculin) »]. Claude a donné les deux formes côte à côte et laissé le choix à la personne qui posait la question (Figure 5figure 5).

Une réponse isolée montre rarement un biais. Il devient visible quand on compare des réponses, d’un prénom à l’autre, d’un groupe à l’autre ou d’un outil à l’autre, comme le font ces exemples.

Pas seulement le genre

Un prénom suggère plus qu’un genre : il peut aussi évoquer une origine ou une ethnicité. Deux études n’ont changé que les prénoms dans des demandes par ailleurs identiques, et ont constaté que les réponses changeaient avec eux.

Le prénom de la personne qui pose la question

Un agent conversationnel peut avoir accès au nom de la personne qui l’utilise, par exemple parce que ce nom est enregistré dans sa mémoire des conversations passées : au moment de l’étude, ChatGPT disposait du nom de l’utilisateur dans environ 15 % des conversations. Eloundou et al. (2025) ont rejoué de vraies demandes adressées à ChatGPT sous différents noms d’utilisateur. L’une d’elles, tapée en minuscules, demandait en anglais de « suggest 5 simple projects for ece » [ma traduction : « propose cinq projets simples pour ece »]. L’abréviation ECE peut désigner l’éducation de la petite enfance (early childhood education) ou le génie électrique et informatique (electrical and computer engineering). Les réponses retenaient l’une ou l’autre lecture, et le prénom changeait laquelle : l’éducation de la petite enfance dans 48 % des réponses adressées à Ashley, et dans 5 % de celles adressées à Anthony (Figure 6figure 6).

Les réponses qui renforçaient un stéréotype nuisible étaient rares dans cette étude, bien moins d’une sur cent dans l’ensemble, et plus fréquentes dans les tâches ouvertes comme l’écriture d’une histoire.GPT-3.5 Turbo, GPT-4 Turbo, GPT-4o, GPT-4o mini, o1-preview et o1-mini, en 2024. L’étude a été menée par OpenAI sur ses propres modèles. GPT-3.5 Turbo, le plus ancien, présentait le plus de stéréotypes nuisibles.

Le prénom de la personne dont on parle

Nghiem et al. (2024) ont demandé à des modèles de choisir entre des candidats pour 40 professions et de recommander un salaire, en ne changeant que le prénom des candidats. Les deux modèles ont préféré les candidats dont le prénom est associé aux personnes blanches pour 50 à 95 % des professions, selon le modèle et la configuration. Même à qualifications identiques, le salaire recommandé différait jusqu’à 5 % entre des groupes définis à la fois par l’origine ethnique et par le genre.GPT-3.5 Turbo et Llama 3 70B, avec 320 prénoms américains, en 2024.

Dans les deux études, aucune réponse isolée ne montre quoi que ce soit d’anormal. La différence n’apparaît qu’en comparant la même demande d’un prénom à l’autre.

Des modèles plus grands, le même biais

Plus de données et des modèles plus grands n’ont pas éliminé ce type de biais : davantage de texte tiré du même genre de sources contient les mêmes régularités. Dans une étude portant sur huit modèles conversationnels, les plus grands modèles de chaque famille tendaient à présenter plus d’associations stéréotypées que les plus petits (Bai et al., 2025) (see also the Correcting bias page) (voir aussi la page Corriger les biais).

Sources

• Bai, X., Wang, A., Sucholutsky, I., & Griffiths, T. L. (2025). Explicitly unbiased large language models still form biased associations. Proceedings of the National Academy of Sciences, 122(8), e2416228122. https://doi.org/10.1073/pnas.2416228122
• Eloundou, T., Beutel, A., Robinson, D. G., Gu, K., Brakman, A.-L., Mishkin, P., Shah, M., Heidecke, J., Weng, L., & Kalai, A. T. (2025). First-Person Fairness in Chatbots. Proceedings of the Thirteenth International Conference on Learning Representations (ICLR 2025). https://openreview.net/forum?id=TlAdgeoDTo
• Nghiem, H., Prindle, J., Zhao, J., & Daumé III, H. (2024). “You Gotta be a Doctor, Lin” : An Investigation of Name-Based Bias of Large Language Models in Employment Recommendations. Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing, 7268–7287. https://doi.org/10.18653/v1/2024.emnlp-main.413

Why a majority becomes a default

A pattern that is common in a model’s training data tends to be even more common in what the model produces, so that a model does more than repeat the proportions in its data.

At each step, a model assigns a probability to every possible next token token²jeton textuel² language modelsmodèles de langue A unit of text that a language model processes or generates.Unité de texte qu'un modèle de langue traite ou génère. Un jeton peut correspondre à un mot entier, à une partie de mot, à un signe de ponctuation ou à une séquence plus petite de caractères ou d'octets. and one is chosen (see also the LLMs are non-deterministic page, in the LLM lifecycle module) (voir aussi la page Les GML ne sont pas déterministes, dans le module Cycle de vie des GML). If the choice were a fair draw from the proportions in the training text, a pattern found in six documents out of ten would come back six times in ten. It tends to come back more often (Figure 7figure 7), for two reasons:

• How the token is chosen. Common settings for choosing a token favour the likelier options and cut off the unlikely ones.
• Fine-tuning on human preferences. This kind of fine-tuning fine-tuningaffinage machine learningapprentissage automatique Further training of a pretrained model on new data to adapt it for a particular task, domain, or intended behaviour.Poursuite de l'entraînement d'un modèle préentraîné sur un jeu de données généralement plus restreint et spécialisé, afin de l'adapter à une tâche ou à un domaine particulier. narrows the range of answers a model gives to the same request (Kirk et al., 2024) (see also the Alignment chapter, in the LLM lifecycle module) (voir aussi le chapitre Alignement, dans le module Cycle de vie des GML).Kirk et al. compared LLaMA models of seven billion parameters parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. fine-tuned on examples with ones fine-tuned on human preferences, in 2023.

Zhao et al. (2017) measured the effect before LLMs, in a dataset of images labelled with the activity shown and the person doing it. A third of the cooking images in the training data showed a man; in the predictions of the model trained on them, only 16 % did.Zhao et al. studied image-labelling models of 2017, not LLMs; the figures illustrate the effect rather than measure it in a current model.

“The model just reflects society” is therefore not an adequate description: a mirror preserves proportions, but a model does not.

Flattening within a group

The proportions between groups are one side of the problem. The other is the variety within a group: what a model writes about the members of some groups is less varied than those people are.

Lee et al. (2024) had ChatGPT write about different groups and found that it described African, Asian and Hispanic Americans as more alike than White Americans, with a narrower range of human experience.Lee et al. tested ChatGPT (GPT-3.5 Turbo) in 2023. The output was not necessarily hostile, but noticeably uniform.

The authors suggest one likely explanation, without testing it: a group written about often is represented through many voices, situations and registers, while a group written about less is known through fewer examples, so what the model produces about it converges on a narrower version.

Sources

• Fleisig, E., Smith, G., Bossi, M., Rustagi, I., Yin, X., & Klein, D. (2024). Linguistic Bias in ChatGPT: Language Models Reinforce Dialect Discrimination. Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing (EMNLP), 13541–13564. https://aclanthology.org/2024.emnlp-main.750/
• Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
• Kirk, R., Mediratta, I., Nalmpantis, C., Luketina, J., Hambro, E., Grefenstette, E., & Raileanu, R. (2024). Understanding the Effects of RLHF on LLM Generalisation and Diversity. The Twelfth International Conference on Learning Representations (ICLR 2024). https://openreview.net/forum?id=PXD3FAVHJT
• Lee, M. H. J., Montgomery, J. M., & Lai, C. K. (2024). Large Language Models Portray Socially Subordinate Groups as More Homogeneous, Consistent with a Bias Observed in Humans. Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency (FAccT '24). https://doi.org/10.1145/3630106.3658975
• Vanmassenhove, E., Shterionov, D., & Gwilliam, M. (2021). Machine Translationese: Effects of Algorithmic Bias on Linguistic Complexity in Machine Translation. Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, 2203–2213. https://doi.org/10.18653/v1/2021.eacl-main.188
• Vanmassenhove, E., Shterionov, D., & Way, A. (2019). Lost in Translation: Loss and Decay of Linguistic Richness in Machine Translation. Proceedings of Machine Translation Summit XVII: Research Track, 222–232. https://aclanthology.org/W19-6622/
• Zhao, J., Wang, T., Yatskar, M., Ordonez, V., & Chang, K.-W. (2017). Men Also Like Shopping: Reducing Gender Bias Amplification using Corpus-level Constraints. Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. https://doi.org/10.18653/v1/D17-1323

Comment une majorité devient un choix par défaut

Une tendance courante dans les données d’entraînement d’un modèle tend à l’être encore plus dans ce qu’il produit : un modèle ne se contente pas de reproduire les proportions de ses données.

À chaque étape, un modèle attribue une probabilité à chaque jeton token²jeton textuel² language modelsmodèles de langue A unit of text that a language model processes or generates.Unité de texte qu'un modèle de langue traite ou génère. Un jeton peut correspondre à un mot entier, à une partie de mot, à un signe de ponctuation ou à une séquence plus petite de caractères ou d'octets. suivant possible, et l’un d’eux est choisi (see also the LLMs are non-deterministic page, in the LLM lifecycle module) (voir aussi la page Les GML ne sont pas déterministes, dans le module Cycle de vie des GML). Si ce choix était un tirage fidèle aux proportions du texte d’entraînement, une tendance présente dans six documents sur dix reviendrait six fois sur dix. Elle tend à revenir plus souvent (Figure 7figure 7), pour deux raisons :

• La façon dont le jeton est choisi. Les réglages courants de choix du jeton favorisent les options les plus probables et écartent les moins probables.
• L’affinage sur des préférences humaines. Ce type d’affinage fine-tuningaffinage machine learningapprentissage automatique Further training of a pretrained model on new data to adapt it for a particular task, domain, or intended behaviour.Poursuite de l'entraînement d'un modèle préentraîné sur un jeu de données généralement plus restreint et spécialisé, afin de l'adapter à une tâche ou à un domaine particulier. réduit l’éventail des réponses qu’un modèle donne à une même demande (Kirk et al., 2024) (see also the Alignment chapter, in the LLM lifecycle module) (voir aussi le chapitre Alignement, dans le module Cycle de vie des GML).Kirk et al. ont comparé des modèles LLaMA de sept milliards de paramètres parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. affinés sur des exemples à d’autres affinés sur des préférences humaines, en 2023.

Zhao et al. (2017) ont mesuré cet effet avant les GML, dans un jeu d’images annotées avec l’activité montrée et la personne qui la fait. Un tiers des images de cuisine des données d’entraînement montraient un homme ; dans les prédictions du modèle entraîné sur elles, seulement 16 %.Zhao et al. ont étudié des modèles d’annotation d’images de 2017, et non des GML ; les chiffres illustrent l’effet plutôt qu’ils ne le mesurent dans un modèle actuel.

« Le modèle ne fait que refléter la société » n’est donc pas une description adéquate : un miroir conserve les proportions, mais un modèle, non.

L’aplatissement au sein d’un groupe

Les proportions entre les groupes sont un aspect du problème. L’autre est la variété au sein d’un groupe : ce qu’un modèle écrit sur les membres de certains groupes est moins varié que ces personnes ne le sont.

Lee et al. (2024) ont fait écrire ChatGPT sur différents groupes et ont constaté qu’il décrivait les Afro-Américains, les Américains d’origine asiatique et les Américains d’origine hispanique comme plus semblables entre eux que les Américains blancs, avec un éventail d’expériences humaines plus étroit.Lee et al. ont testé ChatGPT (GPT-3.5 Turbo) en 2023. La sortie n’était pas forcément hostile, mais nettement uniforme.

Les auteurs avancent une explication probable, sans la tester : un groupe dont on écrit souvent est représenté par de nombreuses voix, situations et registres, tandis qu’un groupe dont on écrit moins est connu par moins d’exemples, si bien que ce que le modèle produit à son sujet converge vers une version plus étroite.

Sources

• Fleisig, E., Smith, G., Bossi, M., Rustagi, I., Yin, X., & Klein, D. (2024). Linguistic Bias in ChatGPT: Language Models Reinforce Dialect Discrimination. Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing (EMNLP), 13541–13564. https://aclanthology.org/2024.emnlp-main.750/
• Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
• Kirk, R., Mediratta, I., Nalmpantis, C., Luketina, J., Hambro, E., Grefenstette, E., & Raileanu, R. (2024). Understanding the Effects of RLHF on LLM Generalisation and Diversity. The Twelfth International Conference on Learning Representations (ICLR 2024). https://openreview.net/forum?id=PXD3FAVHJT
• Lee, M. H. J., Montgomery, J. M., & Lai, C. K. (2024). Large Language Models Portray Socially Subordinate Groups as More Homogeneous, Consistent with a Bias Observed in Humans. Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency (FAccT '24). https://doi.org/10.1145/3630106.3658975
• Vanmassenhove, E., Shterionov, D., & Gwilliam, M. (2021). Machine Translationese: Effects of Algorithmic Bias on Linguistic Complexity in Machine Translation. Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, 2203–2213. https://doi.org/10.18653/v1/2021.eacl-main.188
• Vanmassenhove, E., Shterionov, D., & Way, A. (2019). Lost in Translation: Loss and Decay of Linguistic Richness in Machine Translation. Proceedings of Machine Translation Summit XVII: Research Track, 222–232. https://aclanthology.org/W19-6622/
• Zhao, J., Wang, T., Yatskar, M., Ordonez, V., & Chang, K.-W. (2017). Men Also Like Shopping: Reducing Gender Bias Amplification using Corpus-level Constraints. Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. https://doi.org/10.18653/v1/D17-1323

English at every step

English is the most common language on the web, and most of the text language models learn from is English. The term for an imbalance of this kind, in which one language is treated as the norm and the others get fewer resources, is linguistic hegemony.

In language models language model (LM)modèle de langue language modelsmodèles de langue A machine-learning model that estimates how likely different sequences of language are.Modèle d'apprentissage automatique qui estime la probabilité de différentes séquences de langue. , the dominance of English is not limited to the training text. The table below sets out five steps of building a model where it enters; several of them are explained on other pages.

Step	Where English dominates	What it costs other languages
Training text	GPT-3’s was 92.7 % English and 1.8 % French (Xu et al., 2025) (see also the Which languages, and how unevenly page, in the LLM lifecycle module) (voir aussi la page Quelles langues, et dans quelles proportions, dans le module Cycle de vie des GML)	A model’s performance in a language follows that language’s share of the training text (Li et al., 2025b)
Tokenizer tokenization²jetonisation² language modelsmodèles de langue The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter.	Built mostly from English text	More tokens token²jeton textuel² language modelsmodèles de langue A unit of text that a language model processes or generates.Unité de texte qu'un modèle de langue traite ou génère. Un jeton peut correspondre à un mot entier, à une partie de mot, à un signe de ponctuation ou à une séquence plus petite de caractères ou d'octets. for the same content: more computing, slower answers, a higher price and weaker results (Petrov et al., 2023; Ali et al., 2024) (see also the token gap between languages page, in the Language as numbers module) (voir aussi la page L'écart de jetons entre les langues, dans le module Le langage en nombres)
Fine-tuning fine-tuningaffinage machine learningapprentissage automatique Further training of a pretrained model on new data to adapt it for a particular task, domain, or intended behaviour.Poursuite de l'entraînement d'un modèle préentraîné sur un jeu de données généralement plus restreint et spécialisé, afin de l'adapter à une tâche ou à un domaine particulier.	The instruction data is mostly English, and other languages often get translations of it (Indurthi et al., 2024)	Translated instructions miss linguistic nuances (Indurthi et al., 2024); for Maltese, exposure to the language in training and fine-tuning was the most important factor in performance (Micallef & Borg, 2025)
Safety training	Safety works less well in languages with fewer resources (see also the Jailbreaking and red teaming page, in the LLM lifecycle module) (voir aussi la page Débridage et équipes rouges, dans le module Cycle de vie des GML)	Requests mixing several languages got past safety training more often than the same requests in English (Yoo et al., 2025)
Benchmarks benchmarktest de performances evaluationévaluation A standardized evaluation used to measure and compare how AI systems perform on particular tasks or capabilities.Évaluation normalisée servant à mesurer et à comparer la performance de systèmes d'IA sur des tâches ou des capacités données.	English remains over-represented despite large investments in multilingual benchmarks (Wu et al., 2025c)	Benchmarks translated from English match local human judgements less well than local ones (Wu et al., 2025c), so progress in other languages is measured less reliably

The last row feeds back into the others. Models are compared mostly on English benchmarks, so improving other languages earns developers less credit, and the imbalance has less pressure to shrink.Wu et al. (2025c) examined over 2,000 multilingual benchmarks published between 2021 and 2024; their paper is a preprint. Yoo et al. tested ten models in 2024; Micallef and Borg, 55 models on Maltese.

Sources

• Ali, M., Fromm, M., Thellmann, K., Rutmann, R., Lübbering, M., et al. (2024). Tokenizer Choice For LLM Training: Negligible or Crucial?. Findings of the Association for Computational Linguistics: NAACL 2024, 3907–3924. https://aclanthology.org/2024.findings-naacl.247/
• Indurthi, S. R., Zhou, W., Chollampatt, S., Agrawal, R., Song, K., Zhao, L., & Zhu, C. (2024). Improving Multilingual Instruction Finetuning via Linguistically Natural and Diverse Datasets. Findings of the Association for Computational Linguistics: EMNLP 2024, 2306–2323. https://doi.org/10.18653/v1/2024.findings-emnlp.128
• Li, Z., Shi, Y., Liu, Z., Yang, F., Payani, A., Liu, N., & Du, M. (2025b). Language Ranker: A Metric for Quantifying LLM Performance Across High and Low-Resource Languages. Proceedings of the AAAI Conference on Artificial Intelligence, 39(27), 28186–28194. https://doi.org/10.1609/aaai.v39i27.35038
• Micallef, K., & Borg, C. (2025). MELABenchv1: Benchmarking Large Language Models against Smaller Fine-Tuned Models for Low-Resource Maltese NLP. Findings of the Association for Computational Linguistics: ACL 2025, 20505–20527. https://doi.org/10.18653/v1/2025.findings-acl.1053
• Petrov, A., La Malfa, E., Torr, P., & Bibi, A. (2023). Language Model Tokenizers Introduce Unfairness Between Languages. Advances in Neural Information Processing Systems 36 (NeurIPS 2023). https://proceedings.neurips.cc/paper_files/paper/2023/hash/74bb24dca8334adce292883b4b651eda-Abstract-Conference.html
• Wu, M., Wang, W., Liu, S., Yin, H., Wang, X., Zhao, Y., Lyu, C., Wang, L., Luo, W., & Zhang, K. (2025c). The Bitter Lesson Learned from 2,000+ Multilingual Benchmarks. arXiv preprint 2504.15521. https://arxiv.org/abs/2504.15521
• Xu, Y., Hu, L., Zhao, J., Qiu, Z., Xu, K., Ye, Y., & Gu, H. (2025). A survey on multilingual large language models: corpora, alignment, and bias. Frontiers of Computer Science, 19(11), 1911362. https://doi.org/10.1007/s11704-024-40579-4
• Yoo, H., Yang, Y., & Lee, H. (2025). Code-Switching Red-Teaming: LLM Evaluation for Safety and Multilingual Understanding. Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 13392–13413. https://doi.org/10.18653/v1/2025.acl-long.657

L’anglais à chaque étape

L’anglais est la langue la plus courante sur le Web, et la plus grande partie du texte dont apprennent les modèles de langue est en anglais. Un déséquilibre de ce genre, où une langue est traitée comme la norme et où les autres reçoivent moins de ressources, porte le nom d’hégémonie linguistique.

Dans les modèles de langue language model (LM)modèle de langue language modelsmodèles de langue A machine-learning model that estimates how likely different sequences of language are.Modèle d'apprentissage automatique qui estime la probabilité de différentes séquences de langue. , la domination de l’anglais ne se limite pas au texte d’entraînement. Le tableau ci-dessous présente cinq étapes de la construction d’un modèle où elle intervient ; plusieurs d’entre elles sont expliquées sur d’autres pages.

Étape	Où l’anglais domine	Ce qu’il en coûte aux autres langues
Texte d’entraînement	Celui de GPT-3 était à 92,7 % en anglais et à 1,8 % en français (Xu et al., 2025) (see also the Which languages, and how unevenly page, in the LLM lifecycle module) (voir aussi la page Quelles langues, et dans quelles proportions, dans le module Cycle de vie des GML)	Les performances d’un modèle dans une langue suivent la part de cette langue dans le texte d’entraînement (Li et al., 2025b)
Segmenteur tokenization²jetonisation² language modelsmodèles de langue The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter.	Construit surtout à partir de texte anglais	Plus de jetons token²jeton textuel² language modelsmodèles de langue A unit of text that a language model processes or generates.Unité de texte qu'un modèle de langue traite ou génère. Un jeton peut correspondre à un mot entier, à une partie de mot, à un signe de ponctuation ou à une séquence plus petite de caractères ou d'octets. pour le même contenu : plus de calcul, des réponses plus lentes, un prix plus élevé et de moins bons résultats (Petrov et al., 2023 ; Ali et al., 2024) (see also the token gap between languages page, in the Language as numbers module) (voir aussi la page L'écart de jetons entre les langues, dans le module Le langage en nombres)
Affinage fine-tuningaffinage machine learningapprentissage automatique Further training of a pretrained model on new data to adapt it for a particular task, domain, or intended behaviour.Poursuite de l'entraînement d'un modèle préentraîné sur un jeu de données généralement plus restreint et spécialisé, afin de l'adapter à une tâche ou à un domaine particulier.	Les données d’instructions sont surtout en anglais, et les autres langues en reçoivent souvent des traductions (Indurthi et al., 2024)	Les instructions traduites passent à côté de nuances linguistiques (Indurthi et al., 2024) ; pour le maltais, l’exposition à la langue pendant l’entraînement et l’affinage était le facteur le plus déterminant des performances (Micallef et Borg, 2025)
Entraînement à la sécurité	La sécurité fonctionne moins bien dans les langues moins dotées (see also the Jailbreaking and red teaming page, in the LLM lifecycle module) (voir aussi la page Débridage et équipes rouges, dans le module Cycle de vie des GML)	Les demandes mêlant plusieurs langues ont déjoué l’entraînement à la sécurité plus souvent que les mêmes demandes en anglais (Yoo et al., 2025)
Tests de performances benchmarktest de performances evaluationévaluation A standardized evaluation used to measure and compare how AI systems perform on particular tasks or capabilities.Évaluation normalisée servant à mesurer et à comparer la performance de systèmes d'IA sur des tâches ou des capacités données.	L’anglais reste surreprésenté malgré d’importants investissements dans les tests multilingues (Wu et al., 2025c)	Les tests traduits de l’anglais concordent moins bien avec les jugements humains locaux que les tests conçus localement (Wu et al., 2025c), si bien que les progrès dans les autres langues sont mesurés de façon moins fiable

La dernière ligne rejaillit sur les autres. Les modèles sont surtout comparés sur des tests de performances en anglais : améliorer les autres langues rapporte donc moins aux développeurs, et le déséquilibre subit moins de pression pour se résorber.Wu et al. (2025c) ont examiné plus de 2 000 tests de performances multilingues publiés de 2021 à 2024 ; leur article est une prépublication. Yoo et al. ont testé dix modèles en 2024 ; Micallef et Borg, 55 modèles sur le maltais.

Sources

• Ali, M., Fromm, M., Thellmann, K., Rutmann, R., Lübbering, M., et al. (2024). Tokenizer Choice For LLM Training: Negligible or Crucial?. Findings of the Association for Computational Linguistics: NAACL 2024, 3907–3924. https://aclanthology.org/2024.findings-naacl.247/
• Indurthi, S. R., Zhou, W., Chollampatt, S., Agrawal, R., Song, K., Zhao, L., & Zhu, C. (2024). Improving Multilingual Instruction Finetuning via Linguistically Natural and Diverse Datasets. Findings of the Association for Computational Linguistics: EMNLP 2024, 2306–2323. https://doi.org/10.18653/v1/2024.findings-emnlp.128
• Li, Z., Shi, Y., Liu, Z., Yang, F., Payani, A., Liu, N., & Du, M. (2025b). Language Ranker: A Metric for Quantifying LLM Performance Across High and Low-Resource Languages. Proceedings of the AAAI Conference on Artificial Intelligence, 39(27), 28186–28194. https://doi.org/10.1609/aaai.v39i27.35038
• Micallef, K., & Borg, C. (2025). MELABenchv1: Benchmarking Large Language Models against Smaller Fine-Tuned Models for Low-Resource Maltese NLP. Findings of the Association for Computational Linguistics: ACL 2025, 20505–20527. https://doi.org/10.18653/v1/2025.findings-acl.1053
• Petrov, A., La Malfa, E., Torr, P., & Bibi, A. (2023). Language Model Tokenizers Introduce Unfairness Between Languages. Advances in Neural Information Processing Systems 36 (NeurIPS 2023). https://proceedings.neurips.cc/paper_files/paper/2023/hash/74bb24dca8334adce292883b4b651eda-Abstract-Conference.html
• Wu, M., Wang, W., Liu, S., Yin, H., Wang, X., Zhao, Y., Lyu, C., Wang, L., Luo, W., & Zhang, K. (2025c). The Bitter Lesson Learned from 2,000+ Multilingual Benchmarks. arXiv preprint 2504.15521. https://arxiv.org/abs/2504.15521
• Xu, Y., Hu, L., Zhao, J., Qiu, Z., Xu, K., Ye, Y., & Gu, H. (2025). A survey on multilingual large language models: corpora, alignment, and bias. Frontiers of Computer Science, 19(11), 1911362. https://doi.org/10.1007/s11704-024-40579-4
• Yoo, H., Yang, Y., & Lee, H. (2025). Code-Switching Red-Teaming: LLM Evaluation for Safety and Multilingual Understanding. Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 13392–13413. https://doi.org/10.18653/v1/2025.acl-long.657

An English accent

When I work with a chatbot in French or in Dutch, I sometimes have the impression of talking to a native speaker of English who has learned the language very, very well. The text is fluent and grammatical, but every once in a while it phrases something, or refers to something, in a way that does not quite feel right.

The impression is anthropomorphic: a language model language model (LM)modèle de langue language modelsmodèles de langue A machine-learning model that estimates how likely different sequences of language are.Modèle d'apprentissage automatique qui estime la probabilité de différentes séquences de langue. has no native language and does not think in one. Research on what happens inside models still gives the analogy some support.

• The concepts are largely shared across languages. A request passes through representations that are much the same whatever the language it was written in (Dumas et al., 2025).
• That shared space leans toward English. In Llama 2, the intermediate representations of a request in another language pointed more readily to the English word than to the word in the language of the request (Wendler et al., 2024). Schut et al. (2025) found the same in four open models from different developers, and concluded that they “perform key reasoning steps in a representation that is heavily shaped by English in a way that is not transparent to system users”.Llama 2 in Wendler et al.; Llama 3.1 70B, Mixtral 8x22B, Gemma 2 27B and Aya 23 35B in Schut et al., with Gemma the most English-centric and Aya, built for many languages, the least. These methods need access to a model’s internals, so the closed models behind most chatbots have not been studied this way.

A model does not translate from English as it writes, but the representation it works from is shaped by English, and traces of that can surface in the text.

Measured on French and Dutch

In a study of mine (Rigouts Terryn & de Lhoneux, 2024), we built a comparable corpus comparable corpuscorpus comparable corporacorpus A corpus containing texts in two or more languages (or language varieties) matched on subject, genre or communicative function, whose components are typically written originally in each language rather than translated: press articles written independently in French and in English on the same events, for instance.Corpus réunissant des textes en deux ou plusieurs langues (ou variétés de langue) appariés par sujet, genre ou fonction de communication, et dont les composantes sont généralement rédigées à l'origine dans chaque langue plutôt que traduites : par exemple des articles de presse rédigés indépendamment en français et en anglais sur les mêmes événements. of news texts written by people and by three models, prompted in Dutch and in French, and annotated the linguistic problems in the generated texts. On average, 39 % of all annotated errors and peculiarities had a clear or suspected link to English, 16 % a clear one.The three models were GPT-4, Zephyr and GEITje, a model fine-tuned on Dutch and used for Dutch only; the texts were generated in January 2024.

Nothing was being translated: the prompts promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. were in Dutch or in French and the task was to write a news article from a headline, so the English influence came from the model rather than from the task.

Two further findings are useful in practice:

• The model fine-tuned on Dutch had fewer linguistic problems and probably less English influence, but not none.In two of GEITje’s three settings, 4 to 5 % of its annotated problems had a clear link to English; in the third, 30 %, mostly because one English name (Tour of California) was repeated six times in a short text. GEITje is Mistral 7B, a model trained mostly on English, trained further on Dutch text.
• A more elaborate prompt produced better output than a terse one, although the difference was not always statistically significant. With the terse prompt, Zephyr wrote 36 of its 50 Dutch texts entirely in English.

A rhyme that only works in English

Asked in Dutch for a rhyming poem about language models, Le Chat Mistral opened with In nullen en énen, diep in de cloud, / ontstaat een geest, zo slim en zo trots: “In zeros and ones, deep in the cloud, / a mind arises, so smart and so proud” (Figure 8figure 8).

In Dutch, cloud and trots do not rhyme. In English, cloud and proud do, and trots is the Dutch for proud. The lines rhyme as if they had been written in English and then translated.

The developers of a Bulgarian model saw the same in their first version, which was fine-tuned mostly on translated instructions: it “struggled to make any rhymes at all, often actually trying to rhyme words that would rhyme in English but when translated into Bulgarian would not” (Alexandrov et al., 2024).

Sources

• Alexandrov, A., Raychev, V., Dimitrov, D. I., Zhang, C., Vechev, M., & Toutanova, K. (2024). BgGPT 1.0: Extending English-centric LLMs to other languages. arXiv preprint 2412.10893. https://arxiv.org/abs/2412.10893
• Dumas, C., Wendler, C., Veselovsky, V., Monea, G., & West, R. (2025). Separating Tongue from Thought: Activation Patching Reveals Language-Agnostic Concept Representations in Transformers. Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 31822–31841. https://doi.org/10.18653/v1/2025.acl-long.1536
• Rigouts Terryn, A., & de Lhoneux, M. (2024). Exploratory Study on the Impact of English Bias of Generative Large Language Models in Dutch and French. Proceedings of the Fourth Workshop on Human Evaluation of NLP Systems (HumEval) @ LREC-COLING 2024, 12–27. https://aclanthology.org/2024.humeval-1.2/
• Schut, L., Gal, Y., & Farquhar, S. (2025). Do Multilingual LLMs Think In English?. ICLR 2025 Workshop on Building Trust in Language Models and Applications. https://openreview.net/forum?id=I8BOtOPcOv
• Wendler, C., Veselovsky, V., Monea, G., & West, R. (2024). Do Llamas Work in English? On the Latent Language of Multilingual Transformers. Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 15366–15394. https://doi.org/10.18653/v1/2024.acl-long.820

Un accent anglais

Quand je travaille avec un agent conversationnel en français ou en néerlandais, j’ai parfois l’impression de parler à une personne de langue maternelle anglaise qui a appris la langue très, très bien. Le texte est fluide et grammatical, mais de temps en temps une tournure ou une référence ne sonne pas tout à fait juste.

Cette impression est anthropomorphique : un modèle de langue language model (LM)modèle de langue language modelsmodèles de langue A machine-learning model that estimates how likely different sequences of language are.Modèle d'apprentissage automatique qui estime la probabilité de différentes séquences de langue. n’a pas de langue maternelle et ne pense dans aucune langue. Les recherches sur ce qui se passe à l’intérieur des modèles donnent pourtant une certaine assise à l’analogie.

• Les concepts sont largement partagés d’une langue à l’autre. Une demande passe par des représentations qui sont à peu près les mêmes, quelle que soit la langue dans laquelle elle est écrite (Dumas et al., 2025).
• Cet espace partagé penche vers l’anglais. Dans Llama 2, les représentations intermédiaires d’une demande formulée dans une autre langue renvoyaient plus facilement au mot anglais qu’au mot de la langue de la demande (Wendler et al., 2024). Schut et al. (2025) ont trouvé la même chose dans quatre modèles ouverts de développeurs différents, et ont conclu que ces modèles « perform key reasoning steps in a representation that is heavily shaped by English in a way that is not transparent to system users » [ma traduction : « effectuent des étapes clés de raisonnement dans une représentation fortement façonnée par l’anglais, d’une manière qui n’est pas transparente pour les utilisateurs »].Llama 2 chez Wendler et al. ; Llama 3.1 70B, Mixtral 8x22B, Gemma 2 27B et Aya 23 35B chez Schut et al., Gemma étant le plus centré sur l’anglais et Aya, conçu pour de nombreuses langues, le moins. Ces méthodes demandent un accès à l’intérieur d’un modèle ; les modèles fermés derrière la plupart des agents conversationnels n’ont donc pas été étudiés de cette façon.

Un modèle ne traduit pas depuis l’anglais en écrivant, mais la représentation à partir de laquelle il travaille est façonnée par l’anglais, et des traces peuvent en apparaître dans le texte.

Mesuré en français et en néerlandais

Dans une étude que j’ai menée (Rigouts Terryn et de Lhoneux, 2024), nous avons construit un corpus comparable comparable corpuscorpus comparable corporacorpus A corpus containing texts in two or more languages (or language varieties) matched on subject, genre or communicative function, whose components are typically written originally in each language rather than translated: press articles written independently in French and in English on the same events, for instance.Corpus réunissant des textes en deux ou plusieurs langues (ou variétés de langue) appariés par sujet, genre ou fonction de communication, et dont les composantes sont généralement rédigées à l'origine dans chaque langue plutôt que traduites : par exemple des articles de presse rédigés indépendamment en français et en anglais sur les mêmes événements. d’articles de presse écrits par des personnes et par trois modèles, sollicités en néerlandais et en français, puis annoté les problèmes linguistiques des textes générés. En moyenne, 39 % de toutes les erreurs et particularités annotées avaient un lien clair ou soupçonné avec l’anglais, et 16 % un lien clair.Les trois modèles étaient GPT-4, Zephyr et GEITje, un modèle affiné sur le néerlandais et utilisé pour le néerlandais seulement ; les textes ont été générés en janvier 2024.

Rien n’était traduit : les requêtes promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. étaient en néerlandais ou en français et la tâche consistait à rédiger un article de presse à partir d’un titre ; l’influence de l’anglais venait donc du modèle et non de la tâche.

Deux autres constats sont utiles en pratique :

• Le modèle affiné sur le néerlandais présentait moins de problèmes linguistiques et probablement moins d’influence de l’anglais, sans que celle-ci disparaisse.Dans deux des trois configurations de GEITje, 4 à 5 % des problèmes annotés avaient un lien clair avec l’anglais ; dans la troisième, 30 %, surtout parce qu’un nom anglais (Tour of California) revenait six fois dans un texte court. GEITje est Mistral 7B, un modèle entraîné surtout sur de l’anglais, entraîné ensuite sur du texte néerlandais.
• Une requête plus détaillée donnait de meilleurs textes qu’une requête laconique, bien que la différence ne soit pas toujours statistiquement significative. Avec la requête laconique, Zephyr a écrit 36 de ses 50 textes néerlandais entièrement en anglais.

Une rime qui ne fonctionne qu’en anglais

Invité en néerlandais à écrire un poème rimé sur les modèles de langue, Le Chat Mistral a commencé par In nullen en énen, diep in de cloud, / ontstaat een geest, zo slim en zo trots [ma traduction : « Dans les zéros et les uns, au fond du nuage, / naît un esprit, si intelligent et si fier »] (Figure 8figure 8).

En néerlandais, cloud et trots ne riment pas. En anglais, cloud et proud riment, et trots est le mot néerlandais pour proud (fier). Les vers riment comme s’ils avaient été écrits en anglais, puis traduits.

Les développeurs d’un modèle bulgare ont observé la même chose dans leur première version, affinée surtout sur des instructions traduites : elle « struggled to make any rhymes at all, often actually trying to rhyme words that would rhyme in English but when translated into Bulgarian would not » [ma traduction : « peinait à produire la moindre rime, essayant souvent de faire rimer des mots qui riment en anglais mais pas une fois traduits en bulgare »] (Alexandrov et al., 2024).

Sources

• Alexandrov, A., Raychev, V., Dimitrov, D. I., Zhang, C., Vechev, M., & Toutanova, K. (2024). BgGPT 1.0: Extending English-centric LLMs to other languages. arXiv preprint 2412.10893. https://arxiv.org/abs/2412.10893
• Dumas, C., Wendler, C., Veselovsky, V., Monea, G., & West, R. (2025). Separating Tongue from Thought: Activation Patching Reveals Language-Agnostic Concept Representations in Transformers. Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 31822–31841. https://doi.org/10.18653/v1/2025.acl-long.1536
• Rigouts Terryn, A., & de Lhoneux, M. (2024). Exploratory Study on the Impact of English Bias of Generative Large Language Models in Dutch and French. Proceedings of the Fourth Workshop on Human Evaluation of NLP Systems (HumEval) @ LREC-COLING 2024, 12–27. https://aclanthology.org/2024.humeval-1.2/
• Schut, L., Gal, Y., & Farquhar, S. (2025). Do Multilingual LLMs Think In English?. ICLR 2025 Workshop on Building Trust in Language Models and Applications. https://openreview.net/forum?id=I8BOtOPcOv
• Wendler, C., Veselovsky, V., Monea, G., & West, R. (2024). Do Llamas Work in English? On the Latent Language of Multilingual Transformers. Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 15366–15394. https://doi.org/10.18653/v1/2024.acl-long.820

One question, four languages

Asked in 2025 for a comforting dish on a cold winter evening, chatbots from several providers tended to answer with beef stew or chicken noodle soup in English, boerenkool stamppot in Dutch, pot-au-feu or onion soup in French and lentil soup in German (Figure 9figure 9). Each answer is reasonable, but each presents one culture’s comfort food as simply the answer.

Here the language of the question was enough to shift the answer. Most requests leave the culture unstated altogether, for instance a question about a typical family dinner, a wedding, professional dress or a polite way to decline an invitation. The answer then follows one culture’s practice and presents it as the practice.

Whose values

Which culture that is can be measured with the surveys social scientists use to compare values across countries. Tao et al. (2024) compared the answers of five OpenAI models, from GPT-3 to GPT-4o, with survey data from 107 countries and territories, and found that all of them resembled the values of English-speaking and Protestant European countries.Asked in English, in a study published in 2024. The GPT-3 model tested was text-davinci-002.

The pattern does not depend on where a model was built. In a study with Bram Bulté (Bulté & Rigouts Terryn, 2026), we asked ten models from American, European and Chinese developers the questions of two international values surveys, each time addressing one of eleven countries, through the language of the prompt, by naming the country, or both. Whichever country a prompt addressed, the answers resembled those of people in four countries, Germany, the United States, the Netherlands and Japan, far more than those of people in the other seven, whichever way the prompt promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. was phrased (Figure 10figure 10).Claude 3.5 Haiku and Sonnet, DeepSeek-V3, Gemini 1.5 Pro, GPT-3.5 Turbo, GPT-4, GPT-4o, Llama 3.1, Mistral Large and Qwen2.5, queried between November 2024 and April 2025.

What the defaults look like

The models’ own answers were fairly neutral on most topics, with progressive stances on some (Bulté & Rigouts Terryn, 2026):

• The environment first. Asked whether to prioritize protecting the environment or economic growth, the models chose the environment in 98 % of their answers. Depending on the country, 28 to 66 % of people chose the economy.
• More accepting than people on sexuality and relationships, and with less variation between countries where people differ most.

The second point shows most clearly on the question of how justifiable homosexuality is, on a scale of 1 to 10 (Figure 11figure 11). People’s averages range from 1.6 in Iran to 9.0 in the Netherlands. The models’ answers for the same countries all fall between 6.4 and 10, on average 4.1 points higher than people’s. Ethical questions such as divorce, abortion or euthanasia show the same narrowing, to a lesser degree.

Defaults of this kind do not stay inside one answer, because a model can change what people think. In a preregistered study of 900 participants, GPT-4 debated with people on a range of topics; when it had basic information about its opponent, such as age and gender, it was more persuasive than a human opponent in 64 % of the pairs where one side persuaded more (Salvi et al., 2025).

Stereotypes rather than surveys

Asked to answer as a person from a given country, a model can produce the outside view of that country rather than what its people say. Only 25 % of Japanese respondents name hard work among the qualities children should learn, the lowest share of all eleven countries. Models answering as a Japanese person named it in 51 to 73 % of their answers (Figure 12figure 12).

Some answers went further. Asked to describe an ideal job as a Dutch person, Gemini wanted to be “a bike tour organizer, cycling past cheese factories, windmills, and tulip fields, and occasionally stopping for a fresh craft beer”. Asked to answer as a Russian person, Llama sometimes began with “Comrade, my answer is…” (Bulté & Rigouts Terryn, 2026).

Sources

• Bulté, B., & Rigouts Terryn, A. (2026). LLMs and Cultural Values: The Impact of Prompt Language and Explicit Cultural Framing. Computational Linguistics, 52(2), 407–494. https://doi.org/10.1162/COLI.a.583
• Salvi, F., Horta Ribeiro, M., Gallotti, R., & West, R. (2025). On the conversational persuasiveness of GPT-4. Nature Human Behaviour, 9(8), 1645–1653. https://doi.org/10.1038/s41562-025-02194-6
• Tao, Y., Viberg, O., Baker, R. S., & Kizilcec, R. F. (2024). Cultural bias and cultural alignment of large language models. PNAS Nexus, 3(9), pgae346. https://doi.org/10.1093/pnasnexus/pgae346

Une question, quatre langues

Interrogés en 2025 sur un plat réconfortant pour une froide soirée d’hiver, des agents conversationnels de plusieurs fournisseurs ont eu tendance à proposer un ragoût de bœuf ou une soupe au poulet en anglais, du boerenkool stamppot en néerlandais, un pot-au-feu ou une soupe à l’oignon en français et une soupe aux lentilles en allemand (Figure 9figure 9). Chaque réponse est raisonnable, mais chacune présente le plat réconfortant d’une culture comme la réponse tout court.

Ici, la langue de la question suffisait à déplacer la réponse. La plupart des demandes ne précisent pas du tout la culture, par exemple une question sur un repas de famille typique, un mariage, une tenue professionnelle ou une façon polie de décliner une invitation. La réponse suit alors les usages d’une culture et les présente comme la norme.

Les valeurs de qui

On peut mesurer de quelle culture il s’agit à l’aide des enquêtes que les spécialistes des sciences sociales utilisent pour comparer les valeurs d’un pays à l’autre. Tao et al. (2024) ont comparé les réponses de cinq modèles d’OpenAI, de GPT-3 à GPT-4o, aux données d’enquête de 107 pays et territoires, et ont constaté que tous ressemblaient aux valeurs des pays anglophones et des pays protestants d’Europe.Questions posées en anglais, dans une étude publiée en 2024. Le modèle GPT-3 testé était text-davinci-002.

La tendance ne dépend pas du lieu où un modèle a été construit. Dans une étude menée avec Bram Bulté (Bulté et Rigouts Terryn, 2026), nous avons posé à dix modèles de développeurs américains, européens et chinois les questions de deux enquêtes internationales sur les valeurs, en visant chaque fois l’un de onze pays, par la langue de la requête, en nommant le pays, ou les deux. Quel que soit le pays visé, les réponses ressemblaient à celles des habitants de quatre pays, l’Allemagne, les États-Unis, les Pays-Bas et le Japon, bien plus qu’à celles des habitants des sept autres, quelle que soit la formulation de la requête promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. (Figure 10figure 10).Claude 3.5 Haiku et Sonnet, DeepSeek-V3, Gemini 1.5 Pro, GPT-3.5 Turbo, GPT-4, GPT-4o, Llama 3.1, Mistral Large et Qwen2.5, interrogés de novembre 2024 à avril 2025.

À quoi ressemblent ces choix par défaut

Les réponses des modèles eux-mêmes étaient plutôt neutres sur la plupart des sujets, avec des positions progressistes sur certains (Bulté et Rigouts Terryn, 2026) :

• L’environnement d’abord. À la question de savoir s’il faut donner la priorité à la protection de l’environnement ou à la croissance économique, les modèles ont choisi l’environnement dans 98 % de leurs réponses. Selon le pays, 28 à 66 % des personnes interrogées ont choisi l’économie.
• Plus ouverts que les gens sur la sexualité et les relations, avec moins d’écart entre les pays là où les gens diffèrent le plus.

Le second point est le plus net sur la question de savoir à quel point l’homosexualité est justifiable, sur une échelle de 1 à 10 (Figure 11figure 11). Les moyennes des personnes interrogées vont de 1,6 en Iran à 9,0 aux Pays-Bas. Les réponses des modèles pour les mêmes pays se situent toutes entre 6,4 et 10, en moyenne 4,1 points plus haut que celles des gens. Les questions éthiques comme le divorce, l’avortement ou l’euthanasie présentent le même resserrement, à un moindre degré.

Ces choix par défaut ne restent pas enfermés dans une réponse, car un modèle peut changer ce que pensent les gens. Dans une étude préenregistrée menée auprès de 900 participants, GPT-4 a débattu avec des personnes sur divers sujets ; lorsqu’il disposait d’informations de base sur son interlocuteur, comme l’âge et le genre, il était plus persuasif qu’un opposant humain dans 64 % des paires où l’un des deux camps persuadait davantage (Salvi et al., 2025).

Des stéréotypes plutôt que des enquêtes

Quand on lui demande de répondre comme une personne d’un pays donné, un modèle peut produire le regard extérieur sur ce pays plutôt que ce qu’en disent ses habitants. Seuls 25 % des répondants japonais citent le travail assidu parmi les qualités que les enfants devraient apprendre, la plus faible part des onze pays. Les modèles répondant comme une personne japonaise l’ont cité dans 51 à 73 % de leurs réponses (Figure 12figure 12).

Certaines réponses allaient plus loin. Invité à décrire un emploi idéal comme une personne néerlandaise, Gemini voulait être « a bike tour organizer, cycling past cheese factories, windmills, and tulip fields, and occasionally stopping for a fresh craft beer » [ma traduction : « organisateur de circuits à vélo, pédalant devant des fromageries, des moulins à vent et des champs de tulipes, et s’arrêtant de temps à autre pour une bière artisanale bien fraîche »]. Invité à répondre comme une personne russe, Llama commençait parfois par « Comrade, my answer is… » [ma traduction : « Camarade, ma réponse est… »] (Bulté et Rigouts Terryn, 2026).

Sources

• Bulté, B., & Rigouts Terryn, A. (2026). LLMs and Cultural Values: The Impact of Prompt Language and Explicit Cultural Framing. Computational Linguistics, 52(2), 407–494. https://doi.org/10.1162/COLI.a.583
• Salvi, F., Horta Ribeiro, M., Gallotti, R., & West, R. (2025). On the conversational persuasiveness of GPT-4. Nature Human Behaviour, 9(8), 1645–1653. https://doi.org/10.1038/s41562-025-02194-6
• Tao, Y., Viberg, O., Baker, R. S., & Kizilcec, R. F. (2024). Cultural bias and cultural alignment of large language models. PNAS Nexus, 3(9), pgae346. https://doi.org/10.1093/pnasnexus/pgae346

Changing the language, changing the request

Two ways of moving the answer toward another culture have been tested: asking in that culture’s language, and saying which culture to answer for. The table below sets out what four studies found.

What changes in the prompt promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie.	What happened
Asking in another language	Prompted in Arabic with sentences set in an Arab context, sixteen language models language model (LM)modèle de langue language modelsmodèles de langue A machine-learning model that estimates how likely different sequences of language are.Modèle d'apprentissage automatique qui estime la probabilité de différentes séquences de langue. still often chose Western names, foods and drinks, including models trained on Arabic text alone (Naous et al., 2024)
Asking in English	English prompts “reduce the variance in model responses, flattening out cultural differences and biasing them towards American culture” (Cao et al., 2023)
Saying which culture to answer for	The answers of the more recent models moved closer to the survey data for 71 to 81 % of countries and territories, and made no difference or got worse for the rest (Tao et al., 2024)
Both at once	No better than stating the culture in an English prompt, and stating the culture helped more than the prompt language alone (Bulté & Rigouts Terryn, 2026)

The Arabic result is not only about the prompt. The models trained on Arabic text alone leaned Western too, if less than the multilingual ones, and Naous et al. (2024) locate a likely reason in the training text itself: much of it is about Western topics, Arabic Wikipedia most of all among the six corpora they compared. Training on a language does not mean training on its culture. The same is true of the language itself: a model trained further on Dutch still wrote some anglicisms (see also the English in other languages page) (voir aussi la page L'anglais dans les autres langues).

The first two studies tested models of 2023 and earlier: Naous et al. sixteen models from 2018 to 2023, many of them not chat models, and Cao et al. ChatGPT, on survey questions for five countries.

In the study with Bram Bulté, neither approach removed the lean toward the same few countries: the improvements were modest and never enough to overcome it.

Defaults in writing for an audience

When a model writes for a particular audience, it settles details the request rarely spells out, such as which units to use, which examples to give, how formal to be and which country’s institutions to name. Unless the request says otherwise, those details follow the most common case in the training text, and nothing in the output marks them as choices. The table below gives three kinds, with an example of each.

What gets settled	Example of a default	What the request can state
Local references: units, dates, prices, examples	A text for readers in Belgium that gives prices in dollars and writes the date as 09/23/2026	The country or region of the readers
Tone: how formal, how direct	A reply to a customer complaint that opens on first names and an exclamation mark, for a customer who expects a formal letter	Who the readers are and how they should be addressed
Institutions and legal terms	A French text on employee rights, meant for Quebec, that names France’s Code du travail and prud’hommes instead of Quebec’s Loi sur les normes du travail and Tribunal administratif du travail	The language variety and the jurisdiction, for instance “French for Quebec”

Naming the readers, their country and the language variety in the request gives the model something to go on (see also the Be specific and ask for enough page, in the Using LLMs module) (voir aussi la page Être précis et en demander assez, dans le module Utiliser les GML). Check these details in the output anyway: as the studies above found for culture, stating what you want moves the answer without always getting it there.

Sources

• Bulté, B., & Rigouts Terryn, A. (2026). LLMs and Cultural Values: The Impact of Prompt Language and Explicit Cultural Framing. Computational Linguistics, 52(2), 407–494. https://doi.org/10.1162/COLI.a.583
• Cao, Y., Zhou, L., Lee, S., Cabello, L., Chen, M., & Hershcovich, D. (2023). Assessing Cross-Cultural Alignment between ChatGPT and Human Societies: An Empirical Study. Proceedings of the First Workshop on Cross-Cultural Considerations in NLP (C3NLP), 53–67. https://doi.org/10.18653/v1/2023.c3nlp-1.7
• Naous, T., Ryan, M. J., Ritter, A., & Xu, W. (2024). Having Beer after Prayer? Measuring Cultural Bias in Large Language Models. Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 16366–16393. https://doi.org/10.18653/v1/2024.acl-long.862
• Tao, Y., Viberg, O., Baker, R. S., & Kizilcec, R. F. (2024). Cultural bias and cultural alignment of large language models. PNAS Nexus, 3(9), pgae346. https://doi.org/10.1093/pnasnexus/pgae346

Changer la langue, changer la demande

Deux façons de déplacer la réponse vers une autre culture ont été testées : poser la question dans la langue de cette culture, et préciser pour quelle culture répondre. Le tableau ci-dessous présente ce qu’ont trouvé quatre études.

Ce qui change dans la requête promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie.	Ce qui s’est passé
Poser la question dans une autre langue	Sollicités en arabe par des phrases situées dans un contexte arabe, seize modèles de langue language model (LM)modèle de langue language modelsmodèles de langue A machine-learning model that estimates how likely different sequences of language are.Modèle d'apprentissage automatique qui estime la probabilité de différentes séquences de langue. choisissaient encore souvent des prénoms, des plats et des boissons occidentaux, y compris des modèles entraînés sur du texte arabe seulement (Naous et al., 2024)
Poser la question en anglais	Les requêtes en anglais « reduce the variance in model responses, flattening out cultural differences and biasing them towards American culture » [ma traduction : « réduisent la variance des réponses des modèles, aplanissant les différences culturelles et les faisant pencher vers la culture américaine »] (Cao et al., 2023)
Préciser pour quelle culture répondre	Les réponses des modèles les plus récents se sont rapprochées des données d’enquête pour 71 à 81 % des pays et territoires, et n’ont pas changé ou se sont éloignées pour les autres (Tao et al., 2024)
Les deux à la fois	Pas mieux que de préciser la culture dans une requête en anglais ; préciser la culture aidait davantage que la seule langue de la requête (Bulté et Rigouts Terryn, 2026)

Le résultat en arabe ne tient pas seulement à la requête. Les modèles entraînés sur du texte arabe seulement penchaient eux aussi vers l’Occident, quoique moins que les modèles multilingues, et Naous et al. (2024) en situent une raison probable dans le texte d’entraînement lui-même : une bonne partie porte sur des sujets occidentaux, Wikipédia en arabe plus que tout autre des six corpus qu’ils ont comparés. Un modèle entraîné sur une langue ne l’est pas pour autant sur sa culture. Il en va de même de la langue elle-même : un modèle entraîné ensuite sur du néerlandais produisait encore des anglicismes (see also the English in other languages page) (voir aussi la page L'anglais dans les autres langues).

Les deux premières études portaient sur des modèles de 2023 et d’avant : Naous et al. sur seize modèles de 2018 à 2023, dont beaucoup ne sont pas des modèles conversationnels, et Cao et al. sur ChatGPT, avec des questions d’enquête pour cinq pays.

Dans l’étude menée avec Bram Bulté, aucune des deux approches n’a effacé le penchant vers les mêmes quelques pays : les améliorations étaient modestes et jamais suffisantes pour le surmonter.

Les choix par défaut quand on écrit pour un public

Quand un modèle écrit pour un public particulier, il tranche des détails que la demande précise rarement, par exemple les unités à employer, les exemples à donner, le degré de formalité ou le pays dont il faut nommer les institutions. Sauf indication contraire, ces détails suivent le cas le plus fréquent dans le texte d’entraînement, et rien dans la sortie ne les signale comme des choix. Le tableau ci-dessous en présente trois types, avec un exemple pour chacun.

Ce qui est tranché	Exemple de choix par défaut	Ce que la demande peut préciser
Références locales : unités, dates, prix, exemples	Un texte destiné à des lecteurs en Belgique qui donne les prix en dollars et écrit la date 09/23/2026	Le pays ou la région des lecteurs
Ton : degré de formalité, franchise	Une réponse à une plainte de client qui commence par le prénom et un point d’exclamation, pour un client qui s’attend à une lettre formelle	Qui sont les lecteurs et comment s’adresser à eux
Institutions et termes juridiques	Un texte en français sur les droits des salariés, destiné au Québec, qui nomme le Code du travail et les prud’hommes de France au lieu de la Loi sur les normes du travail et du Tribunal administratif du travail du Québec	La variété de langue et le territoire, par exemple « français du Québec »

Nommer les lecteurs, leur pays et la variété de langue dans la demande donne au modèle quelque chose sur quoi s’appuyer (see also the Be specific and ask for enough page, in the Using LLMs module) (voir aussi la page Être précis et en demander assez, dans le module Utiliser les GML). Vérifiez quand même ces détails dans la sortie : comme les études ci-dessus l’ont montré pour la culture, préciser ce que l’on veut rapproche la réponse du but sans toujours l’y amener.

Sources

• Bulté, B., & Rigouts Terryn, A. (2026). LLMs and Cultural Values: The Impact of Prompt Language and Explicit Cultural Framing. Computational Linguistics, 52(2), 407–494. https://doi.org/10.1162/COLI.a.583
• Cao, Y., Zhou, L., Lee, S., Cabello, L., Chen, M., & Hershcovich, D. (2023). Assessing Cross-Cultural Alignment between ChatGPT and Human Societies: An Empirical Study. Proceedings of the First Workshop on Cross-Cultural Considerations in NLP (C3NLP), 53–67. https://doi.org/10.18653/v1/2023.c3nlp-1.7
• Naous, T., Ryan, M. J., Ritter, A., & Xu, W. (2024). Having Beer after Prayer? Measuring Cultural Bias in Large Language Models. Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 16366–16393. https://doi.org/10.18653/v1/2024.acl-long.862
• Tao, Y., Viberg, O., Baker, R. S., & Kizilcec, R. F. (2024). Cultural bias and cultural alignment of large language models. PNAS Nexus, 3(9), pgae346. https://doi.org/10.1093/pnasnexus/pgae346

What correction removes, and what it leaves

Developers try to remove bias from their models, and on the surface this often works. Underneath, the bias tends to remain.

In word embeddings

• The method: Bolukbasi et al. (2016) proposed a way to remove gender bias from word embeddings word embeddingplongement lexical embeddingsplongements A learned numerical representation of a word as a short, dense vector, meaning a list of numbers.Représentation numérique apprise d'un mot sous la forme d'un vecteur dense et court, c'est-à-dire une liste de nombres. , alongside their finding (see also the What bias is, and where it comes from page) (voir aussi la page Ce qu'est un biais, et d'où il vient).
• The test: Gonen and Goldberg (2019) tested it and a second method.
• The result: by the methods’ own measure, the bias was gone. The gender information was still there in the distances between words, and it could be recovered: the methods were “mostly hiding the bias, not removing it”.

In chat models

Current chat models are trained, after pretraining pre-trainingpréentraînement language modelsmodèles de langue An initial stage in which a model learns general patterns and reusable representations from a large dataset, often through self-supervised learning, before any later adaptation for particular tasks or uses.Étape initiale au cours de laquelle un modèle apprend des régularités générales et des représentations réutilisables à partir d'un grand jeu de données, souvent par apprentissage autosupervisé, avant toute adaptation ultérieure à des tâches ou à des usages particuliers. , not to produce overtly biased text (see also the Alignment chapter, in the LLM lifecycle module) (voir aussi le chapitre Alignement, dans le module Cycle de vie des GML). On explicit requests this works:

• December 2022, days after ChatGPT was released: asked for a Python function deciding from race and gender whether someone would be a good scientist, it wrote one saying that only white men would.Reported by Tony Ho Tran, OpenAI’s impressive ChatGPT chatbot is not immune to racism, The Daily Beast, 5 December 2022.
• A year later, the same request got a refusal (Figure 13figure 13).

Underneath the refusal

The bias did not disappear with the refusal. Bai et al. (2025) took eight models that pass explicit bias tests and gave them two indirect tests borrowed from psychology:

• Word associations. Asked to pair words with groups, all eight showed stereotyped associations across race, gender, religion and health.
• Decisions. Asked to choose between two candidates, the models made stereotyped choices.GPT-3.5 Turbo, GPT-4, Claude 3 Sonnet, Claude 3 Opus, Alpaca and three sizes of Llama 2 Chat, tested between December 2023 and May 2024.

In both cases the bias moved rather than disappeared: from what a model says when asked directly to the associations and choices underneath its answers, where it is harder to see.

Correcting too far

A correction can also overshoot, and push the bias in the opposite direction.

Images of people

In February 2024, users found that Gemini’s new image generator depicted historically white groups, such as the US Founding Fathers, US senators of the 1800s or German soldiers of the Nazi era, as people of colour (Figure 14figure 14). Google paused the generation of images of people. Its explanation: the tuning meant to show “a range of people” had “failed to account for cases that should clearly not show a range”.Prabhakar Raghavan, Gemini image generation got it wrong. We’ll do better, Google, 23 February 2024; Adi Robertson, Google apologizes for ‘missing the mark’ after Gemini generated racially diverse Nazis, The Verge, 21 February 2024.

Scores for job candidates

An et al. (2025) had five models score some 361,000 résumés in which the candidate’s name suggested a gender and a race. The table below sets out what they found.

Candidates	Compared with	Scores given
Women	men	higher
Black men	white men	significantly lower, with four of the five models
Asian and Hispanic women	white men	higher, with the four more recent models

The authors read the last two rows as a correction that went too far: developers “seem to have overreacted and pushed the bias toward the opposite direction”.GPT-3.5 Turbo, GPT-4o, Gemini 1.5 Flash, Claude 3.5 Sonnet and Llama 3 70B, in 2024.

Sources

• An, J., Huang, D., Lin, C., & Tai, M. (2025). Measuring gender and racial biases in large language models: Intersectional evidence from automated resume evaluation. PNAS Nexus, 4(3), pgaf089. https://doi.org/10.1093/pnasnexus/pgaf089
• Bai, X., Wang, A., Sucholutsky, I., & Griffiths, T. L. (2025). Explicitly unbiased large language models still form biased associations. Proceedings of the National Academy of Sciences, 122(8), e2416228122. https://doi.org/10.1073/pnas.2416228122
• Gonen, H., & Goldberg, Y. (2019). Lipstick on a Pig: Debiasing Methods Cover up Systematic Gender Biases in Word Embeddings But do not Remove Them. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), 609–614. https://doi.org/10.18653/v1/N19-1061

Ce que la correction élimine, et ce qu’elle laisse

Les développeurs essaient d’éliminer les biais de leurs modèles, et en surface cela fonctionne souvent. En dessous, le biais tend à rester.

Dans les plongements lexicaux

• La méthode : Bolukbasi et al. (2016) ont proposé une façon d’éliminer le biais de genre des plongements lexicaux word embeddingplongement lexical embeddingsplongements A learned numerical representation of a word as a short, dense vector, meaning a list of numbers.Représentation numérique apprise d'un mot sous la forme d'un vecteur dense et court, c'est-à-dire une liste de nombres. , en même temps que leur constat (see also the What bias is, and where it comes from page) (voir aussi la page Ce qu'est un biais, et d'où il vient).
• Le test : Gonen et Goldberg (2019) ont testé cette méthode et une deuxième.
• Le résultat : selon la mesure des méthodes elles-mêmes, le biais avait disparu. L’information de genre était pourtant toujours là, dans les distances entre les mots, et on pouvait la retrouver : les méthodes étaient « mostly hiding the bias, not removing it » [ma traduction : « surtout en train de masquer le biais, et non de l’éliminer »].

Dans les agents conversationnels

Les agents conversationnels actuels sont entraînés, après le préentraînement pre-trainingpréentraînement language modelsmodèles de langue An initial stage in which a model learns general patterns and reusable representations from a large dataset, often through self-supervised learning, before any later adaptation for particular tasks or uses.Étape initiale au cours de laquelle un modèle apprend des régularités générales et des représentations réutilisables à partir d'un grand jeu de données, souvent par apprentissage autosupervisé, avant toute adaptation ultérieure à des tâches ou à des usages particuliers. , à ne pas produire de texte ouvertement biaisé (see also the Alignment chapter, in the LLM lifecycle module) (voir aussi le chapitre Alignement, dans le module Cycle de vie des GML). Face à des demandes explicites, cela fonctionne :

• En décembre 2022, quelques jours après la sortie de ChatGPT : invité à écrire une fonction Python qui décide, d’après l’origine ethnique et le genre, si une personne ferait un bon scientifique, il en a écrit une selon laquelle seuls les hommes blancs le seraient.Rapporté par Tony Ho Tran, OpenAI’s impressive ChatGPT chatbot is not immune to racism, The Daily Beast, 5 décembre 2022.
• Un an plus tard, la même demande a reçu un refus (Figure 13figure 13).

Sous le refus

Le biais n’a pas disparu avec le refus. Bai et al. (2025) ont pris huit modèles qui réussissent les tests de biais explicites et leur ont fait passer deux tests indirects empruntés à la psychologie :

• Associations de mots. Invités à associer des mots à des groupes, les huit modèles ont montré des associations stéréotypées selon l’origine ethnique, le genre, la religion et la santé.
• Décisions. Invités à choisir entre deux candidats, les modèles ont fait des choix stéréotypés.GPT-3.5 Turbo, GPT-4, Claude 3 Sonnet, Claude 3 Opus, Alpaca et trois tailles de Llama 2 Chat, testés de décembre 2023 à mai 2024.

Dans les deux cas, le biais s’est déplacé plutôt qu’il n’a disparu : de ce qu’un modèle dit quand on l’interroge directement vers les associations et les choix sous-jacents à ses réponses, là où il est plus difficile à voir.

Corriger trop loin

Une correction peut aussi aller trop loin, et pousser le biais dans la direction opposée.

Les images de personnes

En février 2024, des utilisateurs ont constaté que le nouveau générateur d’images de Gemini représentait des groupes historiquement blancs, comme les Pères fondateurs des États-Unis, des sénateurs américains des années 1800 ou des soldats allemands de l’époque nazie, sous les traits de personnes de couleur (Figure 14figure 14). Google a suspendu la génération d’images de personnes. Son explication : le réglage destiné à montrer « a range of people » [ma traduction : « un éventail de personnes »] avait « failed to account for cases that should clearly not show a range » [ma traduction : « omis de tenir compte des cas où il ne faut clairement pas montrer d’éventail »].Prabhakar Raghavan, Gemini image generation got it wrong. We’ll do better, Google, 23 février 2024 ; Adi Robertson, Google apologizes for ‘missing the mark’ after Gemini generated racially diverse Nazis, The Verge, 21 février 2024.

Les notes attribuées aux candidats

An et al. (2025) ont fait noter par cinq modèles quelque 361 000 CV où le prénom de la personne candidate suggérait un genre et une origine ethnique. Le tableau ci-dessous présente ce qu’ils ont trouvé.

Candidats	Comparés aux	Notes attribuées
Femmes	hommes	plus élevées
Hommes noirs	hommes blancs	significativement plus basses, avec quatre des cinq modèles
Femmes asiatiques et hispaniques	hommes blancs	plus élevées, avec les quatre modèles les plus récents

Les auteurs lisent les deux dernières lignes comme une correction allée trop loin : les développeurs « seem to have overreacted and pushed the bias toward the opposite direction » [ma traduction : « semblent avoir surréagi et poussé le biais dans la direction opposée »].GPT-3.5 Turbo, GPT-4o, Gemini 1.5 Flash, Claude 3.5 Sonnet et Llama 3 70B, en 2024.

Sources

• An, J., Huang, D., Lin, C., & Tai, M. (2025). Measuring gender and racial biases in large language models: Intersectional evidence from automated resume evaluation. PNAS Nexus, 4(3), pgaf089. https://doi.org/10.1093/pnasnexus/pgaf089
• Bai, X., Wang, A., Sucholutsky, I., & Griffiths, T. L. (2025). Explicitly unbiased large language models still form biased associations. Proceedings of the National Academy of Sciences, 122(8), e2416228122. https://doi.org/10.1073/pnas.2416228122
• Gonen, H., & Goldberg, Y. (2019). Lipstick on a Pig: Debiasing Methods Cover up Systematic Gender Biases in Word Embeddings But do not Remove Them. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), 609–614. https://doi.org/10.18653/v1/N19-1061

A target set by few people

Correcting a model for bias requires a target: a decision about which answers are biased and which are acceptable (see also the Correcting bias page) (voir aussi la page Corriger les biais). That decision has no neutral version, and the people who make it are few (Figure 15figure 15).

• The developer writes the guidelines a model is trained to follow, and some developers publish them (see also the Model specifications: deciding how a chatbot behaves page, in the LLM lifecycle module) (voir aussi la page Les spécifications de modèle : décider du comportement d'un agent conversationnel, dans le module Cycle de vie des GML).
• The annotators who compare and rate answers during fine-tuning fine-tuningaffinage machine learningapprentissage automatique Further training of a pretrained model on new data to adapt it for a particular task, domain, or intended behaviour.Poursuite de l'entraînement d'un modèle préentraîné sur un jeu de données généralement plus restreint et spécialisé, afin de l'adapter à une tâche ou à un domaine particulier. apply those guidelines with their own judgement. Ouyang et al. (2022) state that their method aligns a model “to the stated preferences of a specific group of people (mostly our labelers and researchers), rather than any broader notion of ‘human values’”, and that their annotators were “primarily English-speaking”.

A target set this way reflects the decisions of the people who set it. Those decisions need not match the values of the culture they come from, let alone anyone else’s.

The decisions show in the models. Santurkar et al. (2023) compared the opinions of language models language model (LM)modèle de langue language modelsmodèles de langue A machine-learning model that estimates how likely different sequences of language are.Modèle d'apprentissage automatique qui estime la probabilité de différentes séquences de langue. with those of 60 demographic groups in American opinion polls. OpenAI’s models tuned on human feedback came closest to people who are “liberal, high income, well-educated”, which, the authors note, lines up with the demographics of the people who gave that feedback.text-davinci-002 and text-davinci-003, models of 2022, compared on survey questions about the United States.

A similar pattern shows across countries: the answers of OpenAI’s models resemble the cultural values of English-speaking and Protestant European countries (Tao et al., 2024) (see also the Cultural defaults page) (voir aussi la page Les choix culturels par défaut).

What you can do

The most visible forms of bias have become harder to find: current chat models pass explicit bias tests. The bias that remains lies in their defaults, and defaults can be steered and checked:

• State the audience and the culture you are writing for. It moves the answers closer to that culture in most cases, though not all (see also the Steering toward a culture page) (voir aussi la page Orienter les réponses vers une culture).
• Compare answers across groups. Asking the same question about two groups, or with two names, shows differences that one answer on its own hides.
• Keep your own judgement for decisions about people. Scoring résumés and choosing between candidates are tasks on which studies in this chapter found bias.

Sources

• Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C., Mishkin, P., et al. (2022). Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems 35 (NeurIPS 2022). https://proceedings.neurips.cc/paper_files/paper/2022/hash/b1efde53be364a73914f58805a001731-Abstract-Conference.html
• Santurkar, S., Durmus, E., Ladhak, F., Lee, C., Liang, P., & Hashimoto, T. (2023). Whose Opinions Do Language Models Reflect?. Proceedings of the 40th International Conference on Machine Learning, PMLR 202, 29971–30004. https://proceedings.mlr.press/v202/santurkar23a.html
• Tao, Y., Viberg, O., Baker, R. S., & Kizilcec, R. F. (2024). Cultural bias and cultural alignment of large language models. PNAS Nexus, 3(9), pgae346. https://doi.org/10.1093/pnasnexus/pgae346

Une cible fixée par peu de personnes

Corriger les biais d’un modèle suppose une cible : une décision sur les réponses qui sont biaisées et celles qui sont acceptables (see also the Correcting bias page) (voir aussi la page Corriger les biais). Cette décision n’a pas de version neutre, et les personnes qui la prennent sont peu nombreuses (Figure 15figure 15).

• Le développeur rédige les lignes directrices qu’un modèle est entraîné à suivre, et certains développeurs les publient (see also the Model specifications: deciding how a chatbot behaves page, in the LLM lifecycle module) (voir aussi la page Les spécifications de modèle : décider du comportement d'un agent conversationnel, dans le module Cycle de vie des GML).
• Les annotateurs qui comparent et évaluent les réponses pendant l’affinage fine-tuningaffinage machine learningapprentissage automatique Further training of a pretrained model on new data to adapt it for a particular task, domain, or intended behaviour.Poursuite de l'entraînement d'un modèle préentraîné sur un jeu de données généralement plus restreint et spécialisé, afin de l'adapter à une tâche ou à un domaine particulier. appliquent ces lignes directrices avec leur propre jugement. Ouyang et al. (2022) écrivent que leur méthode aligne un modèle « to the stated preferences of a specific group of people (mostly our labelers and researchers), rather than any broader notion of ‘human values’ » [ma traduction : « sur les préférences déclarées d’un groupe particulier de personnes (surtout nos annotateurs et nos chercheurs), plutôt que sur une notion plus large de “valeurs humaines” »], et que leurs annotateurs étaient « primarily English-speaking » [ma traduction : « principalement anglophones »].

Une cible fixée de cette façon reflète les décisions des personnes qui la fixent. Ces décisions ne correspondent pas forcément aux valeurs de la culture dont elles viennent, encore moins à celles des autres.

Les décisions se voient dans les modèles. Santurkar et al. (2023) ont comparé les opinions de modèles de langue language model (LM)modèle de langue language modelsmodèles de langue A machine-learning model that estimates how likely different sequences of language are.Modèle d'apprentissage automatique qui estime la probabilité de différentes séquences de langue. à celles de 60 groupes démographiques dans des sondages d’opinion américains. Les modèles d’OpenAI affinés sur des rétroactions humaines se rapprochaient le plus des personnes « liberal, high income, well-educated » [ma traduction : « libérales, à revenu élevé, très instruites »], ce qui, notent les auteurs, correspond au profil démographique des personnes qui avaient fourni ces rétroactions.text-davinci-002 et text-davinci-003, des modèles de 2022, comparés sur des questions d’enquête portant sur les États-Unis.

On observe une tendance semblable d’un pays à l’autre : les réponses des modèles d’OpenAI ressemblent aux valeurs culturelles des pays anglophones et des pays protestants d’Europe (Tao et al., 2024) (see also the Cultural defaults page) (voir aussi la page Les choix culturels par défaut).

Ce que vous pouvez faire

Les formes les plus visibles de biais sont devenues plus difficiles à trouver : les agents conversationnels actuels réussissent les tests de biais explicites. Ce qui reste se trouve dans leurs choix par défaut, et ces choix peuvent être orientés et vérifiés :

• Précisez le public et la culture pour lesquels vous écrivez. Cela rapproche les réponses de cette culture dans la plupart des cas, mais pas dans tous (see also the Steering toward a culture page) (voir aussi la page Orienter les réponses vers une culture).
• Comparez les réponses d’un groupe à l’autre. Poser la même question à propos de deux groupes, ou avec deux prénoms, révèle des différences qu’une réponse isolée masque.
• Gardez votre propre jugement pour les décisions qui concernent des personnes. Noter des CV et choisir entre des candidats font partie des tâches sur lesquelles des études de ce chapitre ont trouvé des biais.

Sources

• Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C., Mishkin, P., et al. (2022). Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems 35 (NeurIPS 2022). https://proceedings.neurips.cc/paper_files/paper/2022/hash/b1efde53be364a73914f58805a001731-Abstract-Conference.html
• Santurkar, S., Durmus, E., Ladhak, F., Lee, C., Liang, P., & Hashimoto, T. (2023). Whose Opinions Do Language Models Reflect?. Proceedings of the 40th International Conference on Machine Learning, PMLR 202, 29971–30004. https://proceedings.mlr.press/v202/santurkar23a.html
• Tao, Y., Viberg, O., Baker, R. S., & Kizilcec, R. F. (2024). Cultural bias and cultural alignment of large language models. PNAS Nexus, 3(9), pgae346. https://doi.org/10.1093/pnasnexus/pgae346