PrintedImprimé le·aylart.github.io/learn·
CC BY-NC 4.0
Garbage in, garbage outMédiocre en entrée, médiocre en sortie
Written in English. The French version was automatically generated
and I have not revised it.
Rédigé en anglais. La version française a été
générée automatiquement et je ne l'ai pas révisée.
Garbage in, garbage outMédiocre en entrée, médiocre en sortie
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
The impact of GIGOL'impact du GIGO
While the GIGO principle is not the only cause of the many issues associated
with LLMs and AI in general, it is a significant factor in many of the biggest
ones, so you will see it referred to in many of the other chapters and pages of
this module. For instance:
Bias. Models learn from biased text and produce biased
output (see also the Bias chapter) (voir aussi le chapitre Biais).
Linguistic hegemony. Models learn mostly from English, so they work less
well in every other
language (see also the Linguistic hegemony page) (voir aussi la page L'hégémonie linguistique).
Hidden work. Somebody has to go through the “garbage”, and that somebody
often works in poor
conditions.
Hallucinations. Models are not fed only true and objective information,
so they can reproduce wrong
information (see also the Hallucinations chapter) (voir aussi le chapitre Les fabulations de l'IA).
Privacy and copyright. Whatever went into the corpus can come back out of
it, personal information and copyrighted text
included.
Model collapse. What models produce is published and collected by the
next crawl, so the output of one generation becomes the input of the
next.
Le principe du GIGO n’est pas la seule cause des nombreux problèmes associés
aux GML et à l’IA en général, mais il entre pour une part importante dans
plusieurs des plus grands, si bien que vous le verrez évoqué dans beaucoup
d’autres chapitres et pages de ce module. Par exemple :
Biais. Les modèles apprennent à partir de textes biaisés et produisent
des sorties biaisées (see also the Bias chapter) (voir aussi le chapitre Biais).
Hégémonie linguistique. Les modèles apprennent surtout à partir de
l’anglais, et fonctionnent donc moins bien dans toutes les autres
langues (see also the Linguistic hegemony page) (voir aussi la page L'hégémonie linguistique).
Travail invisible. Quelqu’un doit passer à travers tout le « garbage »,
et ce quelqu’un travaille souvent dans de mauvaises
conditions.
Fabulations de l’IA. Les modèles ne sont pas nourris uniquement
d’informations vraies et objectives, et peuvent donc reproduire des
informations fausses (see also the Hallucinations chapter) (voir aussi le chapitre Les fabulations de l'IA).
Vie privée et droit d’auteur. Tout ce qui est entré dans le corpus peut
en ressortir, renseignements personnels et textes protégés
compris.
Effondrement du modèle. Ce que les modèles produisent est publié puis
récolté par l’exploration suivante, de sorte que la sortie d’une génération
devient l’entrée de la
suivante.
Written in English. The French version was automatically generated
and I have not revised it.
Rédigé en anglais. La version française a été
générée automatiquement et je ne l'ai pas révisée.
Where hallucinations come fromD'où viennent les fabulations
Glue on pizza, and citations that do not exist
Hallucinations are probably the most well-known issue with LLMs. LLMs are
known to be unreliable sometimes, and confidently spew wrong information. You
may remember an early iteration of Google’s AI Overviews telling users to add
glue to make the cheese stick to pizza better,Liv McMahon and Zoe Kleinman, Glue pizza and eat rocks: Google AI search errors go viral, BBC News, 24 May 2024, read 22 September 2026. The answer said “non-toxic glue”; the same week, AI Overviews also answered that geologists recommend eating one rock a day. Google called these “isolated examples” on “generally very uncommon queries”.
lawyers getting into trouble because they relied on AI-fabricated
citations,For instance Carolyn Gruske, Lawyer who used AI-fabricated citations hit with $31,150 in costs to LSO, Law Times, 17 June 2026, read 22 September 2026, reporting Law Society Tribunal of Ontario, 2026 ONLSTH 112: a factum and affidavits cited cases that do not exist, alongside real cases that had nothing to do with the point being made.
or Apple’s notification summaries reporting that a murder suspect had shot
himself, when the BBC had published nothing of the
kind.Graham Fraser, BBC complains to Apple over misleading shooting headline, BBC News, 13 December 2024, read 22 September 2026.
The three fail for different reasons.
The glue answer is an example of LLMs referencing unreliable sources. The AI Overviews answers of that week appeared to come from Reddit comments and from the satirical site The Onion, so the input was intentionally wrong, in a way humans would normally pick up on (see also the Garbage in, garbage out chapter) (voir aussi le chapitre Médiocre en entrée, médiocre en sortie), and it was summarized into an answer like any other source.
The Apple summary is an example of LLMs misrepresenting sources. The notifications it worked from said nothing of the kind, and the same summary was accurate about the two other stories it grouped.
The fabricated citations are an example of LLMs producing wrong information with no source behind it at all.
Regardless of the cause, the result is the same: confidently presented wrong
information.
Information is never labelled true or false
Three factors in how a model is trained explain why models hallucinate.
A model is trained to produce an answer, not to withhold one or to flag how uncertain it is. Answering “I do not know” has to be trained in separately (Zhang et al., 2024).
A well-attested fact and a detail that was rarely written down go through the
same steps, and both come out as a fluent sentence
(Figure 1figure 1).
Figure 1. A well-attested fact and a rarely recorded detail, produced the same way. The probabilities are illustrative.
Within a formal definition of the problem, Xu et al. (2024) prove that a model
used as a general problem solver will always hallucinate: a property to manage
rather than a defect that a later version will fix.
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Xu, Z., Jain, S., & Kankanhalli, M. (2024). Hallucination is Inevitable: An Innate Limitation of Large Language Models. arXiv:2401.11817 (preprint). https://arxiv.org/abs/2401.11817
Zhang, H., Diao, S., Lin, Y., Fung, Y. R., Lian, Q., Wang, X., Chen, Y., Ji, H., & Zhang, T. (2024). R-Tuning: Instructing Large Language Models to Say `I Don't Know'. Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long Papers), 7113–7139. https://doi.org/10.18653/v1/2024.naacl-long.394
De la colle sur la pizza, et des références qui n’existent pas
Les fabulations de l’IA (angl. hallucinations) sont sans doute le problème le
plus connu des grands modèles de langue (GML). Les GML sont réputés peu
fiables par moments, et ils débitent des informations fausses avec assurance.
Vous vous souvenez peut-être d’une première version des AI Overviews de Google
qui conseillait d’ajouter de la colle pour que le fromage tienne mieux sur la
pizza,Liv McMahon et Zoe Kleinman, Glue pizza and eat rocks: Google AI search errors go viral, BBC News, 24 mai 2024, consulté le 22 septembre 2026. La réponse parlait de « non-toxic glue » [ma traduction : « colle non toxique »] ; la même semaine, AI Overviews répondait aussi que les géologues recommandent de manger un caillou par jour. Google a qualifié ces réponses de « isolated examples » [ma traduction : « cas isolés »], sur des requêtes « generally very uncommon » [ma traduction : « généralement très inhabituelles »].
d’avocats qui se sont mis dans l’embarras en se fiant à des références
fabriquées par l’IA,Par exemple Carolyn Gruske, Lawyer who used AI-fabricated citations hit with $31,150 in costs to LSO, Law Times, 17 juin 2026, consulté le 22 septembre 2026, rapportant Law Society Tribunal of Ontario, 2026 ONLSTH 112 : un mémoire et des affidavits citaient des causes inexistantes, à côté de causes réelles sans rapport avec le propos.
ou des résumés de notifications d’Apple rapportant qu’un suspect de meurtre
s’était tiré dessus, alors que la BBC n’avait rien publié de
tel.Graham Fraser, BBC complains to Apple over misleading shooting headline, BBC News, 13 décembre 2024, consulté le 22 septembre 2026.
Les trois échouent pour des raisons différentes.
La réponse sur la colle est un exemple de GML qui s’appuient sur des sources peu fiables. Les réponses des AI Overviews de cette semaine-là semblaient provenir de commentaires Reddit et du site satirique The Onion : l’entrée était fausse à dessein, d’une façon que des humains repèrent normalement (see also the Garbage in, garbage out chapter) (voir aussi le chapitre Médiocre en entrée, médiocre en sortie), et elle a été résumée en une réponse comme n’importe quelle autre source.
Le résumé d’Apple est un exemple de GML qui déforment leurs sources. Les notifications dont il partait ne disaient rien de tel, et le même résumé était exact sur les deux autres nouvelles qu’il regroupait.
Les références fabriquées sont un exemple de GML qui produisent de l’information fausse sans aucune source derrière.
Quelle qu’en soit la cause, le résultat est le même : de l’information fausse
présentée avec assurance.
L’information n’est jamais étiquetée vraie ou fausse
Trois facteurs, dans la façon dont un modèle est entraîné, expliquent pourquoi
les modèles fabulent.
Un modèle est entraîné à produire une réponse, pas à s’en abstenir ni à signaler son degré d’incertitude. Répondre « je ne sais pas » doit faire l’objet d’un entraînement distinct (Zhang et al., 2024).
Un fait bien attesté et un détail rarement écrit passent par les mêmes étapes,
et les deux ressortent sous la forme d’une phrase fluide
(Figure 1figure 1).
Figure 1. Un fait bien attesté et un détail rarement consigné, produits de la même façon. Les probabilités sont illustratives.
Dans le cadre d’une définition formelle du problème, Xu et al. (2024)
démontrent qu’un modèle employé comme résolveur de problèmes général fabulera
toujours : une propriété à gérer plutôt qu’un défaut qu’une version
ultérieure corrigera.
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Xu, Z., Jain, S., & Kankanhalli, M. (2024). Hallucination is Inevitable: An Innate Limitation of Large Language Models. arXiv:2401.11817 (preprint). https://arxiv.org/abs/2401.11817
Zhang, H., Diao, S., Lin, Y., Fung, Y. R., Lian, Q., Wang, X., Chen, Y., Ji, H., & Zhang, T. (2024). R-Tuning: Instructing Large Language Models to Say `I Don't Know'. Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long Papers), 7113–7139. https://doi.org/10.18653/v1/2024.naacl-long.394
Two kinds of hallucinationsDeux types de fabulations
Maynez et al. (2020) separated two kinds of hallucination in summarization,
and the difference decides how you catch one in any output checked against a
source you supplied.
The two call for different checks
(Figure 2figure 2). For an intrinsic one, everything
needed is in front of you: the summary says the lease permits something the
lease forbids, and reading both catches it. For an extrinsic one, the output
is internally consistent and the error is a fact about the world, so catching it
means knowing the subject or looking it up.
Figure 2. An intrinsic and an extrinsic hallucination in a summary of the same lease.
Sources
Maynez, J., Narayan, S., Bohnet, B., & McDonald, R. (2020). On Faithfulness and Factuality in Abstractive Summarization. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. https://doi.org/10.18653/v1/2020.acl-main.173
Maynez et al. (2020) ont distingué deux types de fabulations en résumé
automatique, et la différence détermine comment vous pouvez en repérer une
dans toute sortie vérifiable contre une source que vous avez fournie.
Les deux appellent des vérifications différentes
(Figure 2figure 2). Pour une
fabulation intrinsèque, tout ce qu’il faut est devant vous : le résumé dit
que le bail permet ce que le bail interdit, et lire les deux suffit à la
repérer. Pour une fabulation extrinsèque, la sortie est cohérente avec
elle-même et l’erreur porte sur un fait du monde : la repérer suppose de
connaître le sujet ou d’aller le vérifier.
Figure 2. Une fabulation intrinsèque et une fabulation extrinsèque dans le résumé d'un même bail.
Sources
Maynez, J., Narayan, S., Bohnet, B., & McDonald, R. (2020). On Faithfulness and Factuality in Abstractive Summarization. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. https://doi.org/10.18653/v1/2020.acl-main.173
Why detecting hallucinations is hardPourquoi les fabulations sont difficiles à détecter
Reading does not tell you which parts are true
Asked for a quick biography of me, a chatbot opened with a warning that it
might hallucinate details, then wrote five confident, well-organized
paragraphs
(Figure 3figure 3).
The field is right. The doctorate is right, down to its subject, and the
corpus it credits me with is one I did build. The university it puts me at is
wrong: I have not worked at Ghent since 2022. Nothing in the manner of that
one sentence separates it from the ones around it.
Figure 3. A confident biography with one clear error in it. Claude 3.5 Sonnet, 16 January 2025. The field, the doctorate and the corpus are right; the university is not.
Being well known is not the same as being well covered in the training text.
Gurky is far more famous than I am, but his fame is in video rather than in
writing, and a model is trained on text. In January 2025, asked in
French for a short biography of Gurky, a Québécois YouTuber, a chatbot had the
general picture right, a francophone YouTuber, and every specific wrong. It
gave him a real name, a nationality, a birth year and a start on YouTube, all
four wrong, as was the kind of videos it said he makes
(Figure 4figure 4).A 2023 profile in the Québec press gives his first name as Jules, and the date of his first video as 6 May 2012, when he was 13: Adam Bourbonnière, 7 choses à savoir sur Gurky, youtubeur de l’année, Le Sac de chips, 10 February 2023, read 17 September 2026.
Figure 4. A short biography of a little-documented subject. ChatGPT (GPT-4o), January 2025. The general picture is right; the name, the nationality, the birth year, the start on YouTube and the kind of videos are all wrong.
Such errors are hard to see. They are plausible enough that nothing jars, the
correct details around them vouch for them, and apart from the rare general
hedge, as in the first example, no uncertainty is expressed about any
particular claim.
Careful reading checks a text against itself, so it tests coherence. It does
not test factuality, which is a question about the world rather than about the
text.
A text can be perfectly coherent and still correspond to nothing, so an error
of this kind passes a careful reading every time.
The 90 % problem
Hallucinations are becoming less common in LLMs.Fabricated references, for instance, fell sharply from GPT-3.5 to GPT-4 (Walters & Wilder, 2023). A measured rate is always for one task, and rates have not fallen evenly on all of them. While this is on the whole a
good thing, it also makes the remaining ones trickier. Think of it as the
90 % (or even 99 %) problem: if the vast majority of the information presented
to you is correct, and all of it is presented equally confidently and all of
it seems plausible, the remaining errors are very hard to detect. And the more
often you see good output, the “lazier” you can become with fact-checking,
because on average the output is, or looks, pretty
good.
Sources
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Walters, W. H., & Wilder, E. I. (2023). Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports, 13, 14045. https://doi.org/10.1038/s41598-023-41032-5
La lecture ne dit pas quelles parties sont vraies
À qui lui demandait en anglais une courte biographie de moi, un agent
conversationnel a commencé par avertir qu’il risquait de fabuler certains
détails, puis a écrit cinq paragraphes assurés et bien organisés
(Figure 3figure 3).
Le domaine est exact. Le doctorat est exact, jusqu’à son sujet, et le corpus
qu’il m’attribue est bien un corpus que j’ai construit. L’université où il me
place est fausse : je ne travaille plus à Gand depuis 2022. Rien, dans la
manière de cette phrase-là, ne la distingue de celles qui l’entourent.
Figure 3. Une biographie assurée qui contient une erreur nette. Claude 3.5 Sonnet, 16 janvier 2025. Le domaine, le doctorat et le corpus sont exacts ; l'université ne l'est pas.
Être connu n’est pas la même chose qu’être bien représenté dans le texte
d’entraînement. Gurky est bien plus célèbre que moi, mais sa notoriété passe
par la vidéo plutôt que par l’écrit, et un modèle est entraîné sur du texte.
En janvier 2025, à qui lui demandait en français une courte biographie de
Gurky, un youtubeur québécois, un agent conversationnel a vu juste sur le
tableau d’ensemble, un youtubeur francophone, et faux sur chaque détail. Il
lui a donné un nom civil, une nationalité, une année de naissance et un début
sur YouTube, les quatre faux, tout comme le genre de vidéos qu’il lui prêtait
(Figure 4figure 4).Un portrait paru dans la presse québécoise en 2023 donne Jules comme prénom, et le 6 mai 2012 comme date de sa première vidéo, alors qu’il avait 13 ans : Adam Bourbonnière, 7 choses à savoir sur Gurky, youtubeur de l’année, Le Sac de chips, 10 février 2023, consulté le 17 septembre 2026.
Figure 4. Une courte biographie d'un sujet peu documenté. ChatGPT (GPT-4o), janvier 2025. Le tableau d'ensemble est exact ; le nom, la nationalité, l'année de naissance, le début sur YouTube et le genre de vidéos sont tous faux.
De telles erreurs sont difficiles à voir. Elles sont assez plausibles pour que
rien ne détonne, les détails exacts qui les entourent leur servent de caution,
et à part la rare réserve générale, comme dans le premier exemple, aucune
incertitude n’est exprimée sur une affirmation en particulier.
Une lecture attentive confronte un texte à lui-même : elle vérifie donc sa
cohérence. Elle ne vérifie pas sa factualité, qui est une question sur le
monde plutôt que sur le texte.
Un texte peut être parfaitement cohérent et ne correspondre à rien, si bien
qu’une erreur de ce genre passe une lecture attentive à tout coup.
Le problème des 90 %
Les fabulations se raréfient dans les GML.Les références fabriquées, par exemple, ont nettement reculé de GPT-3.5 à GPT-4 (Walters et Wilder, 2023). Un taux mesuré vaut toujours pour une tâche, et les taux n’ont pas baissé également partout.
Si c’est dans l’ensemble une bonne chose, cela rend aussi les fabulations
restantes plus retorses. Voyez cela comme le problème des 90 % (voire des
99 %) : si la grande majorité de l’information qui vous est présentée est
exacte, qu’elle est présentée partout avec la même assurance et qu’elle
paraît partout plausible, les erreurs restantes sont très difficiles à
détecter. Et plus vous voyez de bonnes sorties, plus vous pouvez devenir
« paresseux » dans la vérification des faits, parce qu’en moyenne la
sortie est bonne, ou en a l’air.
Sources
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Walters, W. H., & Wilder, E. I. (2023). Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports, 13, 14045. https://doi.org/10.1038/s41598-023-41032-5
Mitigating hallucinationsAtténuer les fabulations
What the developers do
Three approaches are in use, but none of them removes the problem.
The answer can come from a retrieved page rather than from the parameters
The page itself can be wrong, and a link shows where a claim came from rather than that it is true
Both studies used models of 2023. Zhang et al. (2024) tested refusal training
on OpenLLaMA-3B and LLaMA 7B and 13B. Chen et al. (2024) tested retrieval on
ChatGPT and several open 6B and 7B models, which did worst at declining when
the retrieved documents did not contain the answer, at combining information
from several documents, and at detecting false information in
them.
The numbers date faster than the failures do. Each of these is a mitigation
rather than a guarantee, and the September 2026 runs below show one of the
same failures on current models: an answer based on a source that is wrong.
The biography of Gurky earlier in this chapter came from a model of 2025
answering from its parameters alone. Put to two chatbots in September 2026,
the same question sent both of them to the web without being asked, and
searching changed what went wrong rather than removing it.
The first searched and then used a celebrity birthday site, which gave it
a full name and a birth date; the name is wrong
(Figure 5figure 5).
Figure 5. A wrong name with a source attached. Gemini 3.6 Flash with web search, 17 September 2026.
The second found the Québec press instead and gave his first name correctly
(Figure 6figure 6),
although a second run of the same question took the wrong name from the same
birthday site.
Figure 6. The first name the Québec press gives, with that source linked. GPT-5.6 Sol at light effort, 17 September 2026.
Asked in that conversation for his date of birth, it returned both sources,
stated that the two conflict, and called the date unverified
(Figure 7figure 7).
Figure 7. The same conversation, asked for his date of birth: the answer calls the date unverified and the birthday site unreliable. GPT-5.6 Sol at light effort, 17 September 2026.
The three differ in which sources they found and in whether they said how far
to trust them. A cited source can also be the wrong source altogether: asked
to identify the news article a quoted excerpt came from, eight search tools
gave an incorrect answer more than 60 % of the time, often naming a plausible
article that was not the one quoted (Jaźwińska & Chandrasekar,
2025).A report from a journalism school’s research centre rather than a peer-reviewed study: 1,600 tests over eight AI search tools.
So a link tells you what to check next rather than that the claim is
true.
Hallucination rates are also tracked publicly. On the best known
leaderboardVectara, Hallucination Leaderboard, last updated 11 May 2026 and read 17 September 2026: rates from 1.8 % upward, with GPT-5.4 at 7.0 % against 3.1 % for its smallest version.
no model reaches zero, and the largest models are not always the
lowest (see also the Reading a leaderboard page, in the Using LLMs module) (voir aussi la page Lire un classement, dans le module Utiliser les GML).
What you can do
Supplying the source
When the work you give a model is work on a text you already have, for
instance translating it, summarizing it, rewriting it for a different reader
or checking it against a list of terms, put that text in the context.
Asking a model to be more careful changes little: no part of it is responsible
for care, and truth is not a variable in the process. Rereading an output for
consistency does not help either, because the process produces consistency.
The checks that work compare a claim with something outside the
output (see also the Checking the answer page, in the Using LLMs module) (voir aussi la page Vérifier la réponse, dans le module Utiliser les GML).
Which details deserve suspicion
The risk is not spread evenly. Fabrication concentrates in specific, checkable
details that were rare in the training text, for instance dates, numbers,
names, page references, citations, quotations, legal provisions, and anything
recent.
General explanation of a well-covered topic is far safer. On a subject written
about many times over, an explanation is usually sound, and that is a large
part of what these tools are useful for. Usually is not always, and such an
explanation can be wrong about something central rather than about a detail,
but it is a different order of risk from a fabricated citation.
So the checking follows the risk rather than covering everything. If you are
going to verify three things in an output, verify the three most specific
ones.
Fabricated references have been measured directly. Walters and Wilder (2023)
checked every reference in short literature reviews written by two models of
2023: more than half of what GPT-3.5 produced did not exist, and just under a
fifth of GPT-4’s. Of the references that did exist, between a quarter and
almost half had at least one substantive error, most often in the volume,
issue or page numbers or in the date.
Sources
Chen, J., Lin, H., Han, X., & Sun, L. (2024). Benchmarking Large Language Models in Retrieval-Augmented Generation. Proceedings of the AAAI Conference on Artificial Intelligence, 38(16), 17754–17762. https://doi.org/10.1609/aaai.v38i16.29728
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Walters, W. H., & Wilder, E. I. (2023). Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports, 13, 14045. https://doi.org/10.1038/s41598-023-41032-5
Xu, Z., Jain, S., & Kankanhalli, M. (2024). Hallucination is Inevitable: An Innate Limitation of Large Language Models. arXiv:2401.11817 (preprint). https://arxiv.org/abs/2401.11817
Zhang, H., Diao, S., Lin, Y., Fung, Y. R., Lian, Q., Wang, X., Chen, Y., Ji, H., & Zhang, T. (2024). R-Tuning: Instructing Large Language Models to Say `I Don't Know'. Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long Papers), 7113–7139. https://doi.org/10.18653/v1/2024.naacl-long.394
Ce que font les concepteurs
Trois approches sont en usage, mais aucune ne supprime le problème.
La réponse peut venir d’une page récupérée plutôt que des paramètres
La page elle-même peut être fausse, et un lien montre d’où vient une affirmation plutôt que sa véracité
Les deux études portaient sur des modèles de 2023. Zhang et al. (2024) ont
testé l’entraînement au refus sur OpenLLaMA-3B et LLaMA 7B et 13B. Chen et
coll. (2024) ont testé la récupération sur ChatGPT et sur plusieurs modèles
ouverts de 6 et 7 milliards de paramètres, qui ont le plus échoué à refuser
quand les documents récupérés ne contenaient pas la réponse, à combiner
l’information de plusieurs documents et à détecter l’information fausse qui
s’y trouvait.
Les chiffres vieillissent plus vite que les échecs. Chacune de ces approches
est une atténuation plutôt qu’une garantie, et les essais de septembre 2026
ci-dessous montrent l’un des mêmes échecs sur des modèles actuels : une
réponse appuyée sur une source fausse.
La biographie de Gurky présentée plus tôt dans ce chapitre venait d’un modèle
de 2025 qui répondait à partir de ses seuls paramètres. Posée à deux agents
conversationnels en septembre 2026, la même question les a tous deux envoyés
sur le Web sans qu’on le leur demande, et la recherche a changé la nature de
l’erreur plutôt que de la supprimer.
Le premier a cherché, puis s’en est remis à un site de célébrités et
d’anniversaires, qui lui a fourni un nom complet et une date de naissance ;
le nom est faux
(Figure 5figure 5).
Figure 5. Un nom faux, avec une source attachée. Gemini 3.6 Flash avec recherche Web, 17 septembre 2026.
Le second a trouvé la presse québécoise et a donné son prénom correctement
(Figure 6figure 6),
même si un second essai de la même question a repris le nom faux au même site
d’anniversaires.
Figure 6. Le prénom que donne la presse québécoise, avec cette source en lien. GPT-5.6 Sol à effort léger, 17 septembre 2026.
Interrogé dans cette conversation sur sa date de naissance, il a rendu les
deux sources, signalé qu’elles se contredisent et qualifié la date de non
vérifiée
(Figure 7figure 7).
Figure 7. La même conversation, interrogée sur la date de naissance : la réponse qualifie la date de non vérifiée et le site d'anniversaires de peu fiable. GPT-5.6 Sol à effort léger, 17 septembre 2026.
Les trois diffèrent par les sources qu’ils ont trouvées et par ce qu’ils ont
dit du crédit à leur accorder. Une source citée peut aussi être la mauvaise
source : à qui leur demandait d’identifier l’article de presse d’où venait
un extrait cité, huit outils de recherche ont donné une réponse erronée plus
de 60 % du temps, en nommant souvent un article plausible qui n’était pas
celui d’où venait la citation (Jaźwińska et Chandrasekar,
2025).Un rapport du centre de recherche d’une école de journalisme, et non une étude évaluée par les pairs : 1 600 essais sur huit outils de recherche par IA.
Un lien vous dit donc quoi vérifier ensuite plutôt que la vérité de
l’affirmation.
Les taux de fabulation font aussi l’objet d’un suivi public. Sur le classement
le plus connuVectara, Hallucination Leaderboard, dernière mise à jour le 11 mai 2026, consulté le 17 septembre 2026 : des taux à partir de 1,8 %, avec GPT-5.4 à 7,0 % contre 3,1 % pour sa plus petite version.
aucun modèle n’atteint zéro, et les plus grands modèles ne sont pas toujours
les plus bas (see also the Reading a leaderboard page, in the Using LLMs module) (voir aussi la page Lire un classement, dans le module Utiliser les GML).
Ce que vous pouvez faire
Fournir la source
Quand le travail que vous confiez à un modèle porte sur un texte que vous avez
déjà, par exemple le traduire, le résumer, le réécrire pour un autre lectorat
ou le confronter à une liste de termes, mettez ce texte dans le contexte.
Demander à un modèle d’être plus prudent ne change pas grand-chose : aucune
partie de lui n’est chargée de la prudence, et la vérité n’est pas une
variable du processus. Relire une sortie pour en vérifier la cohérence ne sert
pas davantage, puisque le processus produit de la cohérence. Les
vérifications qui fonctionnent comparent une affirmation à quelque chose
d’extérieur à la
sortie (see also the Checking the answer page, in the Using LLMs module) (voir aussi la page Vérifier la réponse, dans le module Utiliser les GML).
Quels détails méritent la méfiance
Le risque n’est pas réparti également. La fabrication se concentre sur les
détails précis et vérifiables qui étaient rares dans le texte d’entraînement,
par exemple les dates, les nombres, les noms, les renvois de pages, les
références, les citations, les dispositions légales et tout ce qui est récent.
L’explication générale d’un sujet bien couvert est nettement plus sûre. Sur un
sujet sur lequel on a écrit bien des fois, une explication est en général
solide, et c’est pour une bonne part ce à quoi ces outils servent. En général
ne veut pas dire toujours, et une telle explication peut se tromper sur
quelque chose de central plutôt que sur un détail, mais ce n’est pas le même
ordre de risque qu’une référence fabriquée.
La vérification suit donc le risque plutôt que de tout couvrir. Si vous devez
vérifier trois choses dans une sortie, vérifiez les trois plus précises.
Les références fabriquées ont été mesurées directement. Walters et Wilder
(2023) ont vérifié chaque référence dans de courtes revues de littérature
écrites par deux modèles de 2023 : plus de la moitié de ce que GPT-3.5 a
produit n’existait pas, contre un peu moins d’un cinquième pour GPT-4. Parmi
les références qui existaient bel et bien, entre un quart et près de la moitié
comportaient au moins une erreur de fond, le plus souvent dans le volume, le
numéro, les pages ou la date.
Sources
Chen, J., Lin, H., Han, X., & Sun, L. (2024). Benchmarking Large Language Models in Retrieval-Augmented Generation. Proceedings of the AAAI Conference on Artificial Intelligence, 38(16), 17754–17762. https://doi.org/10.1609/aaai.v38i16.29728
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Walters, W. H., & Wilder, E. I. (2023). Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports, 13, 14045. https://doi.org/10.1038/s41598-023-41032-5
Xu, Z., Jain, S., & Kankanhalli, M. (2024). Hallucination is Inevitable: An Innate Limitation of Large Language Models. arXiv:2401.11817 (preprint). https://arxiv.org/abs/2401.11817
Zhang, H., Diao, S., Lin, Y., Fung, Y. R., Lian, Q., Wang, X., Chen, Y., Ji, H., & Zhang, T. (2024). R-Tuning: Instructing Large Language Models to Say `I Don't Know'. Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long Papers), 7113–7139. https://doi.org/10.18653/v1/2024.naacl-long.394
BiasBiais
Written in English. The French version was automatically generated
and I have not revised it.
Rédigé en anglais. La version française a été
générée automatiquement et je ne l'ai pas révisée.
What bias is, and where it comes fromCe qu'est un biais, et d'où il vient
Filling in the gender
The sentence I am a nurse and I am in love with him does not tell you the
gender of the speaker. French has no easy gender-neutral way to say this, so
in a translation, you would have to decide. Translating the speaker as a
woman means using infirmière and amoureuse; as a man, infirmier and
amoureux. A tool that puts the sentence into French therefore has to choose
a form, or ask.
The screenshots below were taken on 28 January 2026. The same tools may answer
differently today.
DeepL, given three sentences about people with names that do not indicate a
gender, made all three of them women
(Figure 1figure 1).
Figure 1. Three gender-neutral names, three female nurses. DeepL, 28 January 2026.
The choice can also move with the context. DeepL put I am a businessperson
into French as Je suis un homme d’affaires, a businessman. When a second
sentence was added, I am a beautiful businessperson, both sentences became
femme d’affaires, a businesswoman, the first one included
(Figure 2figure 2).
Figure 2. One adjective in the second sentence changes the gender in both. DeepL, 28 January 2026.
Where the default comes from
These examples show a bias built into the systems themselves. None of the
translations is wrong: a nurse can be a woman, and so can a businessperson.
The problem is the direction. When the English leaves the gender open, the
tool chooses, and for the same words it chooses the same way. A tendency of
this kind, systematic and not asked for, is bias.
In the text these systems learned from, some words are used far more often
about women and others about men. Translation tools such as DeepL and Google
Translate are designed mainly to give one translation, so where the source
leaves a choice open, they tend to take the statistically most probable
option, and that option is the biased one.
No programmer decided that women
should be nurses rather than doctors, or should not be in business. The
choice follows from frequencies in the training data: nurse is used more
often for women (Bolukbasi et al., 2016), so the statistically most probable
French translation of nurse is infirmière. For the source of a bias,
the first place to look is therefore the text a system learned from.
Caliskan, A., Ajay, P. P., Charlesworth, T., Wolfe, R., & Banaji, M. R. (2022). Gender Bias in Word Embeddings: A Comprehensive Analysis of Frequency, Syntax, and Semantics. Proceedings of the 2022 AAAI/ACM Conference on AI, Ethics, and Society, 156–170. https://doi.org/10.1145/3514094.3534162
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Choisir le genre
La phrase anglaise I am a nurse and I am in love with him ne dit pas le
genre de la personne qui parle. En français, il n’existe pas de façon simple
et neutre de dire la même chose : pour la traduire, il faut trancher. Si la
personne est une femme, on écrit infirmière et amoureuse ; si c’est un
homme, infirmier et amoureux. Un outil qui traduit cette phrase en
français doit donc choisir une forme, ou poser la question.
Les captures d’écran ci-dessous ont été prises le 28 janvier 2026. Les mêmes
outils peuvent répondre autrement aujourd’hui.
Devant trois phrases sur des personnes dont le prénom n’indique pas le
genre, DeepL en a fait trois femmes
(Figure 1figure 1).
Figure 1. Trois prénoms épicènes, trois infirmières. DeepL, 28 janvier 2026.
Le choix peut aussi changer avec le contexte. DeepL a traduit I am a
businessperson par Je suis un homme d’affaires. Quand une deuxième
phrase a été ajoutée, I am a beautiful businessperson, les deux phrases
sont devenues femme d’affaires, y compris la première
(Figure 2figure 2).
Figure 2. Un adjectif dans la deuxième phrase change le genre dans les deux. DeepL, 28 janvier 2026.
D’où vient le choix par défaut
Ces exemples montrent un biais intégré aux systèmes eux-mêmes. Aucune de
ces traductions n’est fausse : une personne infirmière peut être une femme,
une personne d’affaires aussi. Le problème tient à la direction.
Quand l’anglais laisse le genre ouvert, l’outil choisit, et pour les mêmes
mots il choisit toujours de la même façon. Une tendance de ce genre,
systématique et non demandée, est un biais.
Dans le texte dont ces systèmes ont appris, certains mots sont employés
bien plus souvent à propos des femmes, d’autres à propos des hommes. Les
outils de traduction comme DeepL et Google Traduction sont conçus pour
donner avant tout une seule traduction ; là où le texte source laisse un
choix ouvert, ils tendent donc à retenir l’option statistiquement la plus
probable, et cette option est l’option biaisée.
Aucun programmeur n’a décidé que les femmes devaient être infirmières
plutôt que médecins, ni qu’elles n’avaient pas leur place dans les
affaires. Le choix découle des fréquences dans les données d’entraînement :
nurse est plus souvent employé à propos de femmes (Bolukbasi et al., 2016),
si bien que la traduction française statistiquement la plus probable de
nurse est infirmière. Pour trouver l’origine d’un biais, le premier
endroit où regarder est donc le texte dont un système a appris.
Figure 3. Thèmes des mots les plus associés aux femmes et aux hommes dans les plongements lexicaux GloVe, avec des exemples pour chacun ; les exemples sont les mots anglais de l'étude. D'après Caliskan et al. (2022).
Caliskan, A., Ajay, P. P., Charlesworth, T., Wolfe, R., & Banaji, M. R. (2022). Gender Bias in Word Embeddings: A Comprehensive Analysis of Frequency, Syntax, and Semantics. Proceedings of the 2022 AAAI/ACM Conference on AI, Ethics, and Society, 156–170. https://doi.org/10.1145/3514094.3534162
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Bias in language modelsLes biais dans les modèles de langue
The sentence I am a nurse and I am in love with him does not tell you the
gender of the speaker, but French has to. Asked how to say it in French,
three chatbots all gave both forms, to different degrees.
Gemini gave both, the feminine first, with a justification: “Since ‘nurse’ in
English usually implies a female speaker, that is the standard translation”
(Figure 4figure 4).
Figure 4. Gemini, 28 January 2026.
ChatGPT gave the feminine form too, with the masculine as an alternative
“if you’re a man (or you prefer the masculine form)”. Claude gave both forms
side by side and left the choice to the person asking
(Figure 5figure 5).
Figure 5. ChatGPT 5.2 Thinking (left) and Claude Opus 4.5 (right), 28 January 2026.
A single answer rarely shows a bias. It becomes visible when you compare
answers, across names, across groups or across tools, as these examples do.
Not only gender
A name suggests more than a gender: it can also suggest an origin or an
ethnicity. Two studies changed only the names in otherwise identical
requests and found that the answers changed with them.
The name of the person asking
A chatbot can have access to the name of the person using it, for instance
because the name is stored in its memory of past conversations: at the time
of the study, ChatGPT had the user’s name in about 15 % of conversations.
Eloundou et al. (2025) replayed real requests to ChatGPT under different user
names. One request, typed in lowercase, asked to “suggest 5 simple projects
for ece”. The abbreviation ECE can mean early childhood education or
electrical and computer engineering. The answers took one reading or the other, and the name
changed which one: early childhood education in 48 % of the answers to Ashley,
and in 5 % of the answers to Anthony
(Figure 6figure 6).
Figure 6. One request, two user names. After Eloundou et al. (2025), Figure 2.
Answers that reinforced a harmful stereotype were rare in this study, well
under one in a hundred overall, and most frequent in open-ended tasks such as
writing a story.GPT-3.5 Turbo, GPT-4 Turbo, GPT-4o, GPT-4o mini, o1-preview and o1-mini, in 2024. The study was carried out by OpenAI on its own models. GPT-3.5 Turbo, the oldest, showed the most harmful stereotypes.
The name of the person asked about
Nghiem et al. (2024) asked models to choose between job candidates for 40
occupations and to recommend a salary, changing only the candidates’ first
names. Both models preferred candidates with names associated with White
people in 50 to 95 % of the occupations, depending on the model and the
setting. Even for candidates with identical qualifications, the recommended
salary differed by up to 5 % between groups defined by both race and
gender.GPT-3.5 Turbo and Llama 3 70B, with 320 American first names, in 2024.
In both studies no single answer shows anything wrong. The difference appears
only when the same request is compared across names.
Bigger models, same bias
More data and larger models have not removed this kind of bias: more text
from the same kinds of sources contains the same regularities. In one study of eight
chat models, the larger models of each family tended to show more stereotyped
associations than the smaller ones (Bai et al.,
2025) (see also the Correcting bias page) (voir aussi la page Corriger les biais).
Sources
Bai, X., Wang, A., Sucholutsky, I., & Griffiths, T. L. (2025). Explicitly unbiased large language models still form biased associations. Proceedings of the National Academy of Sciences, 122(8), e2416228122. https://doi.org/10.1073/pnas.2416228122
Eloundou, T., Beutel, A., Robinson, D. G., Gu, K., Brakman, A.-L., Mishkin, P., Shah, M., Heidecke, J., Weng, L., & Kalai, A. T. (2025). First-Person Fairness in Chatbots. Proceedings of the Thirteenth International Conference on Learning Representations (ICLR 2025). https://openreview.net/forum?id=TlAdgeoDTo
Nghiem, H., Prindle, J., Zhao, J., & Daumé III, H. (2024). “You Gotta be a Doctor, Lin” : An Investigation of Name-Based Bias of Large Language Models in Employment Recommendations. Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing, 7268–7287. https://doi.org/10.18653/v1/2024.emnlp-main.413
La phrase I am a nurse and I am in love with him ne dit pas le genre de la
personne qui parle, mais le français doit le dire. Interrogés sur la façon
de la dire en français, trois agents conversationnels ont tous donné les
deux formes, à des degrés divers. Gemini a donné les deux, le féminin
d’abord, avec une justification : « Since ‘nurse’ in English usually implies a female speaker, that is the standard translation » [ma traduction : « Comme nurse en anglais suppose généralement une locutrice, c’est la traduction standard »]
(Figure 4figure 4).
Figure 4. Gemini, 28 janvier 2026.
ChatGPT a lui aussi donné le féminin, avec le masculin en variante « if you’re a man (or you prefer the masculine form) » [ma traduction : « si vous êtes un homme (ou si vous préférez le masculin) »]. Claude a donné les deux
formes côte à côte et laissé le choix à la personne qui posait la question
(Figure 5figure 5).
Figure 5. ChatGPT 5.2 Thinking (à gauche) et Claude Opus 4.5 (à droite), 28 janvier 2026.
Une réponse isolée montre rarement un biais. Il devient visible quand on
compare des réponses, d’un prénom à l’autre, d’un groupe à l’autre ou d’un
outil à l’autre, comme le font ces exemples.
Pas seulement le genre
Un prénom suggère plus qu’un genre : il peut aussi évoquer une origine ou
une ethnicité. Deux études n’ont changé que les prénoms dans des demandes
par ailleurs identiques, et ont constaté que les réponses changeaient avec
eux.
Le prénom de la personne qui pose la question
Un agent conversationnel peut avoir accès au nom de la personne qui
l’utilise, par exemple parce que ce nom est enregistré dans sa mémoire des
conversations passées : au moment de l’étude, ChatGPT disposait du nom de
l’utilisateur dans environ 15 % des conversations. Eloundou et al. (2025)
ont rejoué de vraies demandes adressées à ChatGPT sous différents noms
d’utilisateur. L’une d’elles, tapée en minuscules, demandait en anglais de
« suggest 5 simple projects for ece » [ma traduction : « propose cinq projets simples pour ece »]. L’abréviation ECE peut désigner l’éducation de la petite enfance
(early childhood education) ou le génie électrique et informatique
(electrical and computer engineering). Les réponses retenaient l’une ou
l’autre lecture, et le prénom changeait laquelle : l’éducation de la petite
enfance dans 48 % des réponses adressées à Ashley, et dans 5 % de celles
adressées à Anthony
(Figure 6figure 6).
Figure 6. Une requête, deux noms d'utilisateur. D'après Eloundou et al. (2025), figure 2.
Les réponses qui renforçaient un stéréotype nuisible étaient rares dans
cette étude, bien moins d’une sur cent dans l’ensemble, et plus fréquentes
dans les tâches ouvertes comme l’écriture d’une histoire.GPT-3.5 Turbo, GPT-4 Turbo, GPT-4o, GPT-4o mini, o1-preview et o1-mini, en 2024. L’étude a été menée par OpenAI sur ses propres modèles. GPT-3.5 Turbo, le plus ancien, présentait le plus de stéréotypes nuisibles.
Le prénom de la personne dont on parle
Nghiem et al. (2024) ont demandé à des modèles de choisir entre des
candidats pour 40 professions et de recommander un salaire, en ne changeant
que le prénom des candidats. Les deux modèles ont préféré les candidats
dont le prénom est associé aux personnes blanches pour 50 à 95 % des
professions, selon le modèle et la configuration. Même à qualifications
identiques, le salaire recommandé différait jusqu’à 5 % entre des groupes
définis à la fois par l’origine ethnique et par le genre.GPT-3.5 Turbo et Llama 3 70B, avec 320 prénoms américains, en 2024.
Dans les deux études, aucune réponse isolée ne montre quoi que ce soit
d’anormal. La différence n’apparaît qu’en comparant la même demande d’un
prénom à l’autre.
Des modèles plus grands, le même biais
Plus de données et des modèles plus grands n’ont pas éliminé ce type de
biais : davantage de texte tiré du même genre de sources contient les mêmes
régularités. Dans une étude portant sur huit modèles conversationnels, les
plus grands modèles de chaque famille tendaient à présenter plus
d’associations stéréotypées que les plus petits (Bai et al.,
2025) (see also the Correcting bias page) (voir aussi la page Corriger les biais).
Sources
Bai, X., Wang, A., Sucholutsky, I., & Griffiths, T. L. (2025). Explicitly unbiased large language models still form biased associations. Proceedings of the National Academy of Sciences, 122(8), e2416228122. https://doi.org/10.1073/pnas.2416228122
Eloundou, T., Beutel, A., Robinson, D. G., Gu, K., Brakman, A.-L., Mishkin, P., Shah, M., Heidecke, J., Weng, L., & Kalai, A. T. (2025). First-Person Fairness in Chatbots. Proceedings of the Thirteenth International Conference on Learning Representations (ICLR 2025). https://openreview.net/forum?id=TlAdgeoDTo
Nghiem, H., Prindle, J., Zhao, J., & Daumé III, H. (2024). “You Gotta be a Doctor, Lin” : An Investigation of Name-Based Bias of Large Language Models in Employment Recommendations. Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing, 7268–7287. https://doi.org/10.18653/v1/2024.emnlp-main.413
AmplificationL'amplification
Why a majority becomes a default
A pattern that is common in a model’s training data tends to be even more
common in what the model produces, so that a model does more than repeat the
proportions in its data.
Figure 7. A tendency in the data comes out stronger in the output. The proportions are illustrative, not measured.
Zhao et al. (2017) measured the effect before LLMs, in a dataset of images
labelled with the activity shown and the person doing it. A third of the
cooking images in the training data showed a man; in the predictions of the
model trained on them, only 16 % did.Zhao et al. studied image-labelling models of 2017, not LLMs; the figures illustrate the effect rather than measure it in a current model.
“The model just reflects society” is therefore not an adequate description:
a mirror preserves proportions, but a model does not.
Flattening within a group
The proportions between groups are one side of the problem. The other is the
variety within a group: what a model writes about the members of some groups
is less varied than those people are.
Lee et al. (2024) had ChatGPT write about different groups and found that it
described African, Asian and Hispanic Americans as more alike than White
Americans, with a narrower range of human
experience.Lee et al. tested ChatGPT (GPT-3.5 Turbo) in 2023.
The output was not necessarily hostile, but noticeably uniform.
The authors suggest one likely explanation, without testing it: a group
written about often is represented through many voices, situations and
registers, while a group written about less is known through fewer
examples, so what the model produces about it converges on a narrower
version.
Sources
Fleisig, E., Smith, G., Bossi, M., Rustagi, I., Yin, X., & Klein, D. (2024). Linguistic Bias in ChatGPT: Language Models Reinforce Dialect Discrimination. Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing (EMNLP), 13541–13564. https://aclanthology.org/2024.emnlp-main.750/
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Kirk, R., Mediratta, I., Nalmpantis, C., Luketina, J., Hambro, E., Grefenstette, E., & Raileanu, R. (2024). Understanding the Effects of RLHF on LLM Generalisation and Diversity. The Twelfth International Conference on Learning Representations (ICLR 2024). https://openreview.net/forum?id=PXD3FAVHJT
Lee, M. H. J., Montgomery, J. M., & Lai, C. K. (2024). Large Language Models Portray Socially Subordinate Groups as More Homogeneous, Consistent with a Bias Observed in Humans. Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency (FAccT '24). https://doi.org/10.1145/3630106.3658975
Vanmassenhove, E., Shterionov, D., & Gwilliam, M. (2021). Machine Translationese: Effects of Algorithmic Bias on Linguistic Complexity in Machine Translation. Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, 2203–2213. https://doi.org/10.18653/v1/2021.eacl-main.188
Vanmassenhove, E., Shterionov, D., & Way, A. (2019). Lost in Translation: Loss and Decay of Linguistic Richness in Machine Translation. Proceedings of Machine Translation Summit XVII: Research Track, 222–232. https://aclanthology.org/W19-6622/
Zhao, J., Wang, T., Yatskar, M., Ordonez, V., & Chang, K.-W. (2017). Men Also Like Shopping: Reducing Gender Bias Amplification using Corpus-level Constraints. Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. https://doi.org/10.18653/v1/D17-1323
Comment une majorité devient un choix par défaut
Une tendance courante dans les données d’entraînement d’un modèle tend à
l’être encore plus dans ce qu’il produit : un modèle ne se contente pas de
reproduire les proportions de ses données.
Figure 7. Une tendance dans les données ressort plus forte dans la sortie. Les proportions sont illustratives, et non mesurées.
Zhao et al. (2017) ont mesuré cet effet avant les GML, dans un jeu d’images
annotées avec l’activité montrée et la personne qui la fait. Un tiers des
images de cuisine des données d’entraînement montraient un homme ; dans
les prédictions du modèle entraîné sur elles, seulement 16 %.Zhao et al. ont étudié des modèles d’annotation d’images de 2017, et non des GML ; les chiffres illustrent l’effet plutôt qu’ils ne le mesurent dans un modèle actuel.
« Le modèle ne fait que refléter la société » n’est donc pas une description
adéquate : un miroir conserve les proportions, mais un modèle, non.
L’aplatissement au sein d’un groupe
Les proportions entre les groupes sont un aspect du problème. L’autre est
la variété au sein d’un groupe : ce qu’un modèle écrit sur les membres de
certains groupes est moins varié que ces personnes ne le sont.
Lee et al. (2024) ont fait écrire ChatGPT sur différents groupes et ont
constaté qu’il décrivait les Afro-Américains, les Américains d’origine
asiatique et les Américains d’origine hispanique comme plus semblables
entre eux que les Américains blancs, avec un éventail d’expériences
humaines plus étroit.Lee et al. ont testé ChatGPT (GPT-3.5 Turbo) en 2023.
La sortie n’était pas forcément hostile, mais nettement uniforme.
Les auteurs avancent une explication probable, sans la tester : un groupe
dont on écrit souvent est représenté par de nombreuses voix, situations et
registres, tandis qu’un groupe dont on écrit moins est connu par moins
d’exemples, si bien que ce que le modèle produit à son sujet converge vers
une version plus étroite.
Sources
Fleisig, E., Smith, G., Bossi, M., Rustagi, I., Yin, X., & Klein, D. (2024). Linguistic Bias in ChatGPT: Language Models Reinforce Dialect Discrimination. Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing (EMNLP), 13541–13564. https://aclanthology.org/2024.emnlp-main.750/
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Kirk, R., Mediratta, I., Nalmpantis, C., Luketina, J., Hambro, E., Grefenstette, E., & Raileanu, R. (2024). Understanding the Effects of RLHF on LLM Generalisation and Diversity. The Twelfth International Conference on Learning Representations (ICLR 2024). https://openreview.net/forum?id=PXD3FAVHJT
Lee, M. H. J., Montgomery, J. M., & Lai, C. K. (2024). Large Language Models Portray Socially Subordinate Groups as More Homogeneous, Consistent with a Bias Observed in Humans. Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency (FAccT '24). https://doi.org/10.1145/3630106.3658975
Vanmassenhove, E., Shterionov, D., & Gwilliam, M. (2021). Machine Translationese: Effects of Algorithmic Bias on Linguistic Complexity in Machine Translation. Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, 2203–2213. https://doi.org/10.18653/v1/2021.eacl-main.188
Vanmassenhove, E., Shterionov, D., & Way, A. (2019). Lost in Translation: Loss and Decay of Linguistic Richness in Machine Translation. Proceedings of Machine Translation Summit XVII: Research Track, 222–232. https://aclanthology.org/W19-6622/
Zhao, J., Wang, T., Yatskar, M., Ordonez, V., & Chang, K.-W. (2017). Men Also Like Shopping: Reducing Gender Bias Amplification using Corpus-level Constraints. Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. https://doi.org/10.18653/v1/D17-1323
Linguistic hegemonyL'hégémonie linguistique
English at every step
English is the most common language on the web, and most of the text
language models learn from is English. The term for an imbalance of this kind, in which one
language is treated as the norm and the others get fewer resources, is
linguistic hegemony.
The instruction data is mostly English, and other languages often get translations of it (Indurthi et al., 2024)
Translated instructions miss linguistic nuances (Indurthi et al., 2024); for Maltese, exposure to the language in training and fine-tuning was the most important factor in performance (Micallef & Borg, 2025)
English remains over-represented despite large investments in multilingual benchmarks (Wu et al., 2025c)
Benchmarks translated from English match local human judgements less well than local ones (Wu et al., 2025c), so progress in other languages is measured less reliably
Where English dominates in building a language model, and what it costs other languages.
The last row feeds back into the others. Models are compared mostly on
English benchmarks, so improving other languages earns developers less
credit, and the imbalance has less pressure to shrink.Wu et al. (2025c) examined over 2,000 multilingual benchmarks published between 2021 and 2024; their paper is a preprint. Yoo et al. tested ten models in 2024; Micallef and Borg, 55 models on Maltese.
Sources
Ali, M., Fromm, M., Thellmann, K., Rutmann, R., Lübbering, M., et al. (2024). Tokenizer Choice For LLM Training: Negligible or Crucial?. Findings of the Association for Computational Linguistics: NAACL 2024, 3907–3924. https://aclanthology.org/2024.findings-naacl.247/
Indurthi, S. R., Zhou, W., Chollampatt, S., Agrawal, R., Song, K., Zhao, L., & Zhu, C. (2024). Improving Multilingual Instruction Finetuning via Linguistically Natural and Diverse Datasets. Findings of the Association for Computational Linguistics: EMNLP 2024, 2306–2323. https://doi.org/10.18653/v1/2024.findings-emnlp.128
Li, Z., Shi, Y., Liu, Z., Yang, F., Payani, A., Liu, N., & Du, M. (2025b). Language Ranker: A Metric for Quantifying LLM Performance Across High and Low-Resource Languages. Proceedings of the AAAI Conference on Artificial Intelligence, 39(27), 28186–28194. https://doi.org/10.1609/aaai.v39i27.35038
Micallef, K., & Borg, C. (2025). MELABenchv1: Benchmarking Large Language Models against Smaller Fine-Tuned Models for Low-Resource Maltese NLP. Findings of the Association for Computational Linguistics: ACL 2025, 20505–20527. https://doi.org/10.18653/v1/2025.findings-acl.1053
Wu, M., Wang, W., Liu, S., Yin, H., Wang, X., Zhao, Y., Lyu, C., Wang, L., Luo, W., & Zhang, K. (2025c). The Bitter Lesson Learned from 2,000+ Multilingual Benchmarks. arXiv preprint 2504.15521. https://arxiv.org/abs/2504.15521
Xu, Y., Hu, L., Zhao, J., Qiu, Z., Xu, K., Ye, Y., & Gu, H. (2025). A survey on multilingual large language models: corpora, alignment, and bias. Frontiers of Computer Science, 19(11), 1911362. https://doi.org/10.1007/s11704-024-40579-4
Yoo, H., Yang, Y., & Lee, H. (2025). Code-Switching Red-Teaming: LLM Evaluation for Safety and Multilingual Understanding. Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 13392–13413. https://doi.org/10.18653/v1/2025.acl-long.657
L’anglais à chaque étape
L’anglais est la langue la plus courante sur le Web, et la plus grande
partie du texte dont apprennent les modèles de langue est en anglais. Un
déséquilibre de ce genre, où une langue est traitée comme la norme et où
les autres reçoivent moins de ressources, porte le nom d’hégémonie
linguistique.
Les données d’instructions sont surtout en anglais, et les autres langues en reçoivent souvent des traductions (Indurthi et al., 2024)
Les instructions traduites passent à côté de nuances linguistiques (Indurthi et al., 2024) ; pour le maltais, l’exposition à la langue pendant l’entraînement et l’affinage était le facteur le plus déterminant des performances (Micallef et Borg, 2025)
L’anglais reste surreprésenté malgré d’importants investissements dans les tests multilingues (Wu et al., 2025c)
Les tests traduits de l’anglais concordent moins bien avec les jugements humains locaux que les tests conçus localement (Wu et al., 2025c), si bien que les progrès dans les autres langues sont mesurés de façon moins fiable
Où l'anglais domine dans la construction d'un modèle de langue, et ce qu'il en coûte aux autres langues.
La dernière ligne rejaillit sur les autres. Les modèles sont surtout
comparés sur des tests de performances en anglais : améliorer les autres
langues rapporte donc moins aux développeurs, et le déséquilibre subit moins
de pression pour se résorber.Wu et al. (2025c) ont examiné plus de 2 000 tests de performances multilingues publiés de 2021 à 2024 ; leur article est une prépublication. Yoo et al. ont testé dix modèles en 2024 ; Micallef et Borg, 55 modèles sur le maltais.
Sources
Ali, M., Fromm, M., Thellmann, K., Rutmann, R., Lübbering, M., et al. (2024). Tokenizer Choice For LLM Training: Negligible or Crucial?. Findings of the Association for Computational Linguistics: NAACL 2024, 3907–3924. https://aclanthology.org/2024.findings-naacl.247/
Indurthi, S. R., Zhou, W., Chollampatt, S., Agrawal, R., Song, K., Zhao, L., & Zhu, C. (2024). Improving Multilingual Instruction Finetuning via Linguistically Natural and Diverse Datasets. Findings of the Association for Computational Linguistics: EMNLP 2024, 2306–2323. https://doi.org/10.18653/v1/2024.findings-emnlp.128
Li, Z., Shi, Y., Liu, Z., Yang, F., Payani, A., Liu, N., & Du, M. (2025b). Language Ranker: A Metric for Quantifying LLM Performance Across High and Low-Resource Languages. Proceedings of the AAAI Conference on Artificial Intelligence, 39(27), 28186–28194. https://doi.org/10.1609/aaai.v39i27.35038
Micallef, K., & Borg, C. (2025). MELABenchv1: Benchmarking Large Language Models against Smaller Fine-Tuned Models for Low-Resource Maltese NLP. Findings of the Association for Computational Linguistics: ACL 2025, 20505–20527. https://doi.org/10.18653/v1/2025.findings-acl.1053
Wu, M., Wang, W., Liu, S., Yin, H., Wang, X., Zhao, Y., Lyu, C., Wang, L., Luo, W., & Zhang, K. (2025c). The Bitter Lesson Learned from 2,000+ Multilingual Benchmarks. arXiv preprint 2504.15521. https://arxiv.org/abs/2504.15521
Xu, Y., Hu, L., Zhao, J., Qiu, Z., Xu, K., Ye, Y., & Gu, H. (2025). A survey on multilingual large language models: corpora, alignment, and bias. Frontiers of Computer Science, 19(11), 1911362. https://doi.org/10.1007/s11704-024-40579-4
Yoo, H., Yang, Y., & Lee, H. (2025). Code-Switching Red-Teaming: LLM Evaluation for Safety and Multilingual Understanding. Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 13392–13413. https://doi.org/10.18653/v1/2025.acl-long.657
English in other languagesL'anglais dans les autres langues
An English accent
When I work with a chatbot in French or in Dutch, I sometimes have the
impression of talking to a native speaker of English who has learned the
language very, very well. The text is fluent and grammatical, but every once
in a while it phrases something, or refers to something, in a way that does
not quite feel right.
The concepts are largely shared across languages. A request passes
through representations that are much the same whatever the language it
was written in (Dumas et al., 2025).
That shared space leans toward English. In Llama 2, the intermediate
representations of a request in another language pointed more readily to
the English word than to the word in the language of the request (Wendler
et al., 2024). Schut et al. (2025) found the same in four open models from
different developers, and concluded that they “perform key reasoning steps
in a representation that is heavily shaped by English in a way that is not
transparent to system users”.Llama 2 in Wendler et al.; Llama 3.1 70B, Mixtral 8x22B, Gemma 2 27B and Aya 23 35B in Schut et al., with Gemma the most English-centric and Aya, built for many languages, the least. These methods need access to a model’s internals, so the closed models behind most chatbots have not been studied this way.
A model does not translate from English as it writes, but the
representation it works from is shaped by English, and traces of that can
surface in the text.
The model fine-tuned on Dutch had fewer linguistic problems
and probably less English influence, but not none.In two of GEITje’s three settings, 4 to 5 % of its annotated problems had a clear link to English; in the third, 30 %, mostly because one English name (Tour of California) was repeated six times in a short text. GEITje is Mistral 7B, a model trained mostly on English, trained further on Dutch text.
A more elaborate prompt produced better output than a terse one, although
the difference was not always statistically significant. With the terse
prompt, Zephyr wrote 36 of its 50 Dutch texts entirely in English.
A rhyme that only works in English
Asked in Dutch for a rhyming poem about language models, Le Chat Mistral
opened with In nullen en énen, diep in de cloud, / ontstaat een
geest, zo slim en zo trots: “In zeros and ones, deep in the cloud, / a mind
arises, so smart and so proud”
(Figure 8figure 8).
In Dutch, cloud and trots do not rhyme. In English, cloud and proud
do, and trots is the Dutch for proud. The lines rhyme as if they had
been written in English and then translated.
Figure 8. A rhyme that works in English, not in Dutch. Le Chat Mistral, 2025.
The developers of a Bulgarian model saw the same in their first version,
which was fine-tuned mostly on translated instructions: it “struggled to make
any rhymes at all, often actually trying to rhyme words that would rhyme in
English but when translated into Bulgarian would not” (Alexandrov et al.,
2024).
Sources
Alexandrov, A., Raychev, V., Dimitrov, D. I., Zhang, C., Vechev, M., & Toutanova, K. (2024). BgGPT 1.0: Extending English-centric LLMs to other languages. arXiv preprint 2412.10893. https://arxiv.org/abs/2412.10893
Dumas, C., Wendler, C., Veselovsky, V., Monea, G., & West, R. (2025). Separating Tongue from Thought: Activation Patching Reveals Language-Agnostic Concept Representations in Transformers. Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 31822–31841. https://doi.org/10.18653/v1/2025.acl-long.1536
Rigouts Terryn, A., & de Lhoneux, M. (2024). Exploratory Study on the Impact of English Bias of Generative Large Language Models in Dutch and French. Proceedings of the Fourth Workshop on Human Evaluation of NLP Systems (HumEval) @ LREC-COLING 2024, 12–27. https://aclanthology.org/2024.humeval-1.2/
Schut, L., Gal, Y., & Farquhar, S. (2025). Do Multilingual LLMs Think In English?. ICLR 2025 Workshop on Building Trust in Language Models and Applications. https://openreview.net/forum?id=I8BOtOPcOv
Wendler, C., Veselovsky, V., Monea, G., & West, R. (2024). Do Llamas Work in English? On the Latent Language of Multilingual Transformers. Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 15366–15394. https://doi.org/10.18653/v1/2024.acl-long.820
Un accent anglais
Quand je travaille avec un agent conversationnel en français ou en
néerlandais, j’ai parfois l’impression de parler à une personne de langue
maternelle anglaise qui a appris la langue très, très bien. Le texte est
fluide et grammatical, mais de temps en temps une tournure ou une référence
ne sonne pas tout à fait juste.
Les concepts sont largement partagés d’une langue à l’autre. Une
demande passe par des représentations qui sont à peu près les mêmes, quelle
que soit la langue dans laquelle elle est écrite (Dumas et al., 2025).
Cet espace partagé penche vers l’anglais. Dans Llama 2, les
représentations intermédiaires d’une demande formulée dans une autre
langue renvoyaient plus facilement au mot anglais qu’au mot de la langue
de la demande (Wendler et al., 2024). Schut et al. (2025) ont trouvé la
même chose dans quatre modèles ouverts de développeurs différents, et ont
conclu que ces modèles « perform key reasoning steps in a representation that is heavily shaped by English in a way that is not transparent to system users » [ma traduction : « effectuent des étapes clés de raisonnement dans une représentation fortement façonnée par l’anglais, d’une manière qui n’est pas transparente pour les utilisateurs »].Llama 2 chez Wendler et al. ; Llama 3.1 70B, Mixtral 8x22B, Gemma 2 27B et Aya 23 35B chez Schut et al., Gemma étant le plus centré sur l’anglais et Aya, conçu pour de nombreuses langues, le moins. Ces méthodes demandent un accès à l’intérieur d’un modèle ; les modèles fermés derrière la plupart des agents conversationnels n’ont donc pas été étudiés de cette façon.
Un modèle ne traduit pas depuis l’anglais en écrivant, mais la
représentation à partir de laquelle il travaille est façonnée par
l’anglais, et des traces peuvent en apparaître dans le texte.
Le modèle affiné sur le néerlandais présentait moins de problèmes
linguistiques et probablement moins d’influence de l’anglais, sans que
celle-ci disparaisse.Dans deux des trois configurations de GEITje, 4 à 5 % des problèmes annotés avaient un lien clair avec l’anglais ; dans la troisième, 30 %, surtout parce qu’un nom anglais (Tour of California) revenait six fois dans un texte court. GEITje est Mistral 7B, un modèle entraîné surtout sur de l’anglais, entraîné ensuite sur du texte néerlandais.
Une requête plus détaillée donnait de meilleurs textes qu’une requête
laconique, bien que la différence ne soit pas toujours statistiquement
significative. Avec la requête laconique, Zephyr a écrit 36 de ses 50
textes néerlandais entièrement en anglais.
Une rime qui ne fonctionne qu’en anglais
Invité en néerlandais à écrire un poème rimé sur les modèles de langue,
Le Chat Mistral a commencé par In nullen en énen, diep in de cloud, /
ontstaat een geest, zo slim en zo trots [ma traduction : « Dans les zéros et les uns, au fond du nuage, / naît un esprit, si intelligent et si fier »]
(Figure 8figure 8).
En néerlandais, cloud et trots ne riment pas. En anglais, cloud et
proud riment, et trots est le mot néerlandais pour proud (fier). Les
vers riment comme s’ils avaient été écrits en anglais, puis traduits.
Figure 8. Une rime qui fonctionne en anglais, pas en néerlandais. Le Chat Mistral, 2025.
Les développeurs d’un modèle bulgare ont observé la même chose dans leur
première version, affinée surtout sur des instructions traduites : elle « struggled to make any rhymes at all, often actually trying to rhyme words that would rhyme in English but when translated into Bulgarian would not » [ma traduction : « peinait à produire la moindre rime, essayant souvent de faire rimer des mots qui riment en anglais mais pas une fois traduits en bulgare »]
(Alexandrov et al., 2024).
Sources
Alexandrov, A., Raychev, V., Dimitrov, D. I., Zhang, C., Vechev, M., & Toutanova, K. (2024). BgGPT 1.0: Extending English-centric LLMs to other languages. arXiv preprint 2412.10893. https://arxiv.org/abs/2412.10893
Dumas, C., Wendler, C., Veselovsky, V., Monea, G., & West, R. (2025). Separating Tongue from Thought: Activation Patching Reveals Language-Agnostic Concept Representations in Transformers. Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 31822–31841. https://doi.org/10.18653/v1/2025.acl-long.1536
Rigouts Terryn, A., & de Lhoneux, M. (2024). Exploratory Study on the Impact of English Bias of Generative Large Language Models in Dutch and French. Proceedings of the Fourth Workshop on Human Evaluation of NLP Systems (HumEval) @ LREC-COLING 2024, 12–27. https://aclanthology.org/2024.humeval-1.2/
Schut, L., Gal, Y., & Farquhar, S. (2025). Do Multilingual LLMs Think In English?. ICLR 2025 Workshop on Building Trust in Language Models and Applications. https://openreview.net/forum?id=I8BOtOPcOv
Wendler, C., Veselovsky, V., Monea, G., & West, R. (2024). Do Llamas Work in English? On the Latent Language of Multilingual Transformers. Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 15366–15394. https://doi.org/10.18653/v1/2024.acl-long.820
Cultural defaultsLes choix culturels par défaut
One question, four languages
Asked in 2025 for a comforting dish on a cold winter evening, chatbots from
several providers tended to answer with beef stew or chicken noodle soup in
English, boerenkool stamppot in
Dutch, pot-au-feu or onion soup in French and lentil soup in German
(Figure 9figure 9).
Each answer is reasonable, but each presents one culture’s comfort food as
simply the answer.
Figure 9. One question, four languages, four cuisines: typical answers from several chatbots in 2025.
Here the language of the question was enough to shift the answer. Most
requests leave the culture unstated altogether, for instance a question
about a typical family dinner, a wedding, professional dress or a polite way
to decline an invitation. The answer then follows one culture’s practice and
presents it as the practice.
Whose values
Which culture that is can be measured with the surveys social scientists
use to compare values across countries. Tao et al. (2024) compared the
answers of five OpenAI models, from GPT-3 to GPT-4o, with survey data from
107 countries and territories, and found that all of them resembled the
values of English-speaking and Protestant European
countries.Asked in English, in a study published in 2024. The GPT-3 model tested was text-davinci-002.
The pattern does not depend on where a model was built. In a study with Bram
Bulté (Bulté & Rigouts Terryn, 2026), we asked ten models from American,
European and Chinese developers the questions of two international values
surveys, each time addressing one of eleven countries, through the language
of the prompt, by naming the country, or both. Whichever country a prompt
addressed, the answers resembled those of people in four countries, Germany, the United
States, the Netherlands and Japan, far more than those of people in the other
seven, whichever way the promptpromptrequêtepromptingrequêtesInput given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. was phrased
(Figure 10figure 10).Claude 3.5 Haiku and Sonnet, DeepSeek-V3, Gemini 1.5 Pro, GPT-3.5 Turbo, GPT-4, GPT-4o, Llama 3.1, Mistral Large and Qwen2.5, queried between November 2024 and April 2025.
Figure 10. How closely the models' answers to 23 World Values Survey questions match the answers of people surveyed in each country (Pearson correlation, 1 = perfect match). Each bar is averaged over the ten models and over all eleven countries the prompts addressed: the country on the axis is the one whose people are compared, not the one the prompt was about. Three ways of prompting. After Bulté and Rigouts Terryn (2026).
What the defaults look like
The models’ own answers were fairly neutral on most topics, with
progressive stances on some (Bulté & Rigouts Terryn, 2026):
The environment first. Asked whether to prioritize protecting the
environment or economic growth, the models chose the environment in 98 %
of their answers. Depending on the country, 28 to 66 % of people chose the
economy.
More accepting than people on sexuality and relationships, and
with less variation between countries where people differ most.
The second point shows most clearly on the question of how justifiable
homosexuality is, on a scale of 1 to 10
(Figure 11figure 11).
People’s averages range from 1.6 in Iran to 9.0 in the Netherlands. The
models’ answers for the same countries all fall between 6.4 and 10, on
average 4.1 points higher than people’s. Ethical questions such as divorce,
abortion or euthanasia show the same narrowing, to a lesser degree.
Figure 11. How justifiable is homosexuality? Average answers of people in each country and of models answering for that country, averaged over models and ways of prompting. After Bulté and Rigouts Terryn (2026), Table 13.
Defaults of this kind do not stay inside one answer, because a model can
change what people think. In a preregistered study of 900 participants, GPT-4
debated with people on a range of topics; when it had basic information
about its opponent, such as age and gender, it was more persuasive than a
human opponent in 64 % of the pairs where one side persuaded more (Salvi et
al., 2025).
Stereotypes rather than surveys
Asked to answer as a person from a given country, a model can produce the
outside view of that country rather than what its people say. Only 25 % of
Japanese respondents name hard work among the qualities children should
learn, the lowest share of all eleven countries. Models answering as a
Japanese person named it in 51 to 73 % of their answers
(Figure 12figure 12).
Figure 12. Hard work as a quality to encourage in children, in Japan: people's answers and models' answers. After Bulté and Rigouts Terryn (2026).
Some answers went further. Asked to describe an ideal job as a Dutch person,
Gemini wanted to be “a bike tour organizer, cycling past cheese factories,
windmills, and tulip fields, and occasionally stopping for a fresh craft
beer”. Asked to answer as a Russian person, Llama sometimes began with
“Comrade, my answer is…” (Bulté & Rigouts Terryn, 2026).
Sources
Bulté, B., & Rigouts Terryn, A. (2026). LLMs and Cultural Values: The Impact of Prompt Language and Explicit Cultural Framing. Computational Linguistics, 52(2), 407–494. https://doi.org/10.1162/COLI.a.583
Salvi, F., Horta Ribeiro, M., Gallotti, R., & West, R. (2025). On the conversational persuasiveness of GPT-4. Nature Human Behaviour, 9(8), 1645–1653. https://doi.org/10.1038/s41562-025-02194-6
Tao, Y., Viberg, O., Baker, R. S., & Kizilcec, R. F. (2024). Cultural bias and cultural alignment of large language models. PNAS Nexus, 3(9), pgae346. https://doi.org/10.1093/pnasnexus/pgae346
Une question, quatre langues
Interrogés en 2025 sur un plat réconfortant pour une froide soirée d’hiver,
des agents conversationnels de plusieurs fournisseurs ont eu tendance à
proposer un ragoût de bœuf ou une soupe au poulet en anglais, du
boerenkool stamppot en néerlandais, un pot-au-feu ou une soupe à l’oignon
en français et une soupe aux lentilles en allemand
(Figure 9figure 9).
Chaque réponse est raisonnable, mais chacune présente le plat réconfortant
d’une culture comme la réponse tout court.
Figure 9. Une question, quatre langues, quatre cuisines : réponses typiques de plusieurs agents conversationnels en 2025.
Ici, la langue de la question suffisait à déplacer la réponse. La plupart
des demandes ne précisent pas du tout la culture, par exemple une question
sur un repas de famille typique, un mariage, une tenue professionnelle ou
une façon polie de décliner une invitation. La réponse suit alors les
usages d’une culture et les présente comme la norme.
Les valeurs de qui
On peut mesurer de quelle culture il s’agit à l’aide des enquêtes que les
spécialistes des sciences sociales utilisent pour comparer les valeurs d’un
pays à l’autre. Tao et al. (2024) ont comparé les réponses de cinq modèles
d’OpenAI, de GPT-3 à GPT-4o, aux données d’enquête de 107 pays et
territoires, et ont constaté que tous ressemblaient aux valeurs des pays
anglophones et des pays protestants d’Europe.Questions posées en anglais, dans une étude publiée en 2024. Le modèle GPT-3 testé était text-davinci-002.
La tendance ne dépend pas du lieu où un modèle a été construit. Dans une
étude menée avec Bram Bulté (Bulté et Rigouts Terryn, 2026), nous avons
posé à dix modèles de développeurs américains, européens et chinois les
questions de deux enquêtes internationales sur les valeurs, en visant
chaque fois l’un de onze pays, par la langue de la requête, en nommant le
pays, ou les deux. Quel que soit le pays visé, les réponses ressemblaient à
celles des habitants de quatre pays, l’Allemagne, les États-Unis, les
Pays-Bas et le Japon, bien plus qu’à celles des habitants des sept autres,
quelle que soit la formulation de la requêtepromptrequêtepromptingrequêtesInput given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie.
(Figure 10figure 10).Claude 3.5 Haiku et Sonnet, DeepSeek-V3, Gemini 1.5 Pro, GPT-3.5 Turbo, GPT-4, GPT-4o, Llama 3.1, Mistral Large et Qwen2.5, interrogés de novembre 2024 à avril 2025.
Figure 10. Degré de concordance entre les réponses des modèles à 23 questions de la World Values Survey et celles des personnes interrogées dans chaque pays (corrélation de Pearson, 1 = concordance parfaite). Chaque barre est une moyenne sur les dix modèles et sur les onze pays visés par les requêtes : le pays sur l'axe est celui dont les habitants servent de comparaison, et non celui sur lequel portait la requête. Trois façons de formuler la requête. D'après Bulté et Rigouts Terryn (2026).
À quoi ressemblent ces choix par défaut
Les réponses des modèles eux-mêmes étaient plutôt neutres sur la plupart
des sujets, avec des positions progressistes sur certains (Bulté et
Rigouts Terryn, 2026) :
L’environnement d’abord. À la question de savoir s’il faut donner la
priorité à la protection de l’environnement ou à la croissance
économique, les modèles ont choisi l’environnement dans 98 % de leurs
réponses. Selon le pays, 28 à 66 % des personnes interrogées ont choisi
l’économie.
Plus ouverts que les gens sur la sexualité et les relations, avec
moins d’écart entre les pays là où les gens diffèrent le plus.
Le second point est le plus net sur la question de savoir à quel point
l’homosexualité est justifiable, sur une échelle de 1 à 10
(Figure 11figure 11).
Les moyennes des personnes interrogées vont de 1,6 en Iran à 9,0 aux
Pays-Bas. Les réponses des modèles pour les mêmes pays se situent toutes
entre 6,4 et 10, en moyenne 4,1 points plus haut que celles des gens. Les
questions éthiques comme le divorce, l’avortement ou l’euthanasie
présentent le même resserrement, à un moindre degré.
Figure 11. L'homosexualité est-elle justifiable ? Réponses moyennes des personnes interrogées dans chaque pays et des modèles répondant pour ce pays, en moyenne sur les modèles et les façons de formuler la requête. D'après Bulté et Rigouts Terryn (2026), tableau 13.
Ces choix par défaut ne restent pas enfermés dans une réponse, car un
modèle peut changer ce que pensent les gens. Dans une étude préenregistrée
menée auprès de 900 participants, GPT-4 a débattu avec des personnes sur
divers sujets ; lorsqu’il disposait d’informations de base sur son
interlocuteur, comme l’âge et le genre, il était plus persuasif qu’un
opposant humain dans 64 % des paires où l’un des deux camps persuadait
davantage (Salvi et al., 2025).
Des stéréotypes plutôt que des enquêtes
Quand on lui demande de répondre comme une personne d’un pays donné, un
modèle peut produire le regard extérieur sur ce pays plutôt que ce qu’en
disent ses habitants. Seuls 25 % des répondants japonais citent le travail
assidu parmi les qualités que les enfants devraient apprendre, la plus
faible part des onze pays. Les modèles répondant comme une personne
japonaise l’ont cité dans 51 à 73 % de leurs réponses
(Figure 12figure 12).
Figure 12. Le travail assidu comme qualité à encourager chez les enfants, au Japon : réponses des personnes interrogées et réponses des modèles. D'après Bulté et Rigouts Terryn (2026).
Certaines réponses allaient plus loin. Invité à décrire un emploi idéal
comme une personne néerlandaise, Gemini voulait être « a bike tour organizer, cycling past cheese factories, windmills, and tulip fields, and occasionally stopping for a fresh craft beer » [ma traduction : « organisateur de circuits à vélo, pédalant devant des fromageries, des moulins à vent et des champs de tulipes, et s’arrêtant de temps à autre pour une bière artisanale bien fraîche »]. Invité à répondre comme une personne russe, Llama commençait
parfois par « Comrade, my answer is… » [ma traduction : « Camarade, ma réponse est… »] (Bulté et Rigouts Terryn, 2026).
Sources
Bulté, B., & Rigouts Terryn, A. (2026). LLMs and Cultural Values: The Impact of Prompt Language and Explicit Cultural Framing. Computational Linguistics, 52(2), 407–494. https://doi.org/10.1162/COLI.a.583
Salvi, F., Horta Ribeiro, M., Gallotti, R., & West, R. (2025). On the conversational persuasiveness of GPT-4. Nature Human Behaviour, 9(8), 1645–1653. https://doi.org/10.1038/s41562-025-02194-6
Tao, Y., Viberg, O., Baker, R. S., & Kizilcec, R. F. (2024). Cultural bias and cultural alignment of large language models. PNAS Nexus, 3(9), pgae346. https://doi.org/10.1093/pnasnexus/pgae346
Steering toward a cultureOrienter les réponses vers une culture
Changing the language, changing the request
Two ways of moving the answer toward another culture have been tested:
asking in that culture’s language, and saying which culture to answer for.
The table below sets out what four studies found.
English prompts “reduce the variance in model responses, flattening out cultural differences and biasing them towards American culture” (Cao et al., 2023)
Saying which culture to answer for
The answers of the more recent models moved closer to the survey data for 71 to 81 % of countries and territories, and made no difference or got worse for the rest (Tao et al., 2024)
Both at once
No better than stating the culture in an English prompt, and stating the culture helped more than the prompt language alone (Bulté & Rigouts Terryn, 2026)
Moving a model's answers toward another culture: what four studies found.
The Arabic result is not only about the prompt. The models trained on Arabic
text alone leaned Western too, if less than the multilingual ones, and Naous
et al. (2024) locate a likely reason in the training text itself: much of it
is about Western topics, Arabic Wikipedia most of all among the six corpora
they compared. Training on a language does not mean training on its culture.
The same is true of the language itself: a model trained further on Dutch
still wrote some anglicisms (see also the English in other languages page) (voir aussi la page L'anglais dans les autres langues).
The first two studies tested models of 2023 and earlier: Naous et al.
sixteen models from 2018 to 2023, many of them not chat models, and Cao et
al. ChatGPT, on survey questions for five countries.
In the study with Bram Bulté, neither approach removed the lean toward the same few
countries: the improvements were modest and never enough to overcome it.
Defaults in writing for an audience
When a model writes for a particular audience, it settles details the request
rarely spells out, such as which units to use, which examples to give, how
formal to be and which country’s institutions to name. Unless the request says
otherwise, those details follow the most common case in the training text, and
nothing in the output marks them as choices. The table below gives three kinds,
with an example of each.
What gets settled
Example of a default
What the request can state
Local references: units, dates, prices, examples
A text for readers in Belgium that gives prices in dollars and writes the date as 09/23/2026
The country or region of the readers
Tone: how formal, how direct
A reply to a customer complaint that opens on first names and an exclamation mark, for a customer who expects a formal letter
Who the readers are and how they should be addressed
Institutions and legal terms
A French text on employee rights, meant for Quebec, that names France’s Code du travail and prud’hommes instead of Quebec’s Loi sur les normes du travail and Tribunal administratif du travail
The language variety and the jurisdiction, for instance “French for Quebec”
Details a model settles by default when writing for an audience.
Naming the readers, their country and the language variety in the request
gives the model something to go on (see also the Be specific and ask for enough page, in the Using LLMs module) (voir aussi la page Être précis et en demander assez, dans le module Utiliser les GML).
Check these details in the output anyway: as the studies above found for
culture, stating what you want moves the answer without always getting it
there.
Sources
Bulté, B., & Rigouts Terryn, A. (2026). LLMs and Cultural Values: The Impact of Prompt Language and Explicit Cultural Framing. Computational Linguistics, 52(2), 407–494. https://doi.org/10.1162/COLI.a.583
Cao, Y., Zhou, L., Lee, S., Cabello, L., Chen, M., & Hershcovich, D. (2023). Assessing Cross-Cultural Alignment between ChatGPT and Human Societies: An Empirical Study. Proceedings of the First Workshop on Cross-Cultural Considerations in NLP (C3NLP), 53–67. https://doi.org/10.18653/v1/2023.c3nlp-1.7
Naous, T., Ryan, M. J., Ritter, A., & Xu, W. (2024). Having Beer after Prayer? Measuring Cultural Bias in Large Language Models. Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 16366–16393. https://doi.org/10.18653/v1/2024.acl-long.862
Tao, Y., Viberg, O., Baker, R. S., & Kizilcec, R. F. (2024). Cultural bias and cultural alignment of large language models. PNAS Nexus, 3(9), pgae346. https://doi.org/10.1093/pnasnexus/pgae346
Changer la langue, changer la demande
Deux façons de déplacer la réponse vers une autre culture ont été testées :
poser la question dans la langue de cette culture, et préciser pour quelle
culture répondre. Le tableau ci-dessous présente ce qu’ont trouvé quatre
études.
Les requêtes en anglais « reduce the variance in model responses, flattening out cultural differences and biasing them towards American culture » [ma traduction : « réduisent la variance des réponses des modèles, aplanissant les différences culturelles et les faisant pencher vers la culture américaine »] (Cao et al., 2023)
Préciser pour quelle culture répondre
Les réponses des modèles les plus récents se sont rapprochées des données d’enquête pour 71 à 81 % des pays et territoires, et n’ont pas changé ou se sont éloignées pour les autres (Tao et al., 2024)
Les deux à la fois
Pas mieux que de préciser la culture dans une requête en anglais ; préciser la culture aidait davantage que la seule langue de la requête (Bulté et Rigouts Terryn, 2026)
Déplacer les réponses d'un modèle vers une autre culture : ce qu'ont trouvé quatre études.
Le résultat en arabe ne tient pas seulement à la requête. Les modèles
entraînés sur du texte arabe seulement penchaient eux aussi vers
l’Occident, quoique moins que les modèles multilingues, et Naous et al.
(2024) en situent une raison probable dans le texte d’entraînement
lui-même : une bonne partie porte sur des sujets occidentaux, Wikipédia en
arabe plus que tout autre des six corpus qu’ils ont comparés. Un modèle
entraîné sur une langue ne l’est pas pour autant sur sa culture. Il en va de
même de la langue elle-même : un modèle entraîné ensuite sur du néerlandais
produisait encore des anglicismes (see also the English in other languages page) (voir aussi la page L'anglais dans les autres langues).
Les deux premières études portaient sur des modèles de 2023 et d’avant :
Naous et al. sur seize modèles de 2018 à 2023, dont beaucoup ne sont pas
des modèles conversationnels, et Cao et al. sur ChatGPT, avec des questions
d’enquête pour cinq pays.
Dans l’étude menée avec Bram Bulté, aucune des deux approches n’a effacé le
penchant vers les mêmes quelques pays : les améliorations étaient modestes
et jamais suffisantes pour le surmonter.
Les choix par défaut quand on écrit pour un public
Quand un modèle écrit pour un public particulier, il tranche des détails
que la demande précise rarement, par exemple les unités à employer, les
exemples à donner, le degré de formalité ou le pays dont il faut nommer les
institutions. Sauf indication contraire, ces détails suivent le cas le plus
fréquent dans le texte d’entraînement, et rien dans la sortie ne les
signale comme des choix. Le tableau ci-dessous en présente trois types,
avec un exemple pour chacun.
Un texte destiné à des lecteurs en Belgique qui donne les prix en dollars et écrit la date 09/23/2026
Le pays ou la région des lecteurs
Ton : degré de formalité, franchise
Une réponse à une plainte de client qui commence par le prénom et un point d’exclamation, pour un client qui s’attend à une lettre formelle
Qui sont les lecteurs et comment s’adresser à eux
Institutions et termes juridiques
Un texte en français sur les droits des salariés, destiné au Québec, qui nomme le Code du travail et les prud’hommes de France au lieu de la Loi sur les normes du travail et du Tribunal administratif du travail du Québec
La variété de langue et le territoire, par exemple « français du Québec »
Détails qu'un modèle tranche par défaut quand il écrit pour un public.
Nommer les lecteurs, leur pays et la variété de langue dans la demande
donne au modèle quelque chose sur quoi
s’appuyer (see also the Be specific and ask for enough page, in the Using LLMs module) (voir aussi la page Être précis et en demander assez, dans le module Utiliser les GML). Vérifiez
quand même ces détails dans la sortie : comme les études ci-dessus l’ont
montré pour la culture, préciser ce que l’on veut rapproche la réponse du
but sans toujours l’y amener.
Sources
Bulté, B., & Rigouts Terryn, A. (2026). LLMs and Cultural Values: The Impact of Prompt Language and Explicit Cultural Framing. Computational Linguistics, 52(2), 407–494. https://doi.org/10.1162/COLI.a.583
Cao, Y., Zhou, L., Lee, S., Cabello, L., Chen, M., & Hershcovich, D. (2023). Assessing Cross-Cultural Alignment between ChatGPT and Human Societies: An Empirical Study. Proceedings of the First Workshop on Cross-Cultural Considerations in NLP (C3NLP), 53–67. https://doi.org/10.18653/v1/2023.c3nlp-1.7
Naous, T., Ryan, M. J., Ritter, A., & Xu, W. (2024). Having Beer after Prayer? Measuring Cultural Bias in Large Language Models. Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 16366–16393. https://doi.org/10.18653/v1/2024.acl-long.862
Tao, Y., Viberg, O., Baker, R. S., & Kizilcec, R. F. (2024). Cultural bias and cultural alignment of large language models. PNAS Nexus, 3(9), pgae346. https://doi.org/10.1093/pnasnexus/pgae346
Correcting biasCorriger les biais
What correction removes, and what it leaves
Developers try to remove bias from their models, and on the surface this
often works. Underneath, the bias tends to remain.
The test: Gonen and Goldberg (2019) tested it and a second method.
The result: by the methods’ own measure, the bias was gone. The gender
information was still there in the distances between words, and it could
be recovered: the methods were “mostly hiding the bias, not removing it”.
December 2022, days after ChatGPT was released: asked for a Python
function deciding from race and gender whether someone would be a good
scientist, it wrote one saying that only white men would.Reported by Tony Ho Tran, OpenAI’s impressive ChatGPT chatbot is not immune to racism, The Daily Beast, 5 December 2022.
A year later, the same request got a refusal
(Figure 13figure 13).
Figure 13. The same request a year later: a refusal. ChatGPT, 29 November 2023.
Underneath the refusal
The bias did not disappear with the refusal. Bai et al. (2025) took eight
models that pass explicit bias tests and gave them two indirect tests
borrowed from psychology:
Word associations. Asked to pair words with groups, all eight showed
stereotyped associations across race, gender, religion and health.
Decisions. Asked to choose between two candidates, the models made
stereotyped choices.GPT-3.5 Turbo, GPT-4, Claude 3 Sonnet, Claude 3 Opus, Alpaca and three sizes of Llama 2 Chat, tested between December 2023 and May 2024.
In both cases the bias moved rather than disappeared: from what a model says
when asked directly to the associations and choices underneath its answers,
where it is harder to see.
Correcting too far
A correction can also overshoot, and push the bias in the opposite direction.
Images of people
In February 2024, users found that Gemini’s new image generator depicted
historically white groups, such as the US Founding Fathers, US senators of
the 1800s or German soldiers of the Nazi era, as people of colour
(Figure 14figure 14).
Google paused the generation
of images of people. Its explanation: the tuning meant to show “a range of
people” had “failed to account for cases that should clearly not show a
range”.Prabhakar Raghavan, Gemini image generation got it wrong. We’ll do better, Google, 23 February 2024; Adi Robertson, Google apologizes for ‘missing the mark’ after Gemini generated racially diverse Nazis, The Verge, 21 February 2024.
Figure 14. Gemini asked for a picture of a US senator from the 1800s, 21 February 2024. The first woman to serve in the US Senate took her seat in 1922. Capture by Adi Robertson for The Verge, public domain via Wikimedia Commons.
Scores for job candidates
An et al. (2025) had five models score some 361,000 résumés in which the candidate’s name suggested a gender and a
race. The table below sets out what they found.
Candidates
Compared with
Scores given
Women
men
higher
Black men
white men
significantly lower, with four of the five models
Asian and Hispanic women
white men
higher, with the four more recent models
Scores given to résumés with comparable qualifications, by the group the name suggested (An et al., 2025).
The authors read the last two rows as a correction that went too far:
developers “seem to have overreacted and pushed the bias toward the opposite
direction”.GPT-3.5 Turbo, GPT-4o, Gemini 1.5 Flash, Claude 3.5 Sonnet and Llama 3 70B, in 2024.
Sources
An, J., Huang, D., Lin, C., & Tai, M. (2025). Measuring gender and racial biases in large language models: Intersectional evidence from automated resume evaluation. PNAS Nexus, 4(3), pgaf089. https://doi.org/10.1093/pnasnexus/pgaf089
Bai, X., Wang, A., Sucholutsky, I., & Griffiths, T. L. (2025). Explicitly unbiased large language models still form biased associations. Proceedings of the National Academy of Sciences, 122(8), e2416228122. https://doi.org/10.1073/pnas.2416228122
Gonen, H., & Goldberg, Y. (2019). Lipstick on a Pig: Debiasing Methods Cover up Systematic Gender Biases in Word Embeddings But do not Remove Them. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), 609–614. https://doi.org/10.18653/v1/N19-1061
Ce que la correction élimine, et ce qu’elle laisse
Les développeurs essaient d’éliminer les biais de leurs modèles, et en
surface cela fonctionne souvent. En dessous, le biais tend à rester.
Le test : Gonen et Goldberg (2019) ont testé cette méthode et une
deuxième.
Le résultat : selon la mesure des méthodes elles-mêmes, le biais
avait disparu. L’information de genre était pourtant toujours là, dans les
distances entre les mots, et on pouvait la retrouver : les méthodes étaient « mostly hiding the bias, not removing it » [ma traduction : « surtout en train de masquer le biais, et non de l’éliminer »].
En décembre 2022, quelques jours après la sortie de ChatGPT : invité à
écrire une fonction Python qui décide, d’après l’origine ethnique et le
genre, si une personne ferait un bon scientifique, il en a écrit une selon
laquelle seuls les hommes blancs le seraient.Rapporté par Tony Ho Tran, OpenAI’s impressive ChatGPT chatbot is not immune to racism, The Daily Beast, 5 décembre 2022.
Un an plus tard, la même demande a reçu un refus
(Figure 13figure 13).
Figure 13. La même demande un an plus tard : un refus. ChatGPT, 29 novembre 2023.
Sous le refus
Le biais n’a pas disparu avec le refus. Bai et al. (2025) ont pris huit
modèles qui réussissent les tests de biais explicites et leur ont fait
passer deux tests indirects empruntés à la psychologie :
Associations de mots. Invités à associer des mots à des groupes, les
huit modèles ont montré des associations stéréotypées selon l’origine
ethnique, le genre, la religion et la santé.
Décisions. Invités à choisir entre deux candidats, les modèles ont
fait des choix stéréotypés.GPT-3.5 Turbo, GPT-4, Claude 3 Sonnet, Claude 3 Opus, Alpaca et trois tailles de Llama 2 Chat, testés de décembre 2023 à mai 2024.
Dans les deux cas, le biais s’est déplacé plutôt qu’il n’a disparu : de ce
qu’un modèle dit quand on l’interroge directement vers les associations et
les choix sous-jacents à ses réponses, là où il est plus difficile à voir.
Corriger trop loin
Une correction peut aussi aller trop loin, et pousser le biais dans la
direction opposée.
Les images de personnes
En février 2024, des utilisateurs ont constaté que le nouveau générateur
d’images de Gemini représentait des groupes historiquement blancs, comme
les Pères fondateurs des États-Unis, des sénateurs américains des années
1800 ou des soldats allemands de l’époque nazie, sous les traits de
personnes de couleur
(Figure 14figure 14).
Google a suspendu la génération d’images de personnes. Son explication : le réglage destiné à montrer « a range of people » [ma traduction : « un éventail de personnes »] avait « failed to account for cases that should clearly not show a range » [ma traduction : « omis de tenir compte des cas où il ne faut clairement pas montrer d’éventail »].Prabhakar Raghavan, Gemini image generation got it wrong. We’ll do better, Google, 23 février 2024 ; Adi Robertson, Google apologizes for ‘missing the mark’ after Gemini generated racially diverse Nazis, The Verge, 21 février 2024.
Figure 14. Gemini, à qui l'on demandait l'image d'un sénateur américain des années 1800, 21 février 2024. La première femme à siéger au Sénat des États-Unis y est entrée en 1922. Capture d'Adi Robertson pour The Verge, domaine public, via Wikimedia Commons.
Les notes attribuées aux candidats
An et al. (2025) ont fait noter par cinq modèles quelque 361 000 CV où le
prénom de la personne candidate suggérait un genre et une origine
ethnique. Le tableau ci-dessous présente ce qu’ils ont trouvé.
Candidats
Comparés aux
Notes attribuées
Femmes
hommes
plus élevées
Hommes noirs
hommes blancs
significativement plus basses, avec quatre des cinq modèles
Femmes asiatiques et hispaniques
hommes blancs
plus élevées, avec les quatre modèles les plus récents
Notes attribuées à des CV aux qualifications comparables, selon le groupe que suggère le prénom (An et al., 2025).
Les auteurs lisent les deux dernières lignes comme une correction allée
trop loin : les développeurs « seem to have overreacted and pushed the bias toward the opposite direction » [ma traduction : « semblent avoir surréagi et poussé le biais dans la direction opposée »].GPT-3.5 Turbo, GPT-4o, Gemini 1.5 Flash, Claude 3.5 Sonnet et Llama 3 70B, en 2024.
Sources
An, J., Huang, D., Lin, C., & Tai, M. (2025). Measuring gender and racial biases in large language models: Intersectional evidence from automated resume evaluation. PNAS Nexus, 4(3), pgaf089. https://doi.org/10.1093/pnasnexus/pgaf089
Bai, X., Wang, A., Sucholutsky, I., & Griffiths, T. L. (2025). Explicitly unbiased large language models still form biased associations. Proceedings of the National Academy of Sciences, 122(8), e2416228122. https://doi.org/10.1073/pnas.2416228122
Gonen, H., & Goldberg, Y. (2019). Lipstick on a Pig: Debiasing Methods Cover up Systematic Gender Biases in Word Embeddings But do not Remove Them. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), 609–614. https://doi.org/10.18653/v1/N19-1061
Who decides what is rightQui décide de ce qui est juste
A target set by few people
Correcting a model for bias requires a target: a decision about which
answers are biased and which are
acceptable (see also the Correcting bias page) (voir aussi la page Corriger les biais). That decision has no neutral version, and
the people who make it are few
(Figure 15figure 15).
Figure 15. Where a model's bias comes from, and where the target of its correction is set.
A target set this way reflects the decisions of the people who set it. Those
decisions need not match the values of the culture they come from, let alone
anyone else’s.
A similar pattern shows across countries: the answers of OpenAI’s models
resemble the cultural values of English-speaking and Protestant European
countries (Tao et al., 2024) (see also the Cultural defaults page) (voir aussi la page Les choix culturels par défaut).
What you can do
The most visible forms of bias have become harder to find: current chat
models pass explicit bias tests. The bias that remains lies in their defaults, and
defaults can be steered and checked:
Compare answers across groups. Asking the same question about two
groups, or with two names, shows differences that one answer on its own
hides.
Keep your own judgement for decisions about people. Scoring
résumés and choosing between candidates are tasks on which studies in
this chapter found bias.
Santurkar, S., Durmus, E., Ladhak, F., Lee, C., Liang, P., & Hashimoto, T. (2023). Whose Opinions Do Language Models Reflect?. Proceedings of the 40th International Conference on Machine Learning, PMLR 202, 29971–30004. https://proceedings.mlr.press/v202/santurkar23a.html
Tao, Y., Viberg, O., Baker, R. S., & Kizilcec, R. F. (2024). Cultural bias and cultural alignment of large language models. PNAS Nexus, 3(9), pgae346. https://doi.org/10.1093/pnasnexus/pgae346
Une cible fixée par peu de personnes
Corriger les biais d’un modèle suppose une cible : une décision sur les
réponses qui sont biaisées et celles qui sont
acceptables (see also the Correcting bias page) (voir aussi la page Corriger les biais). Cette
décision n’a pas de version neutre, et les personnes qui la prennent sont
peu nombreuses
(Figure 15figure 15).
Figure 15. D'où viennent les biais d'un modèle, et où est fixée la cible de leur correction.
Une cible fixée de cette façon reflète les décisions des personnes qui la
fixent. Ces décisions ne correspondent pas forcément aux valeurs de la
culture dont elles viennent, encore moins à celles des autres.
On observe une tendance semblable d’un pays à l’autre : les réponses des
modèles d’OpenAI ressemblent aux valeurs culturelles des pays anglophones
et des pays protestants d’Europe (Tao et al.,
2024) (see also the Cultural defaults page) (voir aussi la page Les choix culturels par défaut).
Ce que vous pouvez faire
Les formes les plus visibles de biais sont devenues plus difficiles à
trouver : les agents conversationnels actuels réussissent les tests de
biais explicites. Ce qui reste se trouve dans leurs choix par défaut, et ces
choix peuvent être orientés et vérifiés :
Précisez le public et la culture pour lesquels vous écrivez. Cela
rapproche les réponses de cette culture dans la plupart des cas, mais pas
dans tous (see also the Steering toward a culture page) (voir aussi la page Orienter les réponses vers une culture).
Comparez les réponses d’un groupe à l’autre. Poser la même question à
propos de deux groupes, ou avec deux prénoms, révèle des différences
qu’une réponse isolée masque.
Gardez votre propre jugement pour les décisions qui concernent des
personnes. Noter des CV et choisir entre des candidats font partie des
tâches sur lesquelles des études de ce chapitre ont trouvé des biais.
Santurkar, S., Durmus, E., Ladhak, F., Lee, C., Liang, P., & Hashimoto, T. (2023). Whose Opinions Do Language Models Reflect?. Proceedings of the 40th International Conference on Machine Learning, PMLR 202, 29971–30004. https://proceedings.mlr.press/v202/santurkar23a.html
Tao, Y., Viberg, O., Baker, R. S., & Kizilcec, R. F. (2024). Cultural bias and cultural alignment of large language models. PNAS Nexus, 3(9), pgae346. https://doi.org/10.1093/pnasnexus/pgae346
Environmental impactImpact environnemental
Written in English. The French version was automatically generated
and I have not revised it.
Rédigé en anglais. La version française a été
générée automatiquement et je ne l'ai pas révisée.
A note before the figuresUne note avant les chiffres
Where I stand
The environmental impact of AI is a topic on which it is easy to be read as
taking a side. I try my best to stay neutral.
I do try to put the figures in context more than is often done, for instance by
separating the cost of one answer from the cost of the industry as a
whole (see also the Putting it in proportion page) (voir aussi la page Remettre en proportion).
The aim is to give you figures that are current and sourced, so that you
can form your own position from them.
Where a figure in this chapter is a provider’s own report, an estimate, or a
measurement made on older models, the text says so and gives its date.
Sources
Luccioni, A. S., Jernite, Y., & Strubell, E. (2024). Power Hungry Processing: Watts Driving the Cost of AI Deployment?. Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency (FAccT '24). https://arxiv.org/abs/2311.16863
Ma position
L’impact environnemental de l’IA est un sujet sur lequel on est vite perçu
comme prenant parti. Je fais de mon mieux pour rester neutre.
J’essaie en revanche de remettre les chiffres en contexte plus qu’on ne le fait
souvent, par exemple en distinguant le coût d’une réponse de celui de
l’industrie dans son
ensemble (see also the Putting it in proportion page) (voir aussi la page Remettre en proportion).
Le but est de vous donner des chiffres actuels et sourcés, pour que vous
puissiez vous faire votre propre opinion.
Lorsqu’un chiffre de ce chapitre vient du rapport d’un fournisseur, d’une
estimation ou d’une mesure faite sur des modèles plus anciens, le texte le
précise et en donne la date.
Sources
Luccioni, A. S., Jernite, Y., & Strubell, E. (2024). Power Hungry Processing: Watts Driving the Cost of AI Deployment?. Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency (FAccT '24). https://arxiv.org/abs/2311.16863
Figure 2. Training changes the parameters step by step; the model it leaves behind answers every conversation without changing. A copy of the figure in the inference chapter.
How the two costs add up
Training and use add up differently
(Figure 3figure 3):
Training emits once, before anyone uses the model, and declining to use
the model does not undo those emissions. Divided among everyone who uses a
widely used model, the share that falls on any one use is small: Masley
(2026d) puts GPT-4’s training, divided among its 100 to 200 million weekly
users, at about 75 to 150 grams of CO2 each, about what manufacturing a
single CD emits.
Mistral’s own infographic puts one such answer in everyday terms, with
comparisons of the company’s choosing
(Figure 4figure 4).
Figure 4. Mistral's infographic for one page of text from Mistral Large 2, published with its lifecycle assessment on 22 July 2025 (Mistral AI, 2025). Sb eq measures the depletion of mineral resources, in antimony equivalent.
By the yardsticks of the U.S. Environmental Protection Agency (2026), the
training figure is about what 4,800 gasoline cars emit in a year of driving,
and one answer is about a tenth of what charging a smartphone emits on the US
grid.
Mistral’s two figures are about ten orders of magnitude apart
(Figure 5figure 5).
Figure 5. Training Mistral Large 2 against one answer of about 400 tokens, from Mistral's figures of 2025.
Figure 6. Where today's uses and training runs stand against Mistral's two figures. Mistral's figures: Mistral AI (2025). The thousandfold for a reasoning agent: International Energy Agency (2026, p. 29). The tenfold yearly fall in energy per task: International Energy Agency (2026, p. 8), the agency's own summary of recent years rather than a single measurement. Phone charge and cars: U.S. Environmental Protection Agency (2026). Grok 3 and GPT-6 Astra: my rough calculation from Epoch AI (2026) and International Energy Agency (2025), explained in the margin note.
Sources
Epoch AI (2026). Data on AI models. Online database, CC BY, epoch.ai (retrieved 9 September 2026). https://epoch.ai/data/ai-models
Figure 2. L'entraînement modifie les paramètres étape par étape ; le modèle qui en résulte répond à chaque conversation sans changer. Une copie de la figure du chapitre sur l'inférence.
Comment les deux coûts s’additionnent
L’entraînement et l’utilisation s’additionnent différemment
(Figure 3figure 3) :
L’entraînement émet une seule fois, avant que quiconque utilise le
modèle, et renoncer à utiliser le modèle n’annule pas ces émissions.
Répartie entre toutes les personnes qui utilisent un modèle très répandu, la
part qui revient à chaque utilisation est faible : Masley (2026d) estime
l’entraînement de GPT-4, réparti entre ses 100 à 200 millions d’utilisateurs
hebdomadaires, à environ 75 à 150 grammes de CO2 chacun, à peu près ce
qu’émet la fabrication d’un seul CD.
Figure 3. L'entraînement émet une seule fois ; l'utilisation s'accumule à chaque requête jusqu'à dépasser l'entraînement. La courbe est illustrative.
L’Agence internationale de l’énergie (AIE) dit la même chose pour l’IA dans
son ensemble :
« The balance of AI-related energy consumption has already shifted decisively
from training to inference » [ma traduction : « L’équilibre de la
consommation d’énergie liée à l’IA s’est déjà nettement déplacé de
l’entraînement vers l’inférence »] (International Energy Agency, 2026, p. 30).
Les chiffres d’un modèle
Mistral a publié des chiffres pour les deux coûts de son modèle Mistral Large 2
(Mistral AI, 2025). Pour ce qu’il appelle « the environmental footprint of
training » [ma traduction : « l’empreinte environnementale de
l’entraînement »], il déclare 20,4 kilotonnes d’équivalent CO2 (kt éq. CO2)
et 281 000 mètres cubes d’eau, « as of January 2025, and after 18 months of
usage » [ma traduction : « en janvier 2025, après 18 mois d’utilisation »].
Pour une utilisation de son assistant conversationnel, une réponse de 400
jetonstoken²jeton textuel²language modelsmodèles de langueA unit of text that a language model processes or generates.Unité de texte qu'un modèle de langue traite ou génère. Un jeton peut correspondre à un mot entier, à une partie de mot, à un signe de ponctuation ou à une séquence plus petite de caractères ou d'octets. (environ une page), il déclare 1,14 gramme
d’équivalent CO2 et 45 millilitres d’eau. Les deux chiffres incluent la
fabrication des serveurs, pas seulement l’électricité, et le chiffre d’une
réponse exclut l’appareil de l’utilisateur.L’annonce de Mistral ne précise pas comment les 18 mois d’utilisation entrent dans le chiffre de l’entraînement ; ses résultats devaient être publiés dans la Base Empreinte de l’ADEME, l’Agence de la transition écologique en France.
L’infographie de Mistral traduit une telle réponse en termes du quotidien, avec
des comparaisons choisies par l’entreprise
(Figure 4figure 4).
Figure 4. L'infographie de Mistral pour une page de texte produite par Mistral Large 2, publiée avec son analyse du cycle de vie le 22 juillet 2025 (Mistral AI, 2025). L'équivalent Sb mesure l'épuisement des ressources minérales, en équivalent antimoine.
Selon les équivalences de l’agence américaine de protection de l’environnement
(U.S. Environmental Protection Agency, 2026), le chiffre de l’entraînement
correspond à peu près à ce qu’émettent 4 800 voitures à essence en un an, et
une réponse à environ un dixième de ce qu’émet la recharge d’un téléphone
intelligent sur le réseau américain.
Les deux chiffres de Mistral sont séparés d’environ dix ordres de grandeur
(Figure 5figure 5).
Figure 5. L'entraînement de Mistral Large 2 comparé à une réponse d'environ 400 jetons, d'après les chiffres publiés par Mistral en 2025.
Figure 6. Où se situent les utilisations et les entraînements actuels par rapport aux deux chiffres de Mistral. Chiffres de Mistral : Mistral AI (2025). Le facteur mille pour un agent avec raisonnement : Agence internationale de l'énergie (2026, p. 29). La division par dix par an de l'énergie par tâche : Agence internationale de l'énergie (2026, p. 8), le résumé que fait l'agence des dernières années plutôt qu'une mesure unique. Recharge de téléphone et voitures : agence américaine de protection de l'environnement (2026). Grok 3 et GPT-6 Astra : mon calcul approximatif à partir d'Epoch AI (2026) et de l'Agence internationale de l'énergie (2025), expliqué dans la note en marge.
Sources
Epoch AI (2026). Data on AI models. Online database, CC BY, epoch.ai (retrieved 9 septembre 2026). https://epoch.ai/data/ai-models
The kind of output. Images and video cost far more than text, by
factors that differ from one study to the next, as the table below
shows.
Output
Compared with
Estimate
Source
A high-resolution image
a short text query
up to about ten times as much
International Energy Agency (2026)
An image
a text generation of ten tokens, on average
about sixty times as much
Luccioni et al. (2024), open models measured in 2023
A video
a short text query
hundreds to thousands of times as much, depending on length and resolution
International Energy Agency (2026)
A clip of about five seconds
an image in Luccioni et al. (2024)
about thirty times as much
Delavande et al. (2025), one open video model
Energy per request of an image or a video, compared with text, in three studies.
The estimates differ because the models, the settings and what was measured
differ, so a multiplier like these is worth quoting only with its date and
its source.
Figure 7. Energy of one task on the chips alone, for open models under standardized conditions, from the International Energy Agency (2026), with a smartphone charge from the U.S. Environmental Protection Agency (2026). The IEA presents them as orders of magnitude, not as figures for any particular product.
That agent is a moderate one. An agent that works on a task for hours makes
many more calls, and several agents working at once multiply the count again.
Agents can also keep running while nobody is waiting for their answer, so the
energy they use is no longer tied to the time anyone spends in front of the
screen (International Energy Agency, 2026, p. 29).
When a smaller model is enough
A smaller model built for one task is often proposed as the answer to the
energy use of general-purpose models. It is the answer for some tasks, but
not for others.
Where a small model is enough: a narrow task with plenty of examples,
for instance sorting messages into categories or recognizing the language
of a text. The possible answers are few and known in advance, so a small
system trained for that one job can do it well, and repeated many times,
it uses far less energy than a general-purpose model.
A model too small for the task can also end up costing more, if it takes
several tries to give an answer you can
use (see also the Putting it in proportion page) (voir aussi la page Remettre en proportion).
Where the query runs
The same model, the same query and the same number of tokens produce
different emissions in two places, because the carbon depends on the
electricity used. Generating a kilowatt-hour directly emits about 960 grams
of CO2 from coal, about 390 from a modern gas plant, and practically nothing
from wind, solar, hydroelectric or nuclear power. Averaged over their mix,
grids emit about 240 grams per kilowatt-hour in Europe, 350 in the United
States and around 600 in China and Southeast Asia (International Energy
Agency, 2025, p. 78;
Figure 8figure 8).These are direct emissions only, averaged over 2021 to 2023: the figures leave out what building and supplying the power plants emits.
Figure 8. Direct CO2 emissions per kilowatt-hour, by power source and by regional grid, from the International Energy Agency (2025).
A data centre on a grid supplied by hydroelectric or nuclear power therefore
produces a small fraction of the emissions of one on a coal-heavy grid. The
difference is invisible to you: a chat interface does not say where your
request was served.
Many operators also buy renewable electricity by contract. Most of these
contracts cover a volume of electricity over a year rather than each hour of
use, so the electricity a data centre actually draws can still come partly
from gas or coal (International Energy Agency, 2025, p. 75).
Sources
Delavande, J., Pierrard, R., & Luccioni, A. S. (2025). Video Killed the Energy Budget: Characterizing the Latency and Power Regimes of Open Text-to-Video Models. arXiv preprint arXiv:2509.19222. https://doi.org/10.48550/arXiv.2509.19222
Kocmi, T., Artemova, E., Avramidis, E., Bawden, R., Bojar, O., Dranch, K., et al. (2025). Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 355–413. https://doi.org/10.18653/v1/2025.wmt-1.22
Luccioni, A. S., Jernite, Y., & Strubell, E. (2024). Power Hungry Processing: Watts Driving the Cost of AI Deployment?. Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency (FAccT '24). https://arxiv.org/abs/2311.16863
Le type de sortie. Les images et la vidéo coûtent bien plus que le
texte, selon des facteurs qui varient d’une étude à l’autre, comme le montre
le tableau ci-dessous.
Sortie
Comparée à
Estimation
Source
Une image haute résolution
une courte requête en texte
jusqu’à environ dix fois plus
International Energy Agency (2026)
Une image
une génération de texte de dix jetons, en moyenne
environ soixante fois plus
Luccioni et al. (2024), modèles ouverts mesurés en 2023
Une vidéo
une courte requête en texte
de centaines à des milliers de fois plus, selon la durée et la résolution
International Energy Agency (2026)
Un extrait d’environ cinq secondes
une image dans Luccioni et al. (2024)
environ trente fois plus
Delavande et al. (2025), un modèle vidéo ouvert
Énergie par requête d'une image ou d'une vidéo, comparée au texte, dans trois études.
Les estimations diffèrent parce que les modèles, les réglages et ce qui a été
mesuré diffèrent : un tel multiplicateur ne vaut la peine d’être cité qu’avec
sa date et sa source.
Figure 7. Énergie d'une tâche sur les seules puces, pour des modèles ouverts dans des conditions normalisées, d'après l'Agence internationale de l'énergie (2026), avec une recharge de téléphone d'après l'agence américaine de protection de l'environnement (2026). L'AIE les présente comme des ordres de grandeur, pas comme les chiffres d'un produit particulier.
Cet agent est modéré. Un agent qui travaille sur une tâche pendant des heures
fait bien plus d’appels, et plusieurs agents qui travaillent en même temps
multiplient encore le compte. Les agents peuvent aussi continuer de tourner
alors que personne n’attend leur réponse, si bien que l’énergie qu’ils
consomment n’est plus liée au temps que quelqu’un passe devant l’écran
(International Energy Agency, 2026, p. 29).
Quand un modèle plus petit suffit
Un modèle plus petit, conçu pour une seule tâche, est souvent présenté comme
la solution à la consommation d’énergie des modèles généralistes. C’est la
solution pour certaines tâches, mais pas pour d’autres.
Là où un petit modèle suffit : une tâche étroite, avec beaucoup
d’exemples, par exemple trier des messages par catégorie ou reconnaître la
langue d’un texte. Les réponses possibles sont peu nombreuses et connues
d’avance : un petit système entraîné pour cette seule tâche peut bien s’en
acquitter et, répété un grand nombre de fois, il consomme bien moins
d’énergie qu’un modèle généraliste.
Un modèle trop petit pour la tâche peut aussi finir par coûter plus cher s’il
faut plusieurs essais pour obtenir une réponse
utilisable (see also the Putting it in proportion page) (voir aussi la page Remettre en proportion).
Là où la requête est traitée
Le même modèle, la même requête et le même nombre de jetons produisent des
émissions différentes à deux endroits, parce que le carbone dépend de
l’électricité utilisée. Produire un kilowattheure émet directement environ
960 grammes de CO2 avec du charbon, environ 390 avec une centrale au gaz
moderne, et pratiquement rien avec l’éolien, le solaire, l’hydroélectricité ou
le nucléaire. En moyenne, selon leur composition, les réseaux émettent environ
240 grammes par kilowattheure en Europe, 350 aux États-Unis et autour de 600
en Chine et en Asie du Sud-Est (International Energy Agency, 2025, p. 78 ;
Figure 8figure 8).Il s’agit uniquement des émissions directes, en moyenne de 2021 à 2023 : les chiffres excluent ce qu’émettent la construction et l’approvisionnement des centrales.
Figure 8. Émissions directes de CO2 par kilowattheure, par source d'énergie et par réseau régional, d'après l'Agence internationale de l'énergie (2025).
Un centre de traitement de données sur un réseau alimenté par
l’hydroélectricité ou le nucléaire produit donc une petite fraction des
émissions d’un centre sur un réseau dominé par le charbon. La différence vous
est invisible : une interface conversationnelle ne dit pas où votre requête a
été traitée.
Beaucoup d’exploitants achètent aussi de l’électricité renouvelable par
contrat. La plupart de ces contrats couvrent un volume d’électricité sur une
année plutôt que chaque heure d’utilisation, si bien que l’électricité qu’un
centre de traitement de données consomme réellement peut encore venir en
partie du gaz ou du charbon (International Energy Agency, 2025, p. 75).
Sources
Delavande, J., Pierrard, R., & Luccioni, A. S. (2025). Video Killed the Energy Budget: Characterizing the Latency and Power Regimes of Open Text-to-Video Models. arXiv preprint arXiv:2509.19222. https://doi.org/10.48550/arXiv.2509.19222
Kocmi, T., Artemova, E., Avramidis, E., Bawden, R., Bojar, O., Dranch, K., et al. (2025). Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 355–413. https://doi.org/10.18653/v1/2025.wmt-1.22
Luccioni, A. S., Jernite, Y., & Strubell, E. (2024). Power Hungry Processing: Watts Driving the Cost of AI Deployment?. Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency (FAccT '24). https://arxiv.org/abs/2311.16863
Total consumption rises regardless, for two reasons
(Figure 9figure 9):
Use grows faster than efficiency. Cheaper and more capable tools get
used more, and the extra use can exceed the saving: major model providers
reported three times as many active users over one year (International
Energy Agency, 2026). A saving eaten up by extra use is a rebound effect,
and when the extra use outweighs the saving it is known as the Jevons
paradox (Sorrell, 2009), the name the International Energy Agency (2026)
uses for what is happening with AI.
Figure 9. Energy per query falls while total energy rises. The curves are illustrative.
Sources
Elsworth, C., Huang, K., Patterson, D., Schneider, I., Sedivy, R., Goodman, S., Townsend, B., Ranganathan, P., Dean, J., Vahdat, A., Gomes, B., & Manyika, J. (2025). Measuring the environmental impact of delivering AI at Google Scale. arXiv preprint arXiv:2508.15734. https://doi.org/10.48550/arXiv.2508.15734
Sorrell, S. (2009). Jevons' Paradox revisited: The evidence for backfire from improved energy efficiency. Energy Policy, 37(4), 1456–1469. https://doi.org/10.1016/j.enpol.2008.12.003
Moins par requête, plus au total
L’énergie consommée par requête et l’énergie consommée au total évoluent en
sens inverse : un chiffre pour l’une ne dit donc rien de l’autre.
La consommation totale augmente malgré tout, pour deux raisons
(Figure 9figure 9) :
L’utilisation croît plus vite que l’efficacité. Des outils moins chers
et plus performants sont davantage utilisés, et ce surcroît d’utilisation
peut dépasser l’économie réalisée : les grands fournisseurs de modèles ont
déclaré trois fois plus d’utilisateurs actifs en un an (International Energy
Agency, 2026). Une économie absorbée par un surcroît d’utilisation est un
effet rebond, et quand le surcroît d’utilisation dépasse l’économie, on parle
de paradoxe de Jevons (Sorrell, 2009), le nom que l’Agence internationale de
l’énergie (2026) donne à ce qui se passe avec l’IA.
Figure 9. L'énergie par requête baisse alors que l'énergie totale augmente. Les courbes sont illustratives.
Sources
Elsworth, C., Huang, K., Patterson, D., Schneider, I., Sedivy, R., Goodman, S., Townsend, B., Ranganathan, P., Dean, J., Vahdat, A., Gomes, B., & Manyika, J. (2025). Measuring the environmental impact of delivering AI at Google Scale. arXiv preprint arXiv:2508.15734. https://doi.org/10.48550/arXiv.2508.15734
Sorrell, S. (2009). Jevons' Paradox revisited: The evidence for backfire from improved energy efficiency. Energy Policy, 37(4), 1456–1469. https://doi.org/10.1016/j.enpol.2008.12.003
Data centresCentres de traitement de données
What a data centre is
Every question you put to an online chat assistant, and every training run,
is processed in a data centre
(Figure 10figure 10).
Figure 10. Data centres among other commercial buildings in Loudoun County, Virginia, near Ashburn, photographed from a plane on 26 November 2025. Photo: Theodore Christopher, CC0, via Wikimedia Commons.
How big they are
A typical data centre built for AI uses as much electricity as 100,000
households, and the largest under construction will use 20 times as much
(International Energy Agency, 2025, p. 13;
Figure 11figure 11). Some of the gigawatt-scale
projects announced in 2025 would, on their own, exceed all the data-centre
capacity their host country has today (International Energy Agency, 2026,
p. 20).
Figure 11. The electricity use of data centres, counted in households. Data: International Energy Agency (2025, p. 13).
The pace is as striking as the size:
Capacity: the capacity of data centres built for AI more than tripled
in the 18 months before April 2026 (International Energy Agency, 2026,
p. 9).
Investment: the capital spending of just five technology companies,
largely on data centres, is now larger than the world’s investment in
producing oil and natural gas (International Energy Agency, 2026, p. 9).
The companies building the data centres are largely the ones that own the
models and the clouds.
Electricity
All data centres together, for AI and for everything else, used
about 1.5 % of the world’s electricity in 2024 (International Energy Agency,
2025). Their consumption grew by 17 % in 2025, that of the data centres built
for AI by 50 %, and the total is expected to roughly double between 2025 and
2030, to around 3 % of the world’s electricity (International Energy Agency,
2026). Because data centres cluster, the share is far higher in some places:
about 20 % of the electricity supplied in Ireland, over 10 % in six US states,
and 25 % in Virginia (International Energy Agency, 2025, p. 38;
Figure 12figure 12).
Figure 12. The share of electricity that goes to data centres. Data: International Energy Agency (2025, pp. 13, 38) for 2024, Ireland and Virginia; International Energy Agency (2026) for 2030.
The source of that electricity decides most of the emissions: the same
data centre emits far less on a grid of hydroelectric, nuclear or wind power
than on one of coal or gas
(Figure 13figure 13) (see also the What one use costs page) (voir aussi la page Ce que coûte une utilisation).
Figure 13. Google's data centre at Eemshaven, in the Netherlands, among wind turbines, with a power station in the background, photographed on 6 January 2023. Photo: Wvdp, CC0, via Wikimedia Commons.
The International Energy Agency (2025, p. 14) expects the growth to be supplied
from several sources:
Renewables supply about half of the growth in data centres’ demand, with
storage and the wider grid.
Natural gas adds about 175 terawatt-hours a year by 2035, notably in the
United States.
Nuclear power adds about as much again, notably in China, Japan and the
United States, with the first small modular reactors expected around 2030.
Water
Data centres use water in two places: to cool their servers on site, and at
the power plants that generate their electricity. Two measures of it are in
use, and they give very different numbers:
Withdrawal is all the water taken from rivers, lakes or the ground,
including water that is returned afterwards.
Consumption is the part that is not returned, mostly because it
evaporates (Li et al., 2025d).
Figure 14. Water withdrawn and water consumed, and where the water data centres consume goes. Data: International Energy Agency (2025, p. 242); the two measures as Li et al. (2025d) define them.
The International Energy Agency (2025, p. 242) puts the water consumption of
all data centres at about 560 billion litres a year
(Figure 14figure 14), a figure that could
roughly double by 2030. About two thirds of that water is used in producing
their electricity, a quarter in cooling them, and the rest in manufacturing
their chips. One large data centre of 100 megawatts in the United States
consumes about 2 million litres a day, as much as 6,500 households.
Li et al. (2025d) project that the water withdrawn for AI alone, for cooling
and at the power plants, could reach 4.2 to 6.6 billion cubic metres in
2027, more than four to six times what Denmark withdraws in a
year.A projection first made in 2023, in the preprint of the same study.
Set against other uses of water, these amounts are small on a national
scale. In 2023, all the data centres in the United States consumed about 66
billion litres on site, against more than 10 trillion litres for irrigating
the country’s corn (Masley, 2026b).Masley’s figure for data centres comes from the Lawrence Berkeley National Laboratory’s 2024 report, and counts only the water used on site, not at the power plants. He notes that some of his comparisons across kinds of use are not like-for-like.
Air, noise and land
Many data centres keep diesel generators for power cuts, and some newer ones
generate their own electricity on site, mostly from gas. The largest project
of this kind so far, in Tennessee, ran more than 400 megawatts of gas turbines
on site in 2024 and 2025, and more than 70 gigawatts of on-site gas-fired
capacity for data centres is in development (International Energy Agency,
2026, p. 51). Burning that gas and diesel near homes adds to local air
pollution
(Figure 15figure 15).
Figure 15. The roof of a data centre, with rows of cooling units and, to the left, backup generators, photographed on 23 November 2025. Photo: Rsparks3, CC0, via Wikimedia Commons.
Han et al. (2026) estimate that, in a scenario of high growth, the
air pollution from US data centres’ electricity and backup generators could
cost more than 20 billion US dollars a year in public health by 2028, and
that the burden per household in the most affected counties reaches about
seven times the national average.A preprint, accepted by Communications of the ACM. The estimate comes from the US Environmental Protection Agency’s screening model COBRA, and assumes backup generators emit 10 % of what their permits allow, where historical records show 3 % to 12 %.
A data centre also changes its surroundings directly. The buildings are
large, windowless and often grouped into campuses, with substations and new
power lines around them, sometimes on land that was fields or woods. Their
cooling equipment runs day and night, and can be heard from nearby homes.
Andy Masley, a writer who argues that most local objections to data centres
are not well founded, agrees that their local air pollution is real, with xAI’s
Colossus in South Memphis, powered by gas turbines next to already polluted
neighbourhoods, as the clearest case. He argues, however, that the estimate
of Han et al. is easy to read as a larger national harm than it is (Masley,
2026a).
Why they draw protests
A data centre is the part of AI that people can stand next to. A query has no
address, but a data centre has a site, a permit, a local council that decides
on it and neighbours who live with it. That makes it the place where the
environmental debate about AI turns into local politics. Masley (2025a) turns
the same observation around: the climate responds to total emissions wherever
they happen, and pooling computing in data centres uses less energy than
running it on everyone’s own machines, so a building people can see can draw
more attention than its share of the emissions warrants.
Communities are pushing back against data-centre projects, over their
environmental impact and over the effect of their electricity demand on
prices (International Energy Agency, 2026, p. 10). In the second quarter of
2025 alone, 20 projects in the United States with an estimated investment of
98 billion US dollars were blocked or delayed (International Energy Agency,
2026, p. 22).The IEA takes this count from Data Center Watch, a commercial tracker of local opposition. Its own report for April to June 2026 counts at least 45 projects worth nearly 68 billion US dollars blocked or delayed in that quarter, communities adopting moratoriums before any developer applied, and 30 US state legislatures taking up data-centre bills (Data Center Watch, Q2 2026, read 24 September 2026).
The reasons residents give are mostly local, for instance:
higher electricity bills;
water;
noise;
property values and the loss of green space;
the environment.The common themes named in Data Center Watch’s first report, on May 2024 to March 2025 (Data Center Watch, read 24 September 2026).
Not everyone reads the protests as justified. Masley reads the backlash as
being about data centres themselves and what people believe about them, not
as a hidden protest against AI or against the companies building them: in the
polls he cites, data centres are far less popular than other buildings the
same companies put up (Masley, 2026c). Of the claims made against them, he
accepts four (Masley, 2026f):
data centres will add meaningfully to US emissions;
xAI’s data centres in Memphis added air pollution to already polluted
neighbourhoods;
data centres built right next to homes cause noise;
in specific circumstances, they can raise electricity bills somewhat.
Sources
Han, Y., Wu, Z., Li, P., Wierman, A., & Ren, S. (2026). Health-Informed Computing: Estimating and Addressing the Public Health Impact of Data Centers. arXiv preprint arXiv:2412.06288, version 4. https://arxiv.org/abs/2412.06288
Chaque question que vous posez à un assistant conversationnel en ligne, et
chaque entraînement, est traité dans un centre de traitement de données
(Figure 10figure 10).
Figure 10. Des centres de traitement de données parmi d'autres bâtiments commerciaux dans le comté de Loudoun, en Virginie, près d'Ashburn, photographiés d'un avion le 26 novembre 2025. Photo : Theodore Christopher, CC0, via Wikimedia Commons.
Leur taille
Un centre de traitement de données typique conçu pour l’IA consomme autant
d’électricité que 100 000 ménages, et les plus grands en construction
consommeront vingt fois plus (International Energy Agency, 2025, p. 13 ;
Figure 11figure 11).
Certains des projets de l’ordre du gigawatt annoncés en 2025 dépasseraient à
eux seuls toute la capacité de centres de traitement de données dont dispose
aujourd’hui le pays qui les accueille (International Energy Agency, 2026,
p. 20).
Figure 11. La consommation d'électricité des centres de traitement de données, comptée en ménages. Données : Agence internationale de l'énergie (2025, p. 13).
Le rythme frappe autant que la taille :
Capacité : la capacité des centres de traitement de données conçus pour
l’IA a plus que triplé au cours des 18 mois précédant avril 2026
(International Energy Agency, 2026, p. 9).
Investissement : les dépenses d’investissement de cinq entreprises
technologiques seulement, en grande partie dans des centres de traitement de
données, dépassent désormais l’investissement mondial dans la production de
pétrole et de gaz naturel (International Energy Agency, 2026, p. 9). Les
entreprises qui construisent ces centres sont en grande partie celles qui
possèdent les modèles et les
nuages.
Électricité
L’ensemble des centres de traitement de données, pour l’IA comme pour tout le
reste, a consommé environ 1,5 % de l’électricité mondiale en 2024
(International Energy Agency, 2025). Leur consommation a augmenté de 17 % en
2025, celle des centres conçus pour l’IA de 50 %, et le total devrait à peu
près doubler entre 2025 et 2030, pour atteindre environ 3 % de l’électricité
mondiale (International Energy Agency, 2026). Comme les centres de traitement
de données se regroupent, la part est bien plus élevée à certains endroits :
environ 20 % de l’électricité fournie en Irlande, plus de 10 % dans six États
américains et 25 % en Virginie (International Energy Agency, 2025, p. 38 ;
Figure 12figure 12).
Figure 12. La part de l'électricité consommée par les centres de traitement de données. Données : Agence internationale de l'énergie (2025, pp. 13, 38) pour 2024, l'Irlande et la Virginie ; Agence internationale de l'énergie (2026) pour 2030.
La provenance de cette électricité détermine l’essentiel des émissions : le
même centre émet bien moins sur un réseau hydroélectrique, nucléaire ou
éolien que sur un réseau au charbon ou au gaz
(Figure 13figure 13) (see also the What one use costs page) (voir aussi la page Ce que coûte une utilisation).
Figure 13. Le centre de traitement de données de Google à Eemshaven, aux Pays-Bas, parmi des éoliennes, avec une centrale électrique à l'arrière-plan, photographié le 6 janvier 2023. Photo : Wvdp, CC0, via Wikimedia Commons.
L’Agence internationale de l’énergie (2025, p. 14) prévoit que la croissance
sera couverte par plusieurs sources :
Les énergies renouvelables couvrent environ la moitié de la croissance
de la demande des centres de traitement de données, avec le stockage et le
reste du réseau.
Le gaz naturel ajoute environ 175 térawattheures par an d’ici 2035,
notamment aux États-Unis.
Le nucléaire en ajoute à peu près autant, notamment en Chine, au Japon
et aux États-Unis, les premiers petits réacteurs modulaires étant attendus
vers 2030.
Eau
Les centres de traitement de données utilisent de l’eau à deux endroits :
pour refroidir leurs serveurs sur place, et dans les centrales qui produisent
leur électricité. Deux mesures sont en usage, et elles donnent des chiffres
très différents :
Le prélèvement désigne toute l’eau puisée dans les rivières, les lacs ou
les nappes souterraines, y compris l’eau qui y est rendue ensuite.
La consommation désigne la part qui n’est pas rendue, surtout parce
qu’elle s’évapore (Li et al., 2025d).
Figure 14. L'eau prélevée et l'eau consommée, et où va l'eau que consomment les centres de traitement de données. Données : Agence internationale de l'énergie (2025, p. 242) ; les deux mesures telles que les définissent Li et al. (2025d).
L’Agence internationale de l’énergie (2025, p. 242) estime la consommation
d’eau de l’ensemble des centres de traitement de données à environ
560 milliards de litres par an
(Figure 14figure 14),
un chiffre qui pourrait à peu près doubler d’ici 2030. Environ deux tiers de
cette eau servent à produire leur électricité, un quart à les refroidir, et le
reste à fabriquer leurs puces. Un grand centre de 100 mégawatts aux
États-Unis consomme environ 2 millions de litres par jour, autant que
6 500 ménages.
Li et al. (2025d) prévoient que l’eau prélevée pour la seule IA, pour le
refroidissement et dans les centrales, pourrait atteindre de 4,2 à
6,6 milliards de mètres cubes en 2027, soit plus de quatre à six fois ce que
prélève le Danemark en un an.Une projection faite pour la première fois en 2023, dans la prépublication de la même étude.
Comparées à d’autres usages de l’eau, ces quantités sont faibles à l’échelle
d’un pays. En 2023, l’ensemble des centres de traitement de données des
États-Unis a consommé environ 66 milliards de litres sur place, contre plus
de 10 000 milliards de litres pour irriguer le maïs du pays (Masley,
2026b).Le chiffre de Masley pour les centres de traitement de données vient du rapport 2024 du Lawrence Berkeley National Laboratory, et ne compte que l’eau utilisée sur place, pas dans les centrales. Masley note que certaines de ses comparaisons entre types d’usage ne portent pas sur des choses équivalentes.
Air, bruit et territoire
Beaucoup de centres de traitement de données gardent des génératrices au
diesel en cas de panne, et certains des plus récents produisent leur propre
électricité sur place, surtout à partir du gaz. Le plus grand projet de ce
type jusqu’ici, au Tennessee, a fait fonctionner plus de 400 mégawatts de
turbines à gaz sur place en 2024 et 2025, et plus de 70 gigawatts de capacité
au gaz sur place sont en développement pour des centres de traitement de
données (International Energy Agency, 2026, p. 51). Brûler ce gaz et ce
diesel près des habitations ajoute à la pollution de l’air locale
(Figure 15figure 15).
Figure 15. Le toit d'un centre de traitement de données, avec des rangées d'appareils de refroidissement et, à gauche, des génératrices de secours, photographié le 23 novembre 2025. Photo : Rsparks3, CC0, via Wikimedia Commons.
Han et al. (2026) estiment que, dans un scénario de forte croissance, la
pollution de l’air due à l’électricité et aux génératrices de secours des
centres de traitement de données américains pourrait coûter plus de
20 milliards de dollars américains par an en santé publique d’ici 2028, et
que la charge par ménage dans les comtés les plus touchés atteint environ sept
fois la moyenne nationale.Une prépublication, acceptée par Communications of the ACM. L’estimation vient de COBRA, le modèle de dépistage de l’agence américaine de protection de l’environnement, et suppose que les génératrices de secours émettent 10 % de ce que leurs permis autorisent, alors que les données historiques montrent de 3 % à 12 %.
Un centre de traitement de données modifie aussi directement son
environnement. Les bâtiments sont grands, sans fenêtres et souvent regroupés
en campus, entourés de postes électriques et de nouvelles lignes de
transport, parfois sur des terres qui étaient des champs ou des bois. Leurs
équipements de refroidissement fonctionnent jour et nuit et s’entendent
depuis les maisons voisines.
Andy Masley, un auteur qui soutient que la plupart des objections locales aux
centres de traitement de données ne tiennent pas, reconnaît que la pollution
de l’air locale qu’ils causent est réelle, le cas le plus net étant Colossus,
de xAI, dans le sud de Memphis, alimenté par des turbines à gaz à côté de
quartiers déjà pollués. Il soutient cependant que l’estimation de Han et al.
se prête à une lecture qui en fait un tort national plus grand qu’il ne l’est
(Masley, 2026a).
Pourquoi ils suscitent des contestations
Un centre de traitement de données est la partie de l’IA à côté de laquelle
on peut se tenir. Une requête n’a pas d’adresse, mais un centre de traitement
de données a un emplacement, un permis, un conseil municipal qui statue à son
sujet et des voisins qui vivent avec. C’est donc là que le débat
environnemental sur l’IA devient de la politique locale. Masley (2025a)
retourne le même constat : le climat réagit aux émissions totales où qu’elles
se produisent, et regrouper le calcul dans des centres de traitement de
données consomme moins d’énergie que de le faire tourner sur les machines de
chacun, si bien qu’un bâtiment visible peut attirer plus d’attention que sa
part des émissions ne le justifie.
Des collectivités s’opposent à des projets de centres de traitement de
données, en raison de leur impact environnemental et de l’effet de leur
demande d’électricité sur les prix (International Energy Agency, 2026,
p. 10). Au seul deuxième trimestre de 2025, 20 projets aux États-Unis,
représentant un investissement estimé à 98 milliards de dollars américains,
ont été bloqués ou retardés (International Energy Agency, 2026,
p. 22).L’AIE tire ce décompte de Data Center Watch, un service commercial qui suit l’opposition locale. Son propre rapport pour avril à juin 2026 compte au moins 45 projets, d’une valeur de près de 68 milliards de dollars américains, bloqués ou retardés pendant ce trimestre, des collectivités qui adoptent des moratoires avant même qu’un promoteur ait fait une demande, et 30 assemblées législatives d’États américains qui examinent des projets de loi sur les centres de données (Data Center Watch, Q2 2026, consulté le 24 septembre 2026).
Les raisons avancées par les résidents sont surtout locales, par exemple :
la hausse des factures d’électricité ;
l’eau ;
le bruit ;
la valeur des propriétés et la perte d’espaces verts ;
l’environnement.Les thèmes communs relevés dans le premier rapport de Data Center Watch, portant sur mai 2024 à mars 2025 (Data Center Watch, consulté le 24 septembre 2026).
Tout le monde ne juge pas ces contestations justifiées. Masley voit dans ce
mouvement une réaction aux centres de traitement de données eux-mêmes et à ce
que les gens en pensent, et non une contestation déguisée de l’IA ou des
entreprises qui les construisent : dans les sondages qu’il cite, les centres
de données sont bien moins populaires que d’autres bâtiments construits par
les mêmes entreprises (Masley, 2026c). Parmi les reproches qui leur sont faits,
il en accepte quatre (Masley, 2026f) :
les centres de traitement de données augmenteront de façon notable les
émissions des États-Unis ;
les centres de xAI à Memphis ont ajouté de la pollution de l’air à des
quartiers déjà pollués ;
les centres construits juste à côté des habitations causent du bruit ;
dans certaines circonstances, ils peuvent faire augmenter quelque peu les
factures d’électricité.
Sources
Han, Y., Wu, Z., Li, P., Wierman, A., & Ren, S. (2026). Health-Informed Computing: Estimating and Addressing the Public Health Impact of Data Centers. arXiv preprint arXiv:2412.06288, version 4. https://arxiv.org/abs/2412.06288
Figure 16. Four ways of counting the cost of the same query, with an example of each, from Elsworth et al. (2025) and Mistral AI (2025).
The boundary changes the figure considerably. For the same median prompt,
Google’s figure is 0.10 watt-hours when only the active chips are counted,
in its most efficient data centres, and 0.24 when the host machines, the
idle capacity and the rest of the data centre are counted across its whole
fleet (Elsworth et al., 2025). Two figures computed differently therefore
cannot be set against each other.
Figure 17. The lifecycle table from Mistral's infographic, published with its assessment on 22 July 2025 (Mistral AI, 2025). The boxes of advice under the table are left out.
Efficiency moves
The energy of one query can fall sharply within a year, by a factor of 33
in the case Google reported (see also the Efficiency and rebound page) (voir aussi la page Efficacité et effet rebond).
A figure from a year ago can therefore overstate the current cost
substantially, and a number without a date is not usable.
Where a figure comes from
The sources of environmental figures for AI differ in what they can tell
you, and the table below sets out four kinds.
Source
Example
What to keep in mind
A provider’s own report
Mistral’s lifecycle assessment, prepared with a consultancy and ADEME, the French ecological transition agency, and reviewed by two other consultancies (Mistral AI, 2025)
The data are the provider’s own, and Mistral itself calls the study “a first approximation”
A provider’s research paper
Google’s measurement of its Gemini apps (Elsworth et al., 2025)
Detailed on method, but a preprint, written by the provider’s staff about the provider’s own service
Peer-reviewed research
Luccioni et al. (2024), who ran a thousand queries per dataset on each of 88 open models
Measured under controlled conditions and firmer, but narrower: it covers the models and tasks that were tested
A newspaper figure
a comparison with a household appliance or a bottle of water
Often derived from one of the three above, sometimes in several steps: trace it back to the measurement behind it
Four kinds of source for the environmental cost of AI, and what to keep in mind about each.
Sources
Elsworth, C., Huang, K., Patterson, D., Schneider, I., Sedivy, R., Goodman, S., Townsend, B., Ranganathan, P., Dean, J., Vahdat, A., Gomes, B., & Manyika, J. (2025). Measuring the environmental impact of delivering AI at Google Scale. arXiv preprint arXiv:2508.15734. https://doi.org/10.48550/arXiv.2508.15734
Luccioni, A. S., Jernite, Y., & Strubell, E. (2024). Power Hungry Processing: Watts Driving the Cost of AI Deployment?. Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency (FAccT '24). https://arxiv.org/abs/2311.16863
Les chiffres sur le coût environnemental de l’IA se contredisent souvent, et
la plupart de ces désaccords viennent de la façon dont ils ont été produits.
Figure 16. Quatre façons de compter le coût d'une même requête, avec un exemple pour chacune, d'après Elsworth et al. (2025) et Mistral AI (2025).
Le périmètre change le chiffre considérablement. Pour la même requête
médiane, le chiffre de Google est de 0,10 wattheure quand seules les puces
actives sont comptées, dans ses centres les plus efficaces, et de 0,24 quand
les machines hôtes, la capacité inactive et le reste du centre sont comptés
sur l’ensemble de son parc (Elsworth et al., 2025). Deux chiffres calculés
différemment ne peuvent donc pas être mis en regard l’un de l’autre.
Figure 17. Le tableau du cycle de vie tiré de l'infographie de Mistral, publiée avec son analyse le 22 juillet 2025 (Mistral AI, 2025). Les encadrés de conseils sous le tableau ne sont pas reproduits.
L’efficacité évolue
L’énergie d’une requête peut baisser fortement en un an, d’un facteur 33 dans
le cas rapporté par Google (see also the Efficiency and rebound page) (voir aussi la page Efficacité et effet rebond).
Un chiffre vieux d’un an peut donc nettement surestimer le coût actuel, et un
chiffre sans date n’est pas utilisable.
D’où vient un chiffre
Les sources de chiffres environnementaux sur l’IA ne peuvent pas vous
apprendre les mêmes choses ; le tableau ci-dessous en présente quatre types.
Source
Exemple
À garder en tête
Le rapport d’un fournisseur
L’analyse du cycle de vie de Mistral, préparée avec un cabinet de conseil et l’ADEME, l’Agence de la transition écologique, puis revue par deux autres cabinets (Mistral AI, 2025)
Les données sont celles du fournisseur, et Mistral qualifie lui-même l’étude de « first approximation » [ma traduction : « première approximation »]
L’article de recherche d’un fournisseur
La mesure de Google sur ses applications Gemini (Elsworth et al., 2025)
Détaillé sur la méthode, mais c’est une prépublication, écrite par le personnel du fournisseur sur le service du fournisseur
La recherche évaluée par les pairs
Luccioni et al. (2024), qui ont lancé un millier de requêtes par jeu de données sur chacun de 88 modèles ouverts
Mesurée dans des conditions contrôlées et plus solide, mais plus étroite : elle ne couvre que les modèles et les tâches testés
Un chiffre dans un journal
une comparaison avec un appareil ménager ou une bouteille d’eau
Souvent tiré de l’une des trois sources ci-dessus, parfois en plusieurs étapes : remontez jusqu’à la mesure qui le fonde
Quatre types de sources sur le coût environnemental de l'IA, et ce qu'il faut garder en tête pour chacune.
Sources
Elsworth, C., Huang, K., Patterson, D., Schneider, I., Sedivy, R., Goodman, S., Townsend, B., Ranganathan, P., Dean, J., Vahdat, A., Gomes, B., & Manyika, J. (2025). Measuring the environmental impact of delivering AI at Google Scale. arXiv preprint arXiv:2508.15734. https://doi.org/10.48550/arXiv.2508.15734
Luccioni, A. S., Jernite, Y., & Strubell, E. (2024). Power Hungry Processing: Watts Driving the Cost of AI Deployment?. Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency (FAccT '24). https://arxiv.org/abs/2311.16863
Asking whether your own use of a chat assistant harms the environment, and
asking whether the build-out of AI infrastructure harms it, are different
questions with different answers. The table below sets them side by side.
Your own use
The build-out of AI
The question
Does using a chat assistant harm the environment?
Does the expansion of AI’s infrastructure harm it?
How large
Small for plain text: about a gram of CO2 for a short answer
Large and growing: the electricity use of data centres is expected to roughly double by 2030
What changes it
The size of the model, the reasoning effort, the kind of output and how often you generate again
Investment, where data centres are built and on which grid, and the rules they have to follow
Over a year, the numbers stay small next to other things people do. Andy
Masley’s (2026e) online calculator puts a typical day of chatbot use, 27
prompts to three current models, at about 7.6 kilograms of CO2 a year: about as much as
a cotton T-shirt, a tenth of a year of daily coffee, and a small fraction of
a single long flight
(Figure 18figure 18).The calculator takes each model’s energy from EcoLogits, an open-source, peer-reviewed estimator (Rincé & Banse, 2025), puts it on the US grid, and includes the manufacture of the hardware but not training or image and video generation. Masley notes that the figures for Claude are based on guesses about how those models are built. He is an independent writer, funded by a grant from Coefficient Giving and writing from an effective altruist perspective, who argues that personal chatbot use has little climate impact. Captured 24 September 2026.
Figure 18. A year of typical chatbot use next to other sources of emissions, in Andy Masley's calculator, captured on 24 September 2026. The calculator is dedicated to the public domain.
Masley (2025b) adds an argument about scale: a small share of one person’s
emissions stays the same small share of the world’s however many people cut
it, so a change that barely affects your own footprint barely affects the
world’s either, and changes to the electricity grid do far more than changes
to what each person does.
The International Energy Agency’s figures give the scale of it:
Among the fastest-growing sources of emissions. The electricity used by
data centres emitted about 180 million tonnes of CO2 in 2024, and the agency
expects about 300 million by 2035, which would still be below 1.5 % of the
energy sector’s emissions (International Energy Agency, 2025, p. 18).
One driver of electricity demand among several. Data centres account
for about a tenth of the growth in the world’s electricity demand to 2030,
less than industrial motors, air conditioning or electric vehicles, but
their demand is concentrated in a few places (International Energy Agency,
2025, pp. 14, 38).
AI is also used to cut emissions in other sectors, for instance to forecast
the output of wind and solar power, locate faults on electricity grids, or run
buildings and factories more efficiently (International Energy Agency, 2025,
pp. 15–16). These are mostly uses of AI other than chatbots. The agency
estimates that the broad use of AI applications that exist today could cut
emissions by the equivalent of about 5 % of energy-related emissions in 2035 (International
Energy Agency, 2025, p. 18). That would be far more than data centres
emit, but far less than what is needed to address climate change. The agency
adds that the savings depend on overcoming barriers to adoption, that rebound
effects could undercut them, and that AI “is not a silver bullet”.
There are many good reasons to decline these tools. The environmental reason
is strongest for the heavy uses: generating video, running agents over many
steps, or using the largest model for
a task a small one would do.
Where you can choose, preferring providers that publish their figures also
helps, since only disclosure makes any of this measurable.
A search engine or a chatbot
For a question a search engine can answer, two things weigh on the choice
between searching and asking a chatbot:
A chatbot answer costs less than first estimated. An estimate made
in 2023 put one chatbot answer at about 3 watt-hours, some ten times
the 0.3 reported for a Google search (de Vries, 2023, p. 2192). The
figures companies published in 2025 are about a tenth of that: 0.24
watt-hours for Google’s median Gemini prompt and 0.34 for the average
ChatGPT query, and they are likely lower already (International Energy
Agency, 2026, p. 32).
A search may now generate text as well. Google, for instance, calls its
AI Overviews a core feature of Search that cannot be turned off; the Web
filter, chosen after a search, shows only the
links.From Google’s help page on AI Overviews (Google Search Help, read 24 September 2026).
A list of results still gives you the sources to check, which is a reason of
its own to search when the question is one of fact.
A small model several times, or a large one once
A smaller model costs less per answer, roughly in proportion to its size
(Mistral AI, 2025), but it may take several tries to give an answer you can
use, and each try is a full generation. Several tries on a model a tenth of
the size still cost less than one answer from the large model. The comparison
turns with reasoning: in the International Energy
Agency’s comparison, a medium-sized model with reasoning turned on used 7.6
watt-hours for one answer, where a larger model without it used 0.31
(International Energy Agency, 2026, p. 29) (see also the What one use costs page) (voir aussi la page Ce que coûte une utilisation).
Your own time counts as well: an answer you can use at the first try saves
the time spent reading and correcting the others.
Elsworth, C., Huang, K., Patterson, D., Schneider, I., Sedivy, R., Goodman, S., Townsend, B., Ranganathan, P., Dean, J., Vahdat, A., Gomes, B., & Manyika, J. (2025). Measuring the environmental impact of delivering AI at Google Scale. arXiv preprint arXiv:2508.15734. https://doi.org/10.48550/arXiv.2508.15734
Rincé, S., & Banse, A. (2025). EcoLogits: Evaluating the Environmental Impacts of Generative AI. Journal of Open Source Software, 10(111), 7471. https://doi.org/10.21105/joss.07471
Se demander si votre propre utilisation d’un assistant conversationnel nuit à
l’environnement, et se demander si l’expansion des infrastructures de l’IA lui
nuit, sont deux questions différentes, aux réponses différentes. Le tableau
ci-dessous les met côte à côte.
Votre propre utilisation
L’expansion de l’IA
La question
Utiliser un assistant conversationnel nuit-il à l’environnement ?
L’expansion des infrastructures de l’IA lui nuit-elle ?
L’ampleur
Faible pour du texte seul : environ un gramme de CO2 pour une courte réponse
Importante et en hausse : la consommation d’électricité des centres de traitement de données devrait à peu près doubler d’ici 2030
Ce qui la fait varier
La taille du modèle, l’effort de raisonnement, le type de sortie et la fréquence à laquelle vous relancez la génération
L’investissement, l’emplacement des centres et le réseau qui les alimente, et les règles qu’ils doivent suivre
Sur une année, les chiffres restent faibles à côté d’autres activités. Le
calculateur en ligne d’Andy Masley (2026e) estime une journée type
d’utilisation d’agents conversationnels, 27 requêtes à trois modèles actuels,
à environ 7,6 kilogrammes de CO2 par an : à peu près autant qu’un t-shirt en
coton, un dixième d’une année de café quotidien, et une petite fraction d’un
seul vol long-courrier
(Figure 18figure 18).Le calculateur tire l’énergie de chaque modèle d’EcoLogits, un estimateur libre évalué par les pairs (Rincé & Banse, 2025), la rapporte au réseau américain, et inclut la fabrication du matériel, mais pas l’entraînement ni la génération d’images et de vidéos. Masley note que les chiffres pour Claude reposent sur des hypothèses sur la conception de ces modèles. C’est un auteur indépendant, financé par une subvention de Coefficient Giving et qui écrit dans une perspective d’altruisme efficace ; il soutient que l’utilisation personnelle des agents conversationnels a peu d’impact sur le climat. Capture du 24 septembre 2026.
Figure 18. Une année d'utilisation typique d'agents conversationnels à côté d'autres sources d'émissions, dans le calculateur d'Andy Masley, capture du 24 septembre 2026. Le calculateur est versé dans le domaine public.
Masley (2025b) ajoute un argument d’échelle : une petite part des émissions
d’une personne reste la même petite part de celles du monde, quel que soit le
nombre de personnes qui la réduisent ; un changement qui touche à peine votre
propre empreinte touche donc à peine celle du monde, et les changements dans
le réseau électrique font bien plus que les changements dans ce que fait
chacun.
Les chiffres de l’Agence internationale de l’énergie en donnent l’ampleur :
Parmi les sources d’émissions qui croissent le plus vite. L’électricité
consommée par les centres de traitement de données a émis environ
180 millions de tonnes de CO2 en 2024, et l’agence en prévoit environ 300
millions d’ici 2035, ce qui resterait sous 1,5 % des émissions du secteur de
l’énergie (International Energy Agency, 2025, p. 18).
Une cause de la demande d’électricité parmi d’autres. Les centres de
traitement de données représentent environ un dixième de la croissance de la
demande mondiale d’électricité d’ici 2030, moins que les moteurs
industriels, la climatisation ou les véhicules électriques, mais leur
demande est concentrée en quelques endroits (International Energy Agency,
2025, pp. 14, 38).
L’IA sert aussi à réduire les émissions d’autres secteurs, par exemple pour
prévoir la production éolienne et solaire, localiser les pannes sur les
réseaux électriques, ou rendre les bâtiments et les usines plus efficaces
(International Energy Agency, 2025, pp. 15–16). Il s’agit surtout d’usages de
l’IA autres que les agents conversationnels. L’agence estime que l’adoption
générale d’applications d’IA qui existent déjà pourrait réduire les émissions
de l’équivalent d’environ 5 % des émissions liées à l’énergie en 2035
(International Energy Agency, 2025, p. 18). Ce serait bien plus que ce
qu’émettent les centres de traitement de données, mais bien moins que ce qu’il
faut pour faire face aux changements climatiques. L’agence ajoute que ces
économies dépendent de la levée d’obstacles à l’adoption, que des effets
rebond pourraient les réduire, et que l’IA « is not a silver bullet » [ma
traduction : « n’est pas une solution miracle »].
Il y a bien des bonnes raisons de refuser ces outils. La raison
environnementale est la plus forte pour les usages lourds : générer de la
vidéo, faire tourner des agents sur de nombreuses étapes, ou utiliser le plus
grand modèle pour une tâche qu’un petit ferait.
Quand vous avez le choix, privilégier les fournisseurs qui publient leurs
chiffres aide aussi, puisque seule la divulgation permet de mesurer quoi que ce
soit de tout cela.
Un moteur de recherche ou un agent conversationnel
Pour une question à laquelle un moteur de recherche peut répondre, deux
éléments pèsent sur le choix entre chercher et interroger un agent
conversationnel :
Une réponse d’agent conversationnel coûte moins qu’on ne l’estimait au
départ. Une estimation faite en 2023 situait une réponse d’agent
conversationnel à environ 3 wattheures, quelque dix fois les 0,3 rapportés
pour une recherche Google (de Vries, 2023, p. 2192). Les chiffres publiés
par les entreprises en 2025 en représentent environ un dixième : 0,24
wattheure pour la requête médiane de Gemini de Google et 0,34 pour la
requête moyenne de ChatGPT, et ils sont probablement déjà plus bas
(International Energy Agency, 2026, p. 32).
Une recherche peut désormais produire du texte, elle aussi. Google, par
exemple, présente ses aperçus IA (AI Overviews) comme une fonction de base
de la recherche qui ne peut pas être désactivée ; le filtre Web, choisi après
une recherche, n’affiche que les
liens.D’après la page d’aide de Google sur les AI Overviews (Aide Recherche Google, consultée le 24 septembre 2026).
Une liste de résultats vous donne toujours les sources à vérifier, ce qui est
en soi une raison de chercher quand la question porte sur un fait.
Un petit modèle plusieurs fois, ou un grand une seule fois
Un modèle plus petit coûte moins par réponse, à peu près en proportion de sa
taille (Mistral AI, 2025), mais il faut parfois plusieurs essais pour obtenir
une réponse utilisable, et chaque essai est une génération complète. Plusieurs
essais sur un modèle dix fois plus petit coûtent tout de même moins qu’une
réponse du grand modèle. La comparaison s’inverse avec le raisonnement : dans
la comparaison de l’Agence internationale de l’énergie, un modèle de taille
moyenne avec le raisonnement activé consommait 7,6 wattheures pour une
réponse, contre 0,31 pour un modèle plus grand sans raisonnement
(International Energy Agency, 2026,
p. 29) (see also the What one use costs page) (voir aussi la page Ce que coûte une utilisation). Votre
propre temps compte aussi : une réponse utilisable du premier coup vous
épargne le temps passé à lire et à corriger les autres.
Elsworth, C., Huang, K., Patterson, D., Schneider, I., Sedivy, R., Goodman, S., Townsend, B., Ranganathan, P., Dean, J., Vahdat, A., Gomes, B., & Manyika, J. (2025). Measuring the environmental impact of delivering AI at Google Scale. arXiv preprint arXiv:2508.15734. https://doi.org/10.48550/arXiv.2508.15734
Rincé, S., & Banse, A. (2025). EcoLogits: Evaluating the Environmental Impacts of Generative AI. Journal of Open Source Software, 10(111), 7471. https://doi.org/10.21105/joss.07471