Steering toward a cultureOrienter les réponses vers une culture
TRA6008 S3 · in classS3 · en classe
Changing the language, changing the request
Two ways of moving the answer toward another culture have been tested: asking in that culture’s language, and saying which culture to answer for. The table below sets out what four studies found.
| What changes in the prompt promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. | What happened |
|---|---|
| Asking in another language | Prompted in Arabic with sentences set in an Arab context, sixteen language models language model (LM)modèle de langue language modelsmodèles de langue A machine-learning model that estimates how likely different sequences of language are.Modèle d'apprentissage automatique qui estime la probabilité de différentes séquences de langue. still often chose Western names, foods and drinks, including models trained on Arabic text alone (Naous et al., 2024) |
| Asking in English | English prompts “reduce the variance in model responses, flattening out cultural differences and biasing them towards American culture” (Cao et al., 2023) |
| Saying which culture to answer for | The answers of the more recent models moved closer to the survey data for 71 to 81 % of countries and territories, and made no difference or got worse for the rest (Tao et al., 2024) |
| Both at once | No better than stating the culture in an English prompt, and stating the culture helped more than the prompt language alone (Bulté & Rigouts Terryn, 2026) |
The Arabic result is not only about the prompt. The models trained on Arabic text alone leaned Western too, if less than the multilingual ones, and Naous et al. (2024) locate a likely reason in the training text itself: much of it is about Western topics, Arabic Wikipedia most of all among the six corpora they compared. Training on a language does not mean training on its culture. The same is true of the language itself: a model trained further on Dutch still wrote some anglicisms (see also the English in other languages page) (voir aussi la page L'anglais dans les autres langues).
The first two studies tested models of 2023 and earlier: Naous et al. sixteen models from 2018 to 2023, many of them not chat models, and Cao et al. ChatGPT, on survey questions for five countries.
In the study with Bram Bulté, neither approach removed the lean toward the same few countries: the improvements were modest and never enough to overcome it.
Defaults in writing for an audience
When a model writes for a particular audience, it settles details the request rarely spells out, such as which units to use, which examples to give, how formal to be and which country’s institutions to name. Unless the request says otherwise, those details follow the most common case in the training text, and nothing in the output marks them as choices. The table below gives three kinds, with an example of each.
| What gets settled | Example of a default | What the request can state |
|---|---|---|
| Local references: units, dates, prices, examples | A text for readers in Belgium that gives prices in dollars and writes the date as 09/23/2026 | The country or region of the readers |
| Tone: how formal, how direct | A reply to a customer complaint that opens on first names and an exclamation mark, for a customer who expects a formal letter | Who the readers are and how they should be addressed |
| Institutions and legal terms | A French text on employee rights, meant for Quebec, that names France’s Code du travail and prud’hommes instead of Quebec’s Loi sur les normes du travail and Tribunal administratif du travail | The language variety and the jurisdiction, for instance “French for Quebec” |
Naming the readers, their country and the language variety in the request gives the model something to go on (see also the Be specific and ask for enough page, in the Using LLMs module) (voir aussi la page Être précis et en demander assez, dans le module Utiliser les GML). Check these details in the output anyway: as the studies above found for culture, stating what you want moves the answer without always getting it there.
Changer la langue, changer la demande
Deux façons de déplacer la réponse vers une autre culture ont été testées : poser la question dans la langue de cette culture, et préciser pour quelle culture répondre. Le tableau ci-dessous présente ce qu’ont trouvé quatre études.
| Ce qui change dans la requête promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. | Ce qui s’est passé |
|---|---|
| Poser la question dans une autre langue | Sollicités en arabe par des phrases situées dans un contexte arabe, seize modèles de langue language model (LM)modèle de langue language modelsmodèles de langue A machine-learning model that estimates how likely different sequences of language are.Modèle d'apprentissage automatique qui estime la probabilité de différentes séquences de langue. choisissaient encore souvent des prénoms, des plats et des boissons occidentaux, y compris des modèles entraînés sur du texte arabe seulement (Naous et al., 2024) |
| Poser la question en anglais | Les requêtes en anglais « reduce the variance in model responses, flattening out cultural differences and biasing them towards American culture » [ma traduction : « réduisent la variance des réponses des modèles, aplanissant les différences culturelles et les faisant pencher vers la culture américaine »] (Cao et al., 2023) |
| Préciser pour quelle culture répondre | Les réponses des modèles les plus récents se sont rapprochées des données d’enquête pour 71 à 81 % des pays et territoires, et n’ont pas changé ou se sont éloignées pour les autres (Tao et al., 2024) |
| Les deux à la fois | Pas mieux que de préciser la culture dans une requête en anglais ; préciser la culture aidait davantage que la seule langue de la requête (Bulté et Rigouts Terryn, 2026) |
Le résultat en arabe ne tient pas seulement à la requête. Les modèles entraînés sur du texte arabe seulement penchaient eux aussi vers l’Occident, quoique moins que les modèles multilingues, et Naous et al. (2024) en situent une raison probable dans le texte d’entraînement lui-même : une bonne partie porte sur des sujets occidentaux, Wikipédia en arabe plus que tout autre des six corpus qu’ils ont comparés. Un modèle entraîné sur une langue ne l’est pas pour autant sur sa culture. Il en va de même de la langue elle-même : un modèle entraîné ensuite sur du néerlandais produisait encore des anglicismes (see also the English in other languages page) (voir aussi la page L'anglais dans les autres langues).
Les deux premières études portaient sur des modèles de 2023 et d’avant : Naous et al. sur seize modèles de 2018 à 2023, dont beaucoup ne sont pas des modèles conversationnels, et Cao et al. sur ChatGPT, avec des questions d’enquête pour cinq pays.
Dans l’étude menée avec Bram Bulté, aucune des deux approches n’a effacé le penchant vers les mêmes quelques pays : les améliorations étaient modestes et jamais suffisantes pour le surmonter.
Les choix par défaut quand on écrit pour un public
Quand un modèle écrit pour un public particulier, il tranche des détails que la demande précise rarement, par exemple les unités à employer, les exemples à donner, le degré de formalité ou le pays dont il faut nommer les institutions. Sauf indication contraire, ces détails suivent le cas le plus fréquent dans le texte d’entraînement, et rien dans la sortie ne les signale comme des choix. Le tableau ci-dessous en présente trois types, avec un exemple pour chacun.
| Ce qui est tranché | Exemple de choix par défaut | Ce que la demande peut préciser |
|---|---|---|
| Références locales : unités, dates, prix, exemples | Un texte destiné à des lecteurs en Belgique qui donne les prix en dollars et écrit la date 09/23/2026 | Le pays ou la région des lecteurs |
| Ton : degré de formalité, franchise | Une réponse à une plainte de client qui commence par le prénom et un point d’exclamation, pour un client qui s’attend à une lettre formelle | Qui sont les lecteurs et comment s’adresser à eux |
| Institutions et termes juridiques | Un texte en français sur les droits des salariés, destiné au Québec, qui nomme le Code du travail et les prud’hommes de France au lieu de la Loi sur les normes du travail et du Tribunal administratif du travail du Québec | La variété de langue et le territoire, par exemple « français du Québec » |
Nommer les lecteurs, leur pays et la variété de langue dans la demande donne au modèle quelque chose sur quoi s’appuyer (see also the Be specific and ask for enough page, in the Using LLMs module) (voir aussi la page Être précis et en demander assez, dans le module Utiliser les GML). Vérifiez quand même ces détails dans la sortie : comme les études ci-dessus l’ont montré pour la culture, préciser ce que l’on veut rapproche la réponse du but sans toujours l’y amener.
Sources
- Bulté, B., & Rigouts Terryn, A. (2026). LLMs and Cultural Values: The Impact of Prompt Language and Explicit Cultural Framing. Computational Linguistics, 52(2), 407–494. https://doi.org/10.1162/COLI.a.583
- Cao, Y., Zhou, L., Lee, S., Cabello, L., Chen, M., & Hershcovich, D. (2023). Assessing Cross-Cultural Alignment between ChatGPT and Human Societies: An Empirical Study. Proceedings of the First Workshop on Cross-Cultural Considerations in NLP (C3NLP), 53–67. https://doi.org/10.18653/v1/2023.c3nlp-1.7
- Naous, T., Ryan, M. J., Ritter, A., & Xu, W. (2024). Having Beer after Prayer? Measuring Cultural Bias in Large Language Models. Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 16366–16393. https://doi.org/10.18653/v1/2024.acl-long.862
- Tao, Y., Viberg, O., Baker, R. S., & Kizilcec, R. F. (2024). Cultural bias and cultural alignment of large language models. PNAS Nexus, 3(9), pgae346. https://doi.org/10.1093/pnasnexus/pgae346
Sources
- Bulté, B., & Rigouts Terryn, A. (2026). LLMs and Cultural Values: The Impact of Prompt Language and Explicit Cultural Framing. Computational Linguistics, 52(2), 407–494. https://doi.org/10.1162/COLI.a.583
- Cao, Y., Zhou, L., Lee, S., Cabello, L., Chen, M., & Hershcovich, D. (2023). Assessing Cross-Cultural Alignment between ChatGPT and Human Societies: An Empirical Study. Proceedings of the First Workshop on Cross-Cultural Considerations in NLP (C3NLP), 53–67. https://doi.org/10.18653/v1/2023.c3nlp-1.7
- Naous, T., Ryan, M. J., Ritter, A., & Xu, W. (2024). Having Beer after Prayer? Measuring Cultural Bias in Large Language Models. Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 16366–16393. https://doi.org/10.18653/v1/2024.acl-long.862
- Tao, Y., Viberg, O., Baker, R. S., & Kizilcec, R. F. (2024). Cultural bias and cultural alignment of large language models. PNAS Nexus, 3(9), pgae346. https://doi.org/10.1093/pnasnexus/pgae346