Linguistic hegemonyL'hégémonie linguistique
TRA6008 S3 · in classS3 · en classe
English at every step
English is the most common language on the web, and most of the text language models learn from is English. The term for an imbalance of this kind, in which one language is treated as the norm and the others get fewer resources, is linguistic hegemony.
In language models language model (LM)modèle de langue language modelsmodèles de langue A machine-learning model that estimates how likely different sequences of language are.Modèle d'apprentissage automatique qui estime la probabilité de différentes séquences de langue. , the dominance of English is not limited to the training text. The table below sets out five steps of building a model where it enters; several of them are explained on other pages.
The last row feeds back into the others. Models are compared mostly on English benchmarks, so improving other languages earns developers less credit, and the imbalance has less pressure to shrink.Wu et al. (2025c) examined over 2,000 multilingual benchmarks published between 2021 and 2024; their paper is a preprint. Yoo et al. tested ten models in 2024; Micallef and Borg, 55 models on Maltese.
L’anglais à chaque étape
L’anglais est la langue la plus courante sur le Web, et la plus grande partie du texte dont apprennent les modèles de langue est en anglais. Un déséquilibre de ce genre, où une langue est traitée comme la norme et où les autres reçoivent moins de ressources, porte le nom d’hégémonie linguistique.
Dans les modèles de langue language model (LM)modèle de langue language modelsmodèles de langue A machine-learning model that estimates how likely different sequences of language are.Modèle d'apprentissage automatique qui estime la probabilité de différentes séquences de langue. , la domination de l’anglais ne se limite pas au texte d’entraînement. Le tableau ci-dessous présente cinq étapes de la construction d’un modèle où elle intervient ; plusieurs d’entre elles sont expliquées sur d’autres pages.
| Étape | Où l’anglais domine | Ce qu’il en coûte aux autres langues |
|---|---|---|
| Texte d’entraînement | Celui de GPT-3 était à 92,7 % en anglais et à 1,8 % en français (Xu et al., 2025) (see also the Which languages, and how unevenly page, in the LLM lifecycle module) (voir aussi la page Quelles langues, et dans quelles proportions, dans le module Cycle de vie des GML) | Les performances d’un modèle dans une langue suivent la part de cette langue dans le texte d’entraînement (Li et al., 2025b) |
| Segmenteur tokenization²jetonisation² language modelsmodèles de langue The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. | Construit surtout à partir de texte anglais | Plus de jetons token²jeton textuel² language modelsmodèles de langue A unit of text that a language model processes or generates.Unité de texte qu'un modèle de langue traite ou génère. Un jeton peut correspondre à un mot entier, à une partie de mot, à un signe de ponctuation ou à une séquence plus petite de caractères ou d'octets. pour le même contenu : plus de calcul, des réponses plus lentes, un prix plus élevé et de moins bons résultats (Petrov et al., 2023 ; Ali et al., 2024) (see also the token gap between languages page, in the Language as numbers module) (voir aussi la page L'écart de jetons entre les langues, dans le module Le langage en nombres) |
| Affinage fine-tuningaffinage machine learningapprentissage automatique Further training of a pretrained model on new data to adapt it for a particular task, domain, or intended behaviour.Poursuite de l'entraînement d'un modèle préentraîné sur un jeu de données généralement plus restreint et spécialisé, afin de l'adapter à une tâche ou à un domaine particulier. | Les données d’instructions sont surtout en anglais, et les autres langues en reçoivent souvent des traductions (Indurthi et al., 2024) | Les instructions traduites passent à côté de nuances linguistiques (Indurthi et al., 2024) ; pour le maltais, l’exposition à la langue pendant l’entraînement et l’affinage était le facteur le plus déterminant des performances (Micallef et Borg, 2025) |
| Entraînement à la sécurité | La sécurité fonctionne moins bien dans les langues moins dotées (see also the Jailbreaking and red teaming page, in the LLM lifecycle module) (voir aussi la page Débridage et équipes rouges, dans le module Cycle de vie des GML) | Les demandes mêlant plusieurs langues ont déjoué l’entraînement à la sécurité plus souvent que les mêmes demandes en anglais (Yoo et al., 2025) |
| Tests de performances benchmarktest de performances evaluationévaluation A standardized evaluation used to measure and compare how AI systems perform on particular tasks or capabilities.Évaluation normalisée servant à mesurer et à comparer la performance de systèmes d'IA sur des tâches ou des capacités données. | L’anglais reste surreprésenté malgré d’importants investissements dans les tests multilingues (Wu et al., 2025c) | Les tests traduits de l’anglais concordent moins bien avec les jugements humains locaux que les tests conçus localement (Wu et al., 2025c), si bien que les progrès dans les autres langues sont mesurés de façon moins fiable |
La dernière ligne rejaillit sur les autres. Les modèles sont surtout comparés sur des tests de performances en anglais : améliorer les autres langues rapporte donc moins aux développeurs, et le déséquilibre subit moins de pression pour se résorber.Wu et al. (2025c) ont examiné plus de 2 000 tests de performances multilingues publiés de 2021 à 2024 ; leur article est une prépublication. Yoo et al. ont testé dix modèles en 2024 ; Micallef et Borg, 55 modèles sur le maltais.
Sources
- Ali, M., Fromm, M., Thellmann, K., Rutmann, R., Lübbering, M., et al. (2024). Tokenizer Choice For LLM Training: Negligible or Crucial?. Findings of the Association for Computational Linguistics: NAACL 2024, 3907–3924. https://aclanthology.org/2024.findings-naacl.247/
- Indurthi, S. R., Zhou, W., Chollampatt, S., Agrawal, R., Song, K., Zhao, L., & Zhu, C. (2024). Improving Multilingual Instruction Finetuning via Linguistically Natural and Diverse Datasets. Findings of the Association for Computational Linguistics: EMNLP 2024, 2306–2323. https://doi.org/10.18653/v1/2024.findings-emnlp.128
- Li, Z., Shi, Y., Liu, Z., Yang, F., Payani, A., Liu, N., & Du, M. (2025b). Language Ranker: A Metric for Quantifying LLM Performance Across High and Low-Resource Languages. Proceedings of the AAAI Conference on Artificial Intelligence, 39(27), 28186–28194. https://doi.org/10.1609/aaai.v39i27.35038
- Micallef, K., & Borg, C. (2025). MELABenchv1: Benchmarking Large Language Models against Smaller Fine-Tuned Models for Low-Resource Maltese NLP. Findings of the Association for Computational Linguistics: ACL 2025, 20505–20527. https://doi.org/10.18653/v1/2025.findings-acl.1053
- Petrov, A., La Malfa, E., Torr, P., & Bibi, A. (2023). Language Model Tokenizers Introduce Unfairness Between Languages. Advances in Neural Information Processing Systems 36 (NeurIPS 2023). https://proceedings.neurips.cc/paper_files/paper/2023/hash/74bb24dca8334adce292883b4b651eda-Abstract-Conference.html
- Wu, M., Wang, W., Liu, S., Yin, H., Wang, X., Zhao, Y., Lyu, C., Wang, L., Luo, W., & Zhang, K. (2025c). The Bitter Lesson Learned from 2,000+ Multilingual Benchmarks. arXiv preprint 2504.15521. https://arxiv.org/abs/2504.15521
- Xu, Y., Hu, L., Zhao, J., Qiu, Z., Xu, K., Ye, Y., & Gu, H. (2025). A survey on multilingual large language models: corpora, alignment, and bias. Frontiers of Computer Science, 19(11), 1911362. https://doi.org/10.1007/s11704-024-40579-4
- Yoo, H., Yang, Y., & Lee, H. (2025). Code-Switching Red-Teaming: LLM Evaluation for Safety and Multilingual Understanding. Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 13392–13413. https://doi.org/10.18653/v1/2025.acl-long.657
Sources
- Ali, M., Fromm, M., Thellmann, K., Rutmann, R., Lübbering, M., et al. (2024). Tokenizer Choice For LLM Training: Negligible or Crucial?. Findings of the Association for Computational Linguistics: NAACL 2024, 3907–3924. https://aclanthology.org/2024.findings-naacl.247/
- Indurthi, S. R., Zhou, W., Chollampatt, S., Agrawal, R., Song, K., Zhao, L., & Zhu, C. (2024). Improving Multilingual Instruction Finetuning via Linguistically Natural and Diverse Datasets. Findings of the Association for Computational Linguistics: EMNLP 2024, 2306–2323. https://doi.org/10.18653/v1/2024.findings-emnlp.128
- Li, Z., Shi, Y., Liu, Z., Yang, F., Payani, A., Liu, N., & Du, M. (2025b). Language Ranker: A Metric for Quantifying LLM Performance Across High and Low-Resource Languages. Proceedings of the AAAI Conference on Artificial Intelligence, 39(27), 28186–28194. https://doi.org/10.1609/aaai.v39i27.35038
- Micallef, K., & Borg, C. (2025). MELABenchv1: Benchmarking Large Language Models against Smaller Fine-Tuned Models for Low-Resource Maltese NLP. Findings of the Association for Computational Linguistics: ACL 2025, 20505–20527. https://doi.org/10.18653/v1/2025.findings-acl.1053
- Petrov, A., La Malfa, E., Torr, P., & Bibi, A. (2023). Language Model Tokenizers Introduce Unfairness Between Languages. Advances in Neural Information Processing Systems 36 (NeurIPS 2023). https://proceedings.neurips.cc/paper_files/paper/2023/hash/74bb24dca8334adce292883b4b651eda-Abstract-Conference.html
- Wu, M., Wang, W., Liu, S., Yin, H., Wang, X., Zhao, Y., Lyu, C., Wang, L., Luo, W., & Zhang, K. (2025c). The Bitter Lesson Learned from 2,000+ Multilingual Benchmarks. arXiv preprint 2504.15521. https://arxiv.org/abs/2504.15521
- Xu, Y., Hu, L., Zhao, J., Qiu, Z., Xu, K., Ye, Y., & Gu, H. (2025). A survey on multilingual large language models: corpora, alignment, and bias. Frontiers of Computer Science, 19(11), 1911362. https://doi.org/10.1007/s11704-024-40579-4
- Yoo, H., Yang, Y., & Lee, H. (2025). Code-Switching Red-Teaming: LLM Evaluation for Safety and Multilingual Understanding. Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 13392–13413. https://doi.org/10.18653/v1/2025.acl-long.657