LLM leaderboardsLes classements de GML

What a score measures

A new model is usually announced with a list of benchmarks on which it beats the last one (see also the Benchmarks and test sets page, in the Evaluating language technology module) (voir aussi la page Tests de performances et jeux de test, dans le module L'évaluation des technologies langagières). The best-known benchmark for general knowledge, MMLU (Massive Multitask Language Understanding), tests models on about 14,000 multiple-choice questions across 57 subjects, from elementary mathematics to professional law, and a model’s score is the share it answers correctly (Hendrycks et al., 2021).

So the first thing to check about any score is the questions behind it. A multiple-choice knowledge test says nothing about writing, a coding test nothing about translation, and a test of English says little about French. A leaderboard that averages several benchmarks into one number hides which of them a model did well on (Figure 1figure 1). The Artificial Analysis Intelligence Index, for instance, averages ten tests (see also the Families, generations and tiers page) (voir aussi la page Familles, générations et niveaux).

Three reasons a score means less than it looks

The test was in the training data

A public benchmark is text on the web, and models are trained on web text. A model that has seen the questions, or papers discussing the answers, scores higher without being better. This is data contamination.

It is hard to check from outside, because the training data is rarely disclosed (see also the Training data chapter, in the LLM lifecycle module) (voir aussi le chapitre Les données d'entraînement, dans le module Cycle de vie des GML), but it has to be checked benchmark by benchmark rather than assumed absent (Sainz et al., 2023).

Researchers have also leaked test sets themselves, by pasting benchmark questions into a chat interface that may train on its conversations. Balloccu et al. (2024) went through 255 papers and estimated that about 4.7 million test items from 263 benchmarks had reached OpenAI’s GPT-3.5 and GPT-4 that way.

The test became the target

A benchmark with commercial weight invites providers to train toward it, and a model tuned to a test improves on the test faster than on the ability the test was meant to stand for. The pattern is old enough to have a name.

When a measure becomes a target, it ceases to be a good measure.

Strathern (1997, p. 308), whose sentence is usually quoted as Goodhart’s law

When the best models reach the ceiling, a harder benchmark replaces it. MMLU gave way to tests written to be failed, such as Humanity’s Last Exam: 2,500 expert-level questions, kept only if the models of the day answered them wrongly. In the evaluation published with it, no model answered more than about a quarter correctly (Phan et al., 2026). By September 2026, the best score measured by Artificial Analysis was above half.Artificial Analysis, Humanity’s Last Exam Benchmark Leaderboard, read 17 September 2026: best score 59.1%. The leaderboard kept by the benchmark’s authors at agi.safe.ai listed 38.3% as its best score on the same day, but had not added the newest models.

The test is not your task

A benchmark measures a defined skill on defined material. Your work involves particular kinds of text, in particular languages, with conventions of your own or of the people you work for, and no public benchmark is about that.

The score tells you which model did better on that test; only your own cases tell you which does better for you (see also the Testing it yourself page) (voir aussi la page Faire vos propres tests).

Sources

• Balloccu, S., Schmidtová, P., Lango, M., & Dušek, O. (2024). Leak, Cheat, Repeat: Data Contamination and Evaluation Malpractices in Closed-Source LLMs. Proceedings of the 18th Conference of the European Chapter of the Association for Computational Linguistics (Volume 1: Long Papers), 67–93. https://doi.org/10.18653/v1/2024.eacl-long.5
• Hendrycks, D., Burns, C., Basart, S., Zou, A., Mazeika, M., Song, D., & Steinhardt, J. (2021). Measuring Massive Multitask Language Understanding. Proceedings of the Ninth International Conference on Learning Representations (ICLR 2021). https://openreview.net/forum?id=d7KBjmI3GmQ
• Phan, L., Gatti, A., Li, N., Khoja, A., Kim, R., Ren, R., et al. (2026). A benchmark of expert-level academic questions to assess AI capabilities. Nature, 649(8099), 1139–1146. https://doi.org/10.1038/s41586-025-09962-4
• Sainz, O., Campos, J., García-Ferrero, I., Etxaniz, J., Lopez de Lacalle, O., & Agirre, E. (2023). NLP Evaluation in Trouble: On the Need to Measure LLM Data Contamination for Each Benchmark. Findings of the Association for Computational Linguistics: EMNLP 2023, 10776–10787. https://doi.org/10.18653/v1/2023.findings-emnlp.722
• Strathern, M. (1997). 'Improving ratings': audit in the British University system. European Review, 5(3), 305–321. https://doi.org/10.1002/(SICI)1234-981X(199707)5:3<305::AID-EURO184>3.0.CO;2-4

Ce que mesure un score

Un nouveau modèle est d’habitude annoncé avec une liste de tests sur lesquels il fait mieux que le précédent (see also the Benchmarks and test sets page, in the Evaluating language technology module) (voir aussi la page Tests de performances et jeux de test, dans le module L'évaluation des technologies langagières). Le plus connu pour les connaissances générales, MMLU (Massive Multitask Language Understanding), soumet les modèles à environ 14 000 questions à choix multiple réparties dans 57 matières, des mathématiques élémentaires au droit professionnel ; le score d’un modèle est la proportion de bonnes réponses (Hendrycks et al., 2021).

La première chose à vérifier, pour tout score, ce sont donc les questions qui le produisent. Un test de connaissances à choix multiple ne dit rien de l’écriture, un test de programmation rien de la traduction, et un test en anglais dit peu de chose du français. Un classement qui fait la moyenne de plusieurs tests en un seul chiffre cache ceux sur lesquels un modèle a réussi (Figure 1figure 1). L’Artificial Analysis Intelligence Index, par exemple, fait la moyenne de dix tests (see also the Families, generations and tiers page) (voir aussi la page Familles, générations et niveaux).

Trois raisons pour lesquelles un score veut dire moins qu’il n’y paraît

Le test figurait dans les données d’entraînement

Un test public est du texte sur le Web, et les modèles sont entraînés sur du texte du Web. Un modèle qui a vu les questions, ou des articles qui discutent des réponses, obtient un meilleur score sans être meilleur. C’est la contamination des données.

Elle est difficile à vérifier de l’extérieur, parce que les données d’entraînement sont rarement rendues publiques (see also the Training data chapter, in the LLM lifecycle module) (voir aussi le chapitre Les données d'entraînement, dans le module Cycle de vie des GML), mais elle doit être vérifiée test par test plutôt que supposée absente (Sainz et al., 2023).

Des chercheurs ont aussi eux-mêmes fait fuiter des jeux de test, en collant des questions de tests dans une interface de clavardage qui peut s’entraîner sur ses conversations. Balloccu et al. (2024) ont passé en revue 255 articles et estimé qu’environ 4,7 millions d’éléments de test tirés de 263 tests étaient parvenus de cette façon à GPT-3.5 et à GPT-4 d’OpenAI.

Le test est devenu la cible

Un test qui compte commercialement incite les fournisseurs à entraîner leurs modèles en vue de ce test, et un modèle ajusté à un test progresse plus vite sur le test que sur la compétence que le test était censé représenter. Le phénomène est assez ancien pour porter un nom.

« Lorsqu’une mesure devient un objectif, elle cesse d’être une bonne mesure. »

Strathern (1997, p. 308), dont la phrase est habituellement citée comme la loi de Goodhart (ma traduction)

Quand les meilleurs modèles atteignent le plafond, un test plus difficile prend la relève. MMLU a cédé la place à des tests conçus pour être échoués, comme Humanity’s Last Exam : 2 500 questions de niveau expert, conservées seulement si les modèles de l’époque y répondaient mal. Dans l’évaluation publiée avec ce test, aucun modèle n’a répondu correctement à plus d’environ un quart des questions (Phan et al., 2026). En septembre 2026, le meilleur score mesuré par Artificial Analysis dépassait la moitié.Artificial Analysis, Humanity’s Last Exam Benchmark Leaderboard, consulté le 17 septembre 2026 : meilleur score de 59,1 %. Le classement tenu par les auteurs du test sur agi.safe.ai indiquait 38,3 % comme meilleur score le même jour, mais n’avait pas encore ajouté les modèles les plus récents.

Le test n’est pas votre tâche

Un test mesure une compétence définie sur un matériau défini. Votre travail porte sur des types de textes particuliers, dans des langues particulières, avec des conventions qui sont les vôtres ou celles des personnes pour qui vous travaillez, et aucun test public ne porte là-dessus.

Le score vous dit quel modèle a fait mieux sur ce test ; seuls vos propres cas vous disent lequel fait mieux pour vous (see also the Testing it yourself page) (voir aussi la page Faire vos propres tests).

Sources

• Balloccu, S., Schmidtová, P., Lango, M., & Dušek, O. (2024). Leak, Cheat, Repeat: Data Contamination and Evaluation Malpractices in Closed-Source LLMs. Proceedings of the 18th Conference of the European Chapter of the Association for Computational Linguistics (Volume 1: Long Papers), 67–93. https://doi.org/10.18653/v1/2024.eacl-long.5
• Hendrycks, D., Burns, C., Basart, S., Zou, A., Mazeika, M., Song, D., & Steinhardt, J. (2021). Measuring Massive Multitask Language Understanding. Proceedings of the Ninth International Conference on Learning Representations (ICLR 2021). https://openreview.net/forum?id=d7KBjmI3GmQ
• Phan, L., Gatti, A., Li, N., Khoja, A., Kim, R., Ren, R., et al. (2026). A benchmark of expert-level academic questions to assess AI capabilities. Nature, 649(8099), 1139–1146. https://doi.org/10.1038/s41586-025-09962-4
• Sainz, O., Campos, J., García-Ferrero, I., Etxaniz, J., Lopez de Lacalle, O., & Agirre, E. (2023). NLP Evaluation in Trouble: On the Need to Measure LLM Data Contamination for Each Benchmark. Findings of the Association for Computational Linguistics: EMNLP 2023, 10776–10787. https://doi.org/10.18653/v1/2023.findings-emnlp.722
• Strathern, M. (1997). 'Improving ratings': audit in the British University system. European Review, 5(3), 305–321. https://doi.org/10.1002/(SICI)1234-981X(199707)5:3<305::AID-EURO184>3.0.CO;2-4

Two answers, one vote

On an arena site, a visitor types a question and two anonymous models answer side by side (Figure 2figure 2). The vote says which answer is better, or that both are good or both are bad, and only then are the two names revealed. Millions of such votes, combined with a statistical model of paired comparisons, give each model a score and the models a ranking (Zheng et al., 2023; Chiang et al., 2024).

Because the questions are whatever people bring, the ranking reflects the questions people actually ask, which a fixed test cannot, and because the answers are anonymous, a brand cannot be voted for by name. The best-known such site, Chatbot Arena, now called Arena, began as a research project at the University of California, Berkeley, and became a company in 2025. Its text leaderboard listed over four hundred models and eight million votes when read for this page (Figure 3figure 3).arena.ai, formerly lmarena.ai, read 17 September 2026: 402 models, 8,146,274 votes, leaderboard dated 13 September 2026. On the move from academic project to company: Bloomberg, Chatbot Arena group goes from academic project to $600 million startup, 21 May 2025.

What a preference is not

It is not correctness. Checking the facts in an answer takes time, so a vote tends to reward what reads well, and a long answer full of facts can win while containing errors. Arena therefore corrects for this: style control, which discounts length and formatting, is applied by default, and an optional factuality factualityfactualité evaluationévaluation The extent to which the factual claims in generated content are correct according to reliable evidence about the world.Mesure dans laquelle les affirmations factuelles d'un contenu généré sont correctes au regard de preuves fiables sur le monde. adjustment scores how many of an answer’s claims are confirmed when they are checked automatically against the web.Arena, Factuality in the Arena, 14 July 2026, updated 31 July 2026, read 17 September 2026: “a long response with many facts may seem comprehensive and win a human preference vote, but it may also introduce factual errors”; the factuality ranking starts “as a non-default toggle”, and by Arena’s measurement how much people like a model and how factual it is are only weakly related. Style control was selected by default on the leaderboard the same day.

It is not your task. The ranking aggregates everybody’s questions, so a model that wins overall may be weaker on yours.

It is not equal for every model. Singh et al. (2025b) found that one provider had tested 27 private variants of a model on the arena before making one of them public, and that two providers each received about a fifth of the arena’s data while 83 open-weight models open-weight modelmodèle à poids ouverts AIIA An AI model whose trained parameters, commonly called weights, are made available for others to download.Modèle d'IA dont les paramètres entraînés, appelés poids, sont offerts au téléchargement. together received under a third.Measured from January 2024 to April 2025, before the arena became a company. Such an imbalance lets the largest providers tune their models toward the arena itself.

It moves. A release next month reorders the ranking, and the rating of a model that is no longer updated drifts as the others move around it.

Sources

• Chiang, W.-L., Zheng, L., Sheng, Y., Angelopoulos, A. N., Li, T., Li, D., et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. Proceedings of the 41st International Conference on Machine Learning (PMLR 235). https://proceedings.mlr.press/v235/chiang24b.html
• Singh, S., Nan, Y., Wang, A., D'Souza, D., Kapoor, S., Üstün, A., et al. (2025b). The Leaderboard Illusion. Advances in Neural Information Processing Systems 38 (NeurIPS 2025), Datasets and Benchmarks Track. https://openreview.net/forum?id=4Ae8edNqm0
• Zheng, L., Chiang, W.-L., Sheng, Y., Zhuang, S., Wu, Z., Zhuang, Y., et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. Advances in Neural Information Processing Systems 36 (NeurIPS 2023), Datasets and Benchmarks Track. https://proceedings.neurips.cc/paper_files/paper/2023/hash/91f18a1287b398d378ef22505bf41832-Abstract-Datasets_and_Benchmarks.html

Deux réponses, un vote

Sur un site d’arène, une personne tape une question, et deux modèles anonymes y répondent côte à côte (Figure 2figure 2). Le vote indique quelle réponse est la meilleure, ou que les deux sont bonnes ou les deux mauvaises, et ce n’est qu’ensuite que les noms des deux modèles apparaissent. Des millions de votes de ce genre, combinés à un modèle statistique de comparaisons par paires, donnent un score à chaque modèle et un classement de l’ensemble (Zheng et al., 2023 ; Chiang et al., 2024).

Comme les questions sont celles que les gens apportent, le classement reflète les questions que l’on pose réellement, ce qu’un test fixe ne peut pas faire, et comme les réponses sont anonymes, on ne peut pas voter pour une marque. Le site le plus connu de ce genre, Chatbot Arena, aujourd’hui appelé Arena, a commencé comme projet de recherche à l’Université de Californie à Berkeley et est devenu une entreprise en 2025. Son classement de textes comptait plus de quatre cents modèles et huit millions de votes au moment de la consultation pour cette page (Figure 3figure 3).arena.ai, anciennement lmarena.ai, consulté le 17 septembre 2026 : 402 modèles, 8 146 274 votes, classement daté du 13 septembre 2026. Sur le passage du projet universitaire à l’entreprise : Bloomberg, Chatbot Arena group goes from academic project to $600 million startup, 21 mai 2025.

Ce qu’une préférence n’est pas

Ce n’est pas l’exactitude. Vérifier les faits d’une réponse prend du temps : un vote tend donc à récompenser ce qui se lit bien, et une longue réponse pleine de faits peut l’emporter tout en contenant des erreurs. Arena corrige donc ce biais : le contrôle du style, qui neutralise la longueur et la mise en forme, s’applique par défaut, et un ajustement facultatif de factualité factualityfactualité evaluationévaluation The extent to which the factual claims in generated content are correct according to reliable evidence about the world.Mesure dans laquelle les affirmations factuelles d'un contenu généré sont correctes au regard de preuves fiables sur le monde. note la part des affirmations d’une réponse qui tiennent lorsqu’on les vérifie automatiquement sur le Web.Arena, Factuality in the Arena, 14 juillet 2026, mis à jour le 31 juillet 2026, consulté le 17 septembre 2026 : « a long response with many facts may seem comprehensive and win a human preference vote, but it may also introduce factual errors » ; le classement de factualité commence « as a non-default toggle », et selon la mesure d’Arena, le fait qu’un modèle plaise et le fait qu’il soit factuel ne sont que faiblement liés. Le contrôle du style était sélectionné par défaut sur le classement le même jour.

Ce n’est pas votre tâche. Le classement agrège les questions de tout le monde : un modèle qui l’emporte au classement général peut être moins bon sur les vôtres.

Ce n’est pas égal pour tous les modèles. Singh et al. (2025b) ont constaté qu’un fournisseur avait testé 27 variantes privées d’un modèle sur l’arène avant d’en rendre une publique, et que deux fournisseurs avaient reçu chacun environ un cinquième des données de l’arène, alors que 83 modèles à poids ouverts open-weight modelmodèle à poids ouverts AIIA An AI model whose trained parameters, commonly called weights, are made available for others to download.Modèle d'IA dont les paramètres entraînés, appelés poids, sont offerts au téléchargement. en avaient reçu ensemble moins d’un tiers.Mesures de janvier 2024 à avril 2025, avant que l’arène devienne une entreprise. Un tel déséquilibre permet aux plus grands fournisseurs d’ajuster leurs modèles en fonction de l’arène elle-même.

Il évolue sans cesse. Une nouvelle version le mois suivant réordonne le classement, et la note d’un modèle qui n’est plus mis à jour dérive à mesure que les autres se déplacent autour de lui.

Sources

• Chiang, W.-L., Zheng, L., Sheng, Y., Angelopoulos, A. N., Li, T., Li, D., et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. Proceedings of the 41st International Conference on Machine Learning (PMLR 235). https://proceedings.mlr.press/v235/chiang24b.html
• Singh, S., Nan, Y., Wang, A., D'Souza, D., Kapoor, S., Üstün, A., et al. (2025b). The Leaderboard Illusion. Advances in Neural Information Processing Systems 38 (NeurIPS 2025), Datasets and Benchmarks Track. https://openreview.net/forum?id=4Ae8edNqm0
• Zheng, L., Chiang, W.-L., Sheng, Y., Zhuang, S., Wu, Z., Zhuang, Y., et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. Advances in Neural Information Processing Systems 36 (NeurIPS 2023), Datasets and Benchmarks Track. https://proceedings.neurips.cc/paper_files/paper/2023/hash/91f18a1287b398d378ef22505bf41832-Abstract-Datasets_and_Benchmarks.html

Most benchmarks are in English

Most benchmarks are written in English, so a model’s score on them says nothing direct about how it handles French or any other language. There are two ways round that: translate the test, or build one per language.

Translating the test

OpenAI had MMLU’s test set test setjeu de données de test machine learningapprentissage automatique A portion of a dataset held back from both model training and model selection and used to evaluate the final model.Portion d'un jeu de données tenue à l'écart tant de l'entraînement que de la sélection du modèle et servant à évaluer le modèle final. Son but est d'estimer la performance du modèle achevé sur de nouvelles données issues de la tâche ou de la population visée. translated into fourteen languages, French among them, by professional translators, so that the same questions could be asked in each.OpenAI, MMMLU dataset card, read 15 September 2026: “We translated the MMLU’s test set into 14 languages using professional human translators.” That is worth more than no test at all: it shows whether a model does in French what it does in English.

What translation does not fix

Nevertheless, a translated question is still the same question. Singh et al. (2025a) found that 28% of the MMLU questions they annotated need knowledge specific to a culture or a region, most often North American or European. A question about an amendment to the American constitution, asked in French, still tests knowledge of American civics (Figure 5figure 5). Their Global MMLU marks those questions, and the ranking of models changes depending on whether they are scored on the whole set or on that subset alone.

Tests built language by language

EuroEval keeps one leaderboard per European language, French included, on tasks such as reading comprehension, summarization and linguistic acceptability (Nielsen, 2023). Its French tests mix material written in French, such as news summaries and questions about French Wikipedia articles, with tests translated from English, and its documentation says which is which. The AI Language Proficiency Monitor follows up to two hundred languages, mostly with translated datasets (Pomerenke et al., 2025).EuroEval, formerly ScandEval, with its French datasets, and the AI Language Proficiency Monitor, read 15 September 2026 and 17 September 2026.

Such rankings differ from one language to the next. On 17 September 2026, the model ranked first on EuroEval’s English leaderboard was not among the first ten in French (Figure 6figure 6 and Figure 7figure 7).

Sources

• Nielsen, D. S. (2023). ScandEval: A Benchmark for Scandinavian Natural Language Processing. Proceedings of the 24th Nordic Conference on Computational Linguistics (NoDaLiDa 2023), 185–201. https://aclanthology.org/2023.nodalida-1.20/
• Pomerenke, D., Nothnagel, J., & Ostermann, S. (2025). The AI Language Proficiency Monitor: Tracking the Progress of LLMs on Multilingual Benchmarks. Preprint, arXiv:2507.08538. https://arxiv.org/abs/2507.08538
• Singh, S., Romanou, A., Fourrier, C., Adelani, D. I., Ngui, J. G., Vila-Suero, D., et al. (2025a). Global MMLU: Understanding and Addressing Cultural and Linguistic Biases in Multilingual Evaluation. Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 18761–18799. https://doi.org/10.18653/v1/2025.acl-long.919

La plupart des tests sont en anglais

La plupart des tests sont rédigés en anglais : le score d’un modèle à ces tests ne dit donc rien de direct sur ce qu’il fait en français ou dans une autre langue. Il y a deux façons de contourner le problème : traduire le test, ou en concevoir un par langue.

Traduire le test

OpenAI a fait traduire le jeu de données de test test setjeu de données de test machine learningapprentissage automatique A portion of a dataset held back from both model training and model selection and used to evaluate the final model.Portion d'un jeu de données tenue à l'écart tant de l'entraînement que de la sélection du modèle et servant à évaluer le modèle final. Son but est d'estimer la performance du modèle achevé sur de nouvelles données issues de la tâche ou de la population visée. de MMLU dans quatorze langues, dont le français, par des traductrices et traducteurs professionnels, afin de pouvoir poser les mêmes questions dans chacune.OpenAI, fiche du jeu de données MMMLU, consultée le 15 septembre 2026 : « We translated the MMLU’s test set into 14 languages using professional human translators. » C’est mieux que pas de test du tout : cela montre si un modèle fait en français ce qu’il fait en anglais.

Ce que la traduction ne règle pas

Une question traduite reste néanmoins la même question. Singh et al. (2025a) ont constaté que 28 % des questions de MMLU qu’ils ont annotées demandent des connaissances propres à une culture ou à une région, le plus souvent nord-américaine ou européenne. Une question sur un amendement de la Constitution américaine, posée en français, évalue toujours des connaissances en instruction civique américaine (Figure 5figure 5). Leur Global MMLU signale ces questions, et le classement des modèles change selon qu’ils sont notés sur l’ensemble des questions ou sur ce sous-ensemble seulement.

Des tests conçus langue par langue

EuroEval tient un classement par langue européenne, dont le français, sur des tâches comme la compréhension de lecture, le résumé et l’acceptabilité linguistique (Nielsen, 2023). Ses tests français mêlent des textes rédigés en français, comme des résumés d’articles de presse et des questions sur des articles de Wikipédia en français, et des tests traduits de l’anglais, et sa documentation précise lesquels sont lesquels. L’AI Language Proficiency Monitor suit jusqu’à deux cents langues, surtout avec des jeux de données traduits (Pomerenke et al., 2025).EuroEval, anciennement ScandEval, avec ses jeux de données français, et l’AI Language Proficiency Monitor, consultés le 15 septembre 2026 et le 17 septembre 2026.

Ces classements diffèrent d’une langue à l’autre. Le 17 septembre 2026, le modèle en tête du classement anglais d’EuroEval ne figurait pas parmi les dix premiers en français (Figure 6figure 6 et Figure 7figure 7).

Sources

• Nielsen, D. S. (2023). ScandEval: A Benchmark for Scandinavian Natural Language Processing. Proceedings of the 24th Nordic Conference on Computational Linguistics (NoDaLiDa 2023), 185–201. https://aclanthology.org/2023.nodalida-1.20/
• Pomerenke, D., Nothnagel, J., & Ostermann, S. (2025). The AI Language Proficiency Monitor: Tracking the Progress of LLMs on Multilingual Benchmarks. Preprint, arXiv:2507.08538. https://arxiv.org/abs/2507.08538
• Singh, S., Romanou, A., Fourrier, C., Adelani, D. I., Ngui, J. G., Vila-Suero, D., et al. (2025a). Global MMLU: Understanding and Addressing Cultural and Linguistic Biases in Multilingual Evaluation. Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 18761–18799. https://doi.org/10.18653/v1/2025.acl-long.919

Shared tasks

For translation, the best-known comparison is the annual WMT shared task, where dozens of systems translate the same test set test setjeu de données de test machine learningapprentissage automatique A portion of a dataset held back from both model training and model selection and used to evaluate the final model.Portion d'un jeu de données tenue à l'écart tant de l'entraînement que de la sélection du modèle et servant à évaluer le modèle final. Son but est d'estimer la performance du modèle achevé sur de nouvelles données issues de la tâche ou de la population visée. and human judges rank the output (see also the WMT shared task chapter, in the Machine translation module) (voir aussi le chapitre La tâche partagée WMT, dans le module Traduction automatique). Its two most recent editions produced two findings that bear on any claim about translation quality.

• Human judges ranked general-purpose LLMs highest, rather than systems built only for translation. A Claude model won the most language pairs in 2024, and a Gemini model was in the top group for the most pairs in 2025 (Kocmi et al., 2024b, 2025).
• Automatic scores and human judges disagreed both years. The system that led the automatic ranking was not the one people preferred. In 2024 this was probably because that system had been tuned with the same metric used to rank it (Kocmi et al., 2024b); in 2025, a system built for translation led the automatic ranking in all but one language pair, and human judges placed it considerably lower (Kocmi et al., 2025) (see also the Evaluating machine translation chapter, in the Evaluating language technology module) (voir aussi le chapitre Évaluation de la traduction automatique, dans le module L'évaluation des technologies langagières).

The second finding applies to your own comparisons too. A metric computes a score from the output, so a system can be tuned to score higher without translating better, and the measure stops being a good measure once it becomes the target (see also the Reading a leaderboard page) (voir aussi la page Lire un classement). A metric only ever approximates what a person would say about the translation (see also the Evaluating language technology module) (voir aussi le module L'évaluation des technologies langagières).

Sources

• Kocmi, T., Artemova, E., Avramidis, E., Bawden, R., Bojar, O., Dranch, K., et al. (2025). Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 355–413. https://doi.org/10.18653/v1/2025.wmt-1.22
• Kocmi, T., Avramidis, E., Bawden, R., Bojar, O., Dvorkovich, A., Federmann, C., et al. (2024b). Findings of the WMT24 General Machine Translation Shared Task: The LLM Era Is Here but MT Is Not Solved Yet. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1–46. https://doi.org/10.18653/v1/2024.wmt-1.1

Les tâches partagées

Pour la traduction, la comparaison la plus connue est la tâche partagée annuelle de WMT, où des dizaines de systèmes traduisent le même jeu de données de test test setjeu de données de test machine learningapprentissage automatique A portion of a dataset held back from both model training and model selection and used to evaluate the final model.Portion d'un jeu de données tenue à l'écart tant de l'entraînement que de la sélection du modèle et servant à évaluer le modèle final. Son but est d'estimer la performance du modèle achevé sur de nouvelles données issues de la tâche ou de la population visée. et où des juges humains classent les résultats (see also the WMT shared task chapter, in the Machine translation module) (voir aussi le chapitre La tâche partagée WMT, dans le module Traduction automatique). Ses deux éditions les plus récentes ont produit deux constats qui éclairent toute affirmation sur la qualité d’une traduction.

• Les juges humains ont placé en tête des grands modèles de langue (GML) polyvalents, plutôt que des systèmes conçus uniquement pour la traduction. Un modèle Claude a remporté le plus de paires de langues en 2024, et un modèle Gemini figurait dans le groupe de tête pour le plus de paires en 2025 (Kocmi et al., 2024b, 2025).
• Les scores automatiques et les juges humains étaient en désaccord les deux années. Le système en tête du classement automatique n’était pas celui que les gens préféraient. En 2024, c’était probablement parce que ce système avait été ajusté avec la métrique même qui servait à le classer (Kocmi et al., 2024) ; en 2025, un système conçu pour la traduction arrivait en tête du classement automatique dans toutes les paires de langues sauf une, et les juges humains l’ont placé nettement plus bas (Kocmi et al., 2025) (see also the Evaluating machine translation chapter, in the Evaluating language technology module) (voir aussi le chapitre Évaluation de la traduction automatique, dans le module L'évaluation des technologies langagières).

Le second constat vaut aussi pour vos propres comparaisons. Une métrique calcule un score à partir du résultat : un système peut donc être ajusté pour obtenir un meilleur score sans mieux traduire, et la mesure cesse d’être une bonne mesure dès qu’elle devient la cible (see also the Reading a leaderboard page) (voir aussi la page Lire un classement). Une métrique ne fait jamais qu’approcher ce qu’une personne dirait de la traduction (see also the Evaluating language technology module) (voir aussi le module L'évaluation des technologies langagières).

Sources

• Kocmi, T., Artemova, E., Avramidis, E., Bawden, R., Bojar, O., Dranch, K., et al. (2025). Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 355–413. https://doi.org/10.18653/v1/2025.wmt-1.22
• Kocmi, T., Avramidis, E., Bawden, R., Bojar, O., Dvorkovich, A., Federmann, C., et al. (2024b). Findings of the WMT24 General Machine Translation Shared Task: The LLM Era Is Here but MT Is Not Solved Yet. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1–46. https://doi.org/10.18653/v1/2024.wmt-1.1