The trend across editionsLa tendance d'une édition à l'autre
TRA6008 To read for S8À lire pour la S8
A comparison that repeats every year
WMT has compared translation systems every year since 2006, so the editions can be read as a trend. The scores of two editions are not comparable, since the test sets test setjeu de données de test machine learningapprentissage automatique A portion of a dataset held back from both model training and model selection and used to evaluate the final model.Portion d'un jeu de données tenue à l'écart tant de l'entraînement que de la sélection du modèle et servant à évaluer le modèle final. Son but est d'estimer la performance du modèle achevé sur de nouvelles données issues de la tâche ou de la population visée. , the languages and the judging change, but the organizers’ conclusions are similar from one edition to the next. The table gives the subtitle of each of the last three findings papers and the change made that year.
| Edition | Subtitle of the findings paper | The change that year |
|---|---|---|
| 2023 | LLMs are here but not quite there yet | large language models among the systems for the first time, entered by the organizers themselves |
| 2024 | The LLM era is here but MT is not solved yet | whole documents instead of sentences; the Error Span Annotation protocol for the human evaluation |
| 2025 | Time to stop evaluating on easy test sets | documents selected for difficulty; large language models used as judges in the automatic ranking |
The subtitles alone show how quickly large language models changed the task. In 2023 they were among the systems for the first time; by 2024 the organizers spoke of an “LLM era”; and in 2025 the best systems did so well on ordinary texts that the test sets had to be made harder to tell them apart.
The 2026 edition takes place on 28 October 2026 and 29 October 2026.WMT 2026, www2.statmt.org/wmt26, read 10 October 2026: eleventh Conference on Machine Translation, Budapest, with EMNLP 2026.
The findings that repeat
- Large language models lead. In 2023 one of them was in the first group for every direction into English; in 2024 and 2025 the best system in the human ranking was a general model, and most participants had built their system by fine-tuning fine-tuningaffinage machine learningapprentissage automatique Further training of a pretrained model on new data to adapt it for a particular task, domain, or intended behaviour.Poursuite de l'entraînement d'un modèle préentraîné sur un jeu de données généralement plus restreint et spécialisé, afin de l'adapter à une tâche ou à un domaine particulier. a large language model rather than training an encoder-decoder from scratch. Encoder-decoder systems built only for translation did not win the human ranking in 2024 or 2025.
- Automatic scores and human judges disagree about the best system. In both 2024 and 2025 the system that led the automatic ranking was not the one people preferred, and in 2024 the organizers traced the gap to a system that had chosen its output with the very metric used to rank it. Their conclusion is that human evaluation remains the final arbiter (see also the Reading the scores page, in the Evaluating language technology module) (voir aussi la page Lire les scores, dans le module L'évaluation des technologies langagières).
- Human translations are not always preferred. From 2023 on, the output of the best systems could often not be told apart from the human reference, and in 2025 the references were in the winning group for fewer than half of the language pairs. The papers themselves add cautions: the references are produced by agencies under a brief and vary in quality, and an evaluation that marks errors can give a high score to a translation that is free of errors but does not capture the author’s voice.
- The remaining weaknesses are speech input, low-resource languages and targeted phenomena, such as domain terminology and gender (see also the Remaining failures page) (voir aussi la page Les échecs qui subsistent).
The other shared tasks
The general translation task is one of a dozen shared tasks shared tasktâche partagée evaluationévaluation A public evaluation exercise in which every participating team is given the same task, the same data and the same scoring, so that their systems can be compared directly.Exercice d'évaluation public où toutes les équipes participantes reçoivent la même tâche, les mêmes données et la même notation, de sorte que leurs systèmes se comparent directement. WMT runs each year, and the evaluation tasks publish findings of their own.The task list of the 2025 and 2026 editions, www2.statmt.org/wmt25 and wmt26, read 10 October 2026.
| Kind | Examples | Compares |
|---|---|---|
| Translation in a setting | terminology; Indic, Creole, Arabic-Asian and Chinese-Southeast Asian languages; video subtitles; model compression | systems on one domain, one group of languages or one constraint, where the general task says little |
| Evaluation | automated MT evaluation (the former metrics and quality estimation tasks, unified in 2025); MT test suites | the evaluators themselves: how well a metric or a judge agrees with people, and what targeted test sets reveal |
| Data and models | open data; multilingual instruction; limited-resource language models | the resources and the smaller models the field builds on |
In the 2025 evaluation task, large language models used as judges were strong at ranking systems but were beaten per segment segmentsegment CAT toolsTAO A portion of translatable content that a CAT tool treats as a discrete unit for translation, alignment, storage and match retrieval.Portion de contenu à traduire qu'un outil de TAO traite comme une unité distincte aux fins de traduction, d'alignement, de stockage et de recherche de correspondances. by the metrics that compare with a reference, and robustness across languages remained open (Lavie et al., 2025) (see also the Evaluating machine translation chapter, in the Evaluating language technology module) (voir aussi le chapitre Évaluation de la traduction automatique, dans le module L'évaluation des technologies langagières). Speech translation is evaluated in a separate campaign, IWSLT, the International Conference on Spoken Language Translation, with its own yearly findings (Adelani et al., 2026) (see also the Speech technology module) (voir aussi le module Les technologies de la parole).
Une comparaison qui se répète chaque année
WMT compare des systèmes de traduction chaque année depuis 2006, ce qui permet de lire les éditions comme une tendance. Les notes de deux éditions ne sont pas comparables, puisque les jeux de test test setjeu de données de test machine learningapprentissage automatique A portion of a dataset held back from both model training and model selection and used to evaluate the final model.Portion d'un jeu de données tenue à l'écart tant de l'entraînement que de la sélection du modèle et servant à évaluer le modèle final. Son but est d'estimer la performance du modèle achevé sur de nouvelles données issues de la tâche ou de la population visée. , les langues et le jugement changent, mais les conclusions des organisateurs se ressemblent d’une édition à l’autre. Le tableau donne le sous-titre de chacun des trois derniers articles de synthèse et le changement apporté cette année-là.
| Édition | Sous-titre de l’article de synthèse | Le changement de l’année |
|---|---|---|
| 2023 | LLMs are here but not quite there yet [ma traduction : « les GML sont là, mais pas encore tout à fait au point »] | des grands modèles de langue parmi les systèmes pour la première fois, inscrits par les organisateurs eux-mêmes |
| 2024 | The LLM era is here but MT is not solved yet [ma traduction : « l’ère des GML est arrivée, mais la traduction automatique n’est pas encore résolue »] | des documents entiers au lieu de phrases ; le protocole Error Span Annotation pour l’évaluation humaine |
| 2025 | Time to stop evaluating on easy test sets [ma traduction : « il est temps de cesser d’évaluer sur des jeux de test faciles »] | des documents choisis pour leur difficulté ; des grands modèles de langue utilisés comme juges dans le classement automatique |
Les sous-titres suffisent à montrer à quelle vitesse les grands modèles de langue ont transformé la tâche. En 2023, ils figuraient pour la première fois parmi les systèmes ; en 2024, les organisateurs annonçaient l’ère des GML ; et en 2025, les meilleurs systèmes réussissaient si bien sur des textes ordinaires qu’il a fallu rendre les jeux de test plus difficiles pour les départager.
L’édition 2026 se tient le 28 octobre 2026 et le 29 octobre 2026.WMT 2026, www2.statmt.org/wmt26, consulté le 10 octobre 2026 : onzième Conference on Machine Translation, à Budapest, avec EMNLP 2026.
Les constats qui se répètent
- Les grands modèles de langue dominent. En 2023, l’un d’eux figurait dans le premier groupe pour toutes les directions vers l’anglais ; en 2024 et en 2025, le meilleur système du classement humain était un modèle général, et la plupart des participants avaient construit leur système en affinant fine-tuningaffinage machine learningapprentissage automatique Further training of a pretrained model on new data to adapt it for a particular task, domain, or intended behaviour.Poursuite de l'entraînement d'un modèle préentraîné sur un jeu de données généralement plus restreint et spécialisé, afin de l'adapter à une tâche ou à un domaine particulier. un grand modèle de langue plutôt qu’en entraînant un encodeur-décodeur à partir de zéro. Les systèmes encodeur-décodeur conçus uniquement pour la traduction n’ont gagné le classement humain ni en 2024 ni en 2025.
- Les notes automatiques et les juges humains divergent sur le meilleur système. En 2024 comme en 2025, le système en tête du classement automatique n’était pas celui que les personnes préféraient, et en 2024 les organisateurs ont attribué l’écart à un système qui avait choisi ses résultats à l’aide de la métrique même qui servait à le classer. Leur conclusion est que l’évaluation humaine reste l’arbitre final (see also the Reading the scores page, in the Evaluating language technology module) (voir aussi la page Lire les scores, dans le module L'évaluation des technologies langagières).
- Les traductions humaines ne sont pas toujours préférées. À partir de 2023, les résultats des meilleurs systèmes ne pouvaient souvent pas être distingués de la référence humaine, et en 2025 les références figuraient dans le groupe gagnant pour moins de la moitié des paires de langues. Les articles eux-mêmes apportent des mises en garde : les références sont produites par des agences selon une consigne et sont de qualité variable, et une évaluation qui relève les erreurs peut donner une note élevée à une traduction exempte d’erreurs, mais qui ne rend pas la voix de l’auteur.
- Les faiblesses restantes sont l’entrée orale, les langues peu dotées et des phénomènes ciblés, comme la terminologie d’un domaine et le genre (see also the Remaining failures page) (voir aussi la page Les échecs qui subsistent).
Les autres tâches partagées
La tâche générale de traduction est l’une d’une douzaine de tâches partagées shared tasktâche partagée evaluationévaluation A public evaluation exercise in which every participating team is given the same task, the same data and the same scoring, so that their systems can be compared directly.Exercice d'évaluation public où toutes les équipes participantes reçoivent la même tâche, les mêmes données et la même notation, de sorte que leurs systèmes se comparent directement. que WMT organise chaque année, et les tâches d’évaluation publient leurs propres articles de synthèse.La liste des tâches des éditions 2025 et 2026, www2.statmt.org/wmt25 et wmt26, consultée le 10 octobre 2026.
| Type | Exemples | Objet de la comparaison |
|---|---|---|
| La traduction dans un cadre précis | terminologie ; langues indiennes, langues créoles, paires arabe-langues asiatiques et chinois-langues d’Asie du Sud-Est ; sous-titres de vidéos ; compression de modèles | des systèmes sur un domaine, un groupe de langues ou une contrainte, là où la tâche générale en dit peu |
| L’évaluation | évaluation automatisée de la traduction automatique (les anciennes tâches des métriques et de l’estimation de la qualité, réunies en 2025) ; séries de tests ciblées | les évaluateurs eux-mêmes : à quel point une métrique ou un juge s’accorde avec les personnes, et ce que révèlent des jeux de test ciblés |
| Les données et les modèles | données ouvertes ; instructions multilingues ; modèles de langue à ressources limitées | les ressources et les modèles plus petits sur lesquels le domaine s’appuie |
Dans la tâche d’évaluation de 2025, les grands modèles de langue utilisés comme juges classaient bien les systèmes, mais étaient battus, segment segmentsegment CAT toolsTAO A portion of translatable content that a CAT tool treats as a discrete unit for translation, alignment, storage and match retrieval.Portion de contenu à traduire qu'un outil de TAO traite comme une unité distincte aux fins de traduction, d'alignement, de stockage et de recherche de correspondances. par segment, par les métriques qui comparent le résultat à une référence, et leur robustesse d’une langue à l’autre restait une question ouverte (Lavie et al., 2025) (see also the Evaluating machine translation chapter, in the Evaluating language technology module) (voir aussi le chapitre Évaluation de la traduction automatique, dans le module L'évaluation des technologies langagières). La traduction de la parole est évaluée dans une campagne distincte, IWSLT, l’International Conference on Spoken Language Translation, qui publie ses propres résultats chaque année (Adelani et al., 2026) (see also the Speech technology module) (voir aussi le module Les technologies de la parole).
Sources
- Adelani, D. I., Agostinelli, V., Anastasopoulos, A., Bentivogli, L., Bojar, O., et al. (2026). Speech translation and metrics in 2026: Findings of the IWSLT campaign. Proceedings of the 23rd International Conference on Spoken Language Translation (IWSLT 2026), 336–422. https://aclanthology.org/2026.iwslt-1.39/
- Kocmi, T., Artemova, E., Avramidis, E., Bawden, R., Bojar, O., Dranch, K., et al. (2025). Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 355–413. https://doi.org/10.18653/v1/2025.wmt-1.22
- Kocmi, T., Avramidis, E., Bawden, R., Bojar, O., Dvorkovich, A., Federmann, C., et al. (2023). Findings of the 2023 Conference on Machine Translation (WMT23): LLMs Are Here but Not Quite There Yet. Proceedings of the Eighth Conference on Machine Translation (WMT 2023), Singapore, 1–42. https://doi.org/10.18653/v1/2023.wmt-1.1
- Kocmi, T., Avramidis, E., Bawden, R., Bojar, O., Dvorkovich, A., Federmann, C., et al. (2024b). Findings of the WMT24 General Machine Translation Shared Task: The LLM Era Is Here but MT Is Not Solved Yet. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1–46. https://doi.org/10.18653/v1/2024.wmt-1.1
- Lavie, A., Hanneman, G., Agrawal, S., Kanojia, D., Lo, C., Zouhar, V., et al. (2025). Findings of the WMT25 Shared Task on Automated Translation Evaluation Systems: Linguistic Diversity is Challenging and References Still Help. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 436–483. https://doi.org/10.18653/v1/2025.wmt-1.24
Sources
- Adelani, D. I., Agostinelli, V., Anastasopoulos, A., Bentivogli, L., Bojar, O., et al. (2026). Speech translation and metrics in 2026: Findings of the IWSLT campaign. Proceedings of the 23rd International Conference on Spoken Language Translation (IWSLT 2026), 336–422. https://aclanthology.org/2026.iwslt-1.39/
- Kocmi, T., Artemova, E., Avramidis, E., Bawden, R., Bojar, O., Dranch, K., et al. (2025). Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 355–413. https://doi.org/10.18653/v1/2025.wmt-1.22
- Kocmi, T., Avramidis, E., Bawden, R., Bojar, O., Dvorkovich, A., Federmann, C., et al. (2023). Findings of the 2023 Conference on Machine Translation (WMT23): LLMs Are Here but Not Quite There Yet. Proceedings of the Eighth Conference on Machine Translation (WMT 2023), Singapore, 1–42. https://doi.org/10.18653/v1/2023.wmt-1.1
- Kocmi, T., Avramidis, E., Bawden, R., Bojar, O., Dvorkovich, A., Federmann, C., et al. (2024b). Findings of the WMT24 General Machine Translation Shared Task: The LLM Era Is Here but MT Is Not Solved Yet. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1–46. https://doi.org/10.18653/v1/2024.wmt-1.1
- Lavie, A., Hanneman, G., Agrawal, S., Kanojia, D., Lo, C., Zouhar, V., et al. (2025). Findings of the WMT25 Shared Task on Automated Translation Evaluation Systems: Linguistic Diversity is Challenging and References Still Help. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 436–483. https://doi.org/10.18653/v1/2025.wmt-1.24