Benchmarks for translationLes tests pour la traduction
Shared tasks
For translation, the best-known comparison is the annual WMT shared task, where dozens of systems translate the same test set test setjeu de données de test machine learningapprentissage automatique A portion of a dataset held back from both model training and model selection and used to evaluate the final model.Portion d'un jeu de données tenue à l'écart tant de l'entraînement que de la sélection du modèle et servant à évaluer le modèle final. Son but est d'estimer la performance du modèle achevé sur de nouvelles données issues de la tâche ou de la population visée. and human judges rank the output (see also the WMT shared task chapter, in the Machine translation module) (voir aussi le chapitre La tâche partagée WMT, dans le module Traduction automatique). Its two most recent editions produced two findings that bear on any claim about translation quality.
- Human judges ranked general-purpose LLMs highest, rather than systems built only for translation. A Claude model won the most language pairs in 2024, and a Gemini model was in the top group for the most pairs in 2025 (Kocmi et al., 2024b, 2025).
- Automatic scores and human judges disagreed both years. The system that led the automatic ranking was not the one people preferred. In 2024 this was probably because that system had been tuned with the same metric used to rank it (Kocmi et al., 2024b); in 2025, a system built for translation led the automatic ranking in all but one language pair, and human judges placed it considerably lower (Kocmi et al., 2025) (see also the Evaluating machine translation chapter, in the Evaluating language technology module) (voir aussi le chapitre Évaluation de la traduction automatique, dans le module L'évaluation des technologies langagières).
The second finding applies to your own comparisons too. A metric computes a score from the output, so a system can be tuned to score higher without translating better, and the measure stops being a good measure once it becomes the target (see also the Reading a leaderboard page) (voir aussi la page Lire un classement). A metric only ever approximates what a person would say about the translation (see also the Evaluating language technology module) (voir aussi le module L'évaluation des technologies langagières).
Les tâches partagées
Pour la traduction, la comparaison la plus connue est la tâche partagée annuelle de WMT, où des dizaines de systèmes traduisent le même jeu de données de test test setjeu de données de test machine learningapprentissage automatique A portion of a dataset held back from both model training and model selection and used to evaluate the final model.Portion d'un jeu de données tenue à l'écart tant de l'entraînement que de la sélection du modèle et servant à évaluer le modèle final. Son but est d'estimer la performance du modèle achevé sur de nouvelles données issues de la tâche ou de la population visée. et où des juges humains classent les résultats (see also the WMT shared task chapter, in the Machine translation module) (voir aussi le chapitre La tâche partagée WMT, dans le module Traduction automatique). Ses deux éditions les plus récentes ont produit deux constats qui éclairent toute affirmation sur la qualité d’une traduction.
- Les juges humains ont placé en tête des grands modèles de langue (GML) polyvalents, plutôt que des systèmes conçus uniquement pour la traduction. Un modèle Claude a remporté le plus de paires de langues en 2024, et un modèle Gemini figurait dans le groupe de tête pour le plus de paires en 2025 (Kocmi et al., 2024b, 2025).
- Les scores automatiques et les juges humains étaient en désaccord les deux années. Le système en tête du classement automatique n’était pas celui que les gens préféraient. En 2024, c’était probablement parce que ce système avait été ajusté avec la métrique même qui servait à le classer (Kocmi et al., 2024) ; en 2025, un système conçu pour la traduction arrivait en tête du classement automatique dans toutes les paires de langues sauf une, et les juges humains l’ont placé nettement plus bas (Kocmi et al., 2025) (see also the Evaluating machine translation chapter, in the Evaluating language technology module) (voir aussi le chapitre Évaluation de la traduction automatique, dans le module L'évaluation des technologies langagières).
Le second constat vaut aussi pour vos propres comparaisons. Une métrique calcule un score à partir du résultat : un système peut donc être ajusté pour obtenir un meilleur score sans mieux traduire, et la mesure cesse d’être une bonne mesure dès qu’elle devient la cible (see also the Reading a leaderboard page) (voir aussi la page Lire un classement). Une métrique ne fait jamais qu’approcher ce qu’une personne dirait de la traduction (see also the Evaluating language technology module) (voir aussi le module L'évaluation des technologies langagières).
Sources
- Kocmi, T., Artemova, E., Avramidis, E., Bawden, R., Bojar, O., Dranch, K., et al. (2025). Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 355–413. https://doi.org/10.18653/v1/2025.wmt-1.22
- Kocmi, T., Avramidis, E., Bawden, R., Bojar, O., Dvorkovich, A., Federmann, C., et al. (2024b). Findings of the WMT24 General Machine Translation Shared Task: The LLM Era Is Here but MT Is Not Solved Yet. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1–46. https://doi.org/10.18653/v1/2024.wmt-1.1
Sources
- Kocmi, T., Artemova, E., Avramidis, E., Bawden, R., Bojar, O., Dranch, K., et al. (2025). Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 355–413. https://doi.org/10.18653/v1/2025.wmt-1.22
- Kocmi, T., Avramidis, E., Bawden, R., Bojar, O., Dvorkovich, A., Federmann, C., et al. (2024b). Findings of the WMT24 General Machine Translation Shared Task: The LLM Era Is Here but MT Is Not Solved Yet. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1–46. https://doi.org/10.18653/v1/2024.wmt-1.1