A large language model as judgeUn grand modèle de langue comme juge
TRA6008 To read for S8À lire pour la S8
Asking a model to judge
A large language model large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. can be asked to evaluate a translation: the task is described in a prompt, and the model answers. Zheng et al. (2023) named the approach LLM-as-a-judge: GPT-4, asked to compare two answers from chatbots, agreed with people about as often as people agreed with each other.
For translation, the prompt promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. contains:
- the texts: the source, the output to judge and, if there is one, the reference;
- the criteria: what to rate, and on what scale;
- the form of the answer: a single score, a list of errors with a category and a severity as a human annotator would give, or both.
Judges in translation evaluation
The table below sets out three uses of a large language model as judge of translations, two of them at WMT, the Conference on Machine Translation. The first, GEMBA, appeared a few months before Zheng et al. (2023) named the approach.
| Method | What the model was asked | Result |
|---|---|---|
| GEMBA (Kocmi & Federmann, 2023b) | a score per segment, with or without a reference | the best system-level accuracy on the WMT 2022 data, with GPT-3.5 and larger models only |
| GEMBA-MQM (Kocmi & Federmann, 2023a) | error spans with category and severity, from a prompt with three examples, without a reference | state-of-the-art system ranking with GPT-4; the authors advise caution, the model being proprietary and changing |
| WMT 2025 (Kocmi et al., 2025) | GPT-4.1 and Command A: error spans as in ESA (Kocmi et al., 2024a), without a reference | the scores entered the automatic ranking; some participants had used the same judge as a reward model reward modelmodèle de récompense language modelsmodèles de langue A model trained to assign a numerical score to a candidate output, usually by learning from human judgements of which outputs are better.Modèle entraîné à attribuer une note numérique à une sortie candidate, généralement à partir de jugements humains indiquant quelles sorties sont meilleures. in training |
A prompt and its variant
The prompt below is one I wrote for an evaluation of English-to-French translations of medical abstracts, with a reference translation; its variant works without one. They ask for a score from 0 to 100 and for a short list of errors with a category and a severity, which is the shape of the human protocols (see also the Human evaluation: DA, MQM and ESA page) (voir aussi la page L'évaluation humaine : DA, MQM et ESA). The placeholders in square brackets are replaced by the texts.
You are an impartial MQM rater for English>French (Canada) translations of medical abstracts.
# Task
- Read the English source (SOURCE_EN), the human reference (REF_FR), and the translation to evaluate (TGT_FR).
- Judge quality only. Do not rewrite the translation.
# How to rate (basics)
- General score: 0–100
• 0 = broken/poor
• 33 = flawed with significant issues
• 66 = good with only minor issues
• 100 = perfect in meaning and grammar
- Error categories: Accuracy, Fluency, Terminology, Punctuation, Numbers/Units, Named entities, Style, Other.
- Severity levels: minor, major, critical (critical if meaning changes in safety-relevant content like dosage, units, indications, contraindications).
# What to output
1) Overall judgment: score 0–100 + one short sentence of justification.
2) Errors (keep concise; up to 5): for each, give [Category] – [Severity] – [ERROR] - very short note.
# Inputs
SOURCE_EN:
[ADD SOURCE]
REF_FR:
[ADD REFERENCE]
TGT_FR:
[ADD TRANSLATION]The version without a reference drops the reference and tells the model what to judge the output against instead:
- Read the English source (SOURCE_EN) and the translation to evaluate (TGT_FR). No reference is provided.
- Judge adequacy against the source and fluency in the target language. Do not rewrite the translation.Examples in the prompt
Adding a few examples to the prompt, as in few-shot prompting few-shot promptingformulation de requête avec quelques exemples promptingrequêtes A prompting technique in which a small number of demonstrations, typically examples pairing an input with its desired output, are included in the prompt to show a language model how to perform a task.Technique de formulation de requêtes consistant à inclure dans la requête un petit nombre de démonstrations, typiquement des exemples associant une entrée à la sortie souhaitée, pour montrer à un modèle de langue comment accomplir une tâche. , shows the judge the form its answer should take. Without them, the lists of errors produced by the models tested were often uninformative or difficult to parse, and judges that annotate errors are usually given a few, as GEMBA-MQM is (Fernandes et al., 2023; Kocmi & Federmann, 2023a). For a score, examples almost never helped: they did not make the scores agree better with people, and they pulled the scores towards those in the examples (Fernandes et al., 2023).Measured on Google’s PaLM and PaLM-2 models of 2023, on WMT 2022 data for English–German, Chinese–English and English–Russian; the effect on today’s models has to be measured again.
Strengths of a judge
- No reference is needed. The judge reads the source, so a text with no reference translation can be scored. The score then depends on the model’s own processing of the source, with no reference to anchor it.
- The verdict comes with reasons. The errors are named and located, in plain language.
- The criteria are set in the prompt. It can ask about terminology, register, a client’s style guide, and any other criterion a scale or a scheme can express.
Limits of a judge
- At the WMT 2025 evaluation of metrics, the large language models used as judges were among the best methods for ranking systems, but most of them were beaten at the level of single segments segmentsegment CAT toolsTAO A portion of translatable content that a CAT tool treats as a discrete unit for translation, alignment, storage and match retrieval.Portion de contenu à traduire qu'un outil de TAO traite comme une unité distincte aux fins de traduction, d'alignement, de stockage et de recherche de correspondances. by simple metrics that compare the output with a reference (Lavie et al., 2025).
- The reasons are generated like the rest, so a named error can be no error at all (see also the Hallucinations chapter, in the Critical issues with LLMs module) (voir aussi le chapitre Les fabulations de l'IA, dans le module Enjeux critiques des GML). A variant of GEMBA-MQM marked Admission to the monument is 16.50 Euros, a correct translation from Czech, as a currency error (Kocmi & Federmann, 2023a).
- Even a reasonable-looking explanation need not be the reason for the score: language models have been shown to give explanations that leave out what actually swayed their answer (Turpin et al., 2023; Chen et al., 2025b).Measured on general tasks rather than on translation, with the models of 2023 and the reasoning models reasoning modelmodèle de raisonnement language modelsmodèles de langue A language model designed to improve its performance on complex, multi-step problems by using additional computation during inference.Modèle de langue conçu pour améliorer sa performance sur des problèmes complexes en plusieurs étapes en recourant à un surcroît de calcul pendant l'inférence. of 2025.
- Zheng et al. (2023) found biases in the judgements of the models they tested: they tended to rate the first answer higher, to rate longer answers higher and, to some extent, to rate their own answers higher.Measured on the models of 2023 (GPT-4, Claude and others of that year); the biases of today’s models have to be measured again.
- A different wording of the prompt gives different scores (see also the Prompting chapter, in the Using LLMs module) (voir aussi le chapitre Formulation de requêtes, dans le module Utiliser les GML), and the same model asked twice can answer differently, since its output is sampled samplingéchantillonnage language modelsmodèles de langue A decoding method that uses an element of randomness to select the next token generated by a language model.Méthode de décodage qui introduit une part de hasard dans le choix du prochain jeton généré par un modèle de langue. (see also the LLMs are non-deterministic page, in the LLM lifecycle module) (voir aussi la page Les GML ne sont pas déterministes, dans le module Cycle de vie des GML).
- A judge used to train a system is no longer independent of it: at WMT 2025, some participants had used the judge of the automatic ranking as a reward model (Kocmi et al., 2025).
At WMT, the organizers therefore keep human evaluation as the final arbiter (Kocmi et al., 2025) (see also the Reading the scores page) (voir aussi la page Lire les scores).
Verification rules
A judge is asked for every error at once. A verification rule names the failure to look for, so the model only has to check whether it occurs. The Last Translation Benchmark evaluates this way (Zouhar et al., 2026): every example comes with rules written by the person who contributed it, and a model checks each translation against each rule (Figure 10figure 10).
- A score that can be read directly. The score of a system is the share of examples whose translation passes every rule, such as 42 of 100; a judge’s 87 has no such reading.
- Less dependent on the model. Rankings produced with the rules were stable across the models used to check them, where the rankings of generic judges and of trained metrics changed with the model chosen; and the tendency of a model to rate its own output higher, measurable with a generic judge, was much smaller with the rules (Zouhar et al., 2026).
- Writing the rules takes expertise. A verification rule takes a person who can see where the translation goes wrong. Rules written by models were mostly too generic, and models that translated with rules they had written themselves improved only slightly (Zouhar et al., 2026) (see also the Remaining failures page, in the Machine translation module) (voir aussi la page Les échecs qui subsistent, dans le module Traduction automatique).
Demander à un modèle de juger
Un grand modèle de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. peut être chargé d’évaluer une traduction : la tâche est décrite dans une requête, et le modèle répond. Zheng et al. (2023) ont nommé l’approche LLM-as-a-judge : GPT-4, chargé de comparer deux réponses d’agents conversationnels, était d’accord avec les personnes à peu près aussi souvent que les personnes entre elles.
Pour la traduction, la requête promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. contient :
- les textes : la source, la sortie à juger et, s’il y en a une, la référence ;
- les critères : ce qu’il faut noter, et sur quelle échelle ;
- la forme de la réponse : un seul score, une liste d’erreurs avec une catégorie et une gravité comme les donnerait une annotatrice ou un annotateur humain, ou les deux.
Les juges dans l’évaluation de la traduction
Le tableau ci-dessous présente trois usages d’un grand modèle de langue comme juge de traductions, dont deux à WMT, la Conference on Machine Translation. Le premier, GEMBA, est paru quelques mois avant que Zheng et al. (2023) ne nomment l’approche.
| Méthode | Ce qui était demandé au modèle | Résultat |
|---|---|---|
| GEMBA (Kocmi & Federmann, 2023b) | un score par segment, avec ou sans référence | la meilleure exactitude au niveau des systèmes sur les données de WMT 2022, avec GPT-3.5 et des modèles plus grands seulement |
| GEMBA-MQM (Kocmi & Federmann, 2023a) | des passages erronés avec catégorie et gravité, à partir d’une requête comportant trois exemples, sans référence | un classement des systèmes au niveau de l’état de l’art avec GPT-4 ; les auteurs appellent à la prudence, le modèle étant propriétaire et changeant |
| WMT 2025 (Kocmi et al., 2025) | GPT-4.1 et Command A : des passages erronés comme dans ESA (Kocmi et al., 2024a), sans référence | les scores sont entrés dans le classement automatique ; certains participants avaient employé le même juge comme modèle de récompense reward modelmodèle de récompense language modelsmodèles de langue A model trained to assign a numerical score to a candidate output, usually by learning from human judgements of which outputs are better.Modèle entraîné à attribuer une note numérique à une sortie candidate, généralement à partir de jugements humains indiquant quelles sorties sont meilleures. pendant l’entraînement |
Une requête et sa variante
La requête ci-dessous est l’une de celles que j’ai rédigées pour une évaluation de traductions de l’anglais vers le français de résumés médicaux, avec une traduction de référence ; sa variante fonctionne sans référence. Elles demandent un score de 0 à 100 et une courte liste d’erreurs avec une catégorie et une gravité, ce qui est la forme des protocoles humains (see also the Human evaluation: DA, MQM and ESA page) (voir aussi la page L'évaluation humaine : DA, MQM et ESA). Les éléments entre crochets sont remplacés par les textes.
You are an impartial MQM rater for English>French (Canada) translations of medical abstracts.
# Task
- Read the English source (SOURCE_EN), the human reference (REF_FR), and the translation to evaluate (TGT_FR).
- Judge quality only. Do not rewrite the translation.
# How to rate (basics)
- General score: 0–100
• 0 = broken/poor
• 33 = flawed with significant issues
• 66 = good with only minor issues
• 100 = perfect in meaning and grammar
- Error categories: Accuracy, Fluency, Terminology, Punctuation, Numbers/Units, Named entities, Style, Other.
- Severity levels: minor, major, critical (critical if meaning changes in safety-relevant content like dosage, units, indications, contraindications).
# What to output
1) Overall judgment: score 0–100 + one short sentence of justification.
2) Errors (keep concise; up to 5): for each, give [Category] – [Severity] – [ERROR] - very short note.
# Inputs
SOURCE_EN:
[ADD SOURCE]
REF_FR:
[ADD REFERENCE]
TGT_FR:
[ADD TRANSLATION]La version sans référence retire la référence et indique au modèle par rapport à quoi juger la sortie :
- Read the English source (SOURCE_EN) and the translation to evaluate (TGT_FR). No reference is provided.
- Judge adequacy against the source and fluency in the target language. Do not rewrite the translation.Des exemples dans la requête
Ajouter quelques exemples à la requête, comme dans la formulation de requête avec quelques exemples few-shot promptingformulation de requête avec quelques exemples promptingrequêtes A prompting technique in which a small number of demonstrations, typically examples pairing an input with its desired output, are included in the prompt to show a language model how to perform a task.Technique de formulation de requêtes consistant à inclure dans la requête un petit nombre de démonstrations, typiquement des exemples associant une entrée à la sortie souhaitée, pour montrer à un modèle de langue comment accomplir une tâche. , montre au juge la forme que doit prendre sa réponse. Sans exemples, les listes d’erreurs produites par les modèles testés étaient souvent peu informatives ou difficiles à analyser, et les juges qui annotent les erreurs en reçoivent habituellement quelques-uns, comme GEMBA-MQM (Fernandes et al., 2023 ; Kocmi & Federmann, 2023a). Pour un score, les exemples n’ont presque jamais aidé : ils n’ont pas rapproché les scores du jugement des personnes, et ils ont tiré les scores vers ceux des exemples (Fernandes et al., 2023).Mesuré sur les modèles PaLM et PaLM-2 de Google en 2023, sur les données de WMT 2022 pour l’anglais–allemand, le chinois–anglais et l’anglais–russe ; l’effet sur les modèles actuels est à mesurer de nouveau.
Les forces d’un juge
- Aucune référence n’est nécessaire. Le juge lit la source, si bien qu’un texte sans traduction de référence peut être noté. Le score dépend alors du traitement que le modèle fait de la source, sans référence pour l’ancrer.
- Le verdict s’accompagne de raisons. Les erreurs sont nommées et situées, en langage courant.
- Les critères sont fixés dans la requête. Celle-ci peut porter sur la terminologie, le registre, le guide de rédaction d’un client et tout autre critère qu’une échelle ou un système de classement peut exprimer.
Les limites d’un juge
- À l’évaluation des métriques de WMT 2025, les grands modèles de langue employés comme juges comptaient parmi les meilleures méthodes pour classer des systèmes, mais la plupart d’entre eux étaient dépassés au niveau des segments segmentsegment CAT toolsTAO A portion of translatable content that a CAT tool treats as a discrete unit for translation, alignment, storage and match retrieval.Portion de contenu à traduire qu'un outil de TAO traite comme une unité distincte aux fins de traduction, d'alignement, de stockage et de recherche de correspondances. isolés par des métriques simples qui comparent la sortie avec une référence (Lavie et al., 2025).
- Les raisons sont générées comme le reste, si bien qu’une erreur nommée peut ne pas en être une (see also the Hallucinations chapter, in the Critical issues with LLMs module) (voir aussi le chapitre Les fabulations de l'IA, dans le module Enjeux critiques des GML). Une variante de GEMBA-MQM a marqué Admission to the monument is 16.50 Euros, une traduction correcte du tchèque, comme une erreur de devise (Kocmi & Federmann, 2023a).
- Même une explication d’apparence raisonnable n’est pas forcément la raison du score : il a été montré que des modèles de langue donnent des explications qui passent sous silence ce qui a réellement orienté leur réponse (Turpin et al., 2023 ; Chen et al., 2025b).Mesuré sur des tâches générales plutôt que sur la traduction, avec les modèles de 2023 et les modèles de raisonnement reasoning modelmodèle de raisonnement language modelsmodèles de langue A language model designed to improve its performance on complex, multi-step problems by using additional computation during inference.Modèle de langue conçu pour améliorer sa performance sur des problèmes complexes en plusieurs étapes en recourant à un surcroît de calcul pendant l'inférence. de 2025.
- Zheng et al. (2023) ont relevé des biais dans les jugements des modèles testés : ils avaient tendance à mieux noter la première réponse, à mieux noter les réponses longues et, dans une certaine mesure, à mieux noter leurs propres réponses.Mesuré sur les modèles de 2023 (GPT-4, Claude et d’autres de la même année) ; les biais des modèles actuels sont à mesurer de nouveau.
- Une autre formulation de la requête donne d’autres scores (see also the Prompting chapter, in the Using LLMs module) (voir aussi le chapitre Formulation de requêtes, dans le module Utiliser les GML), et un même modèle interrogé deux fois peut répondre différemment, puisque sa sortie est obtenue par échantillonnage samplingéchantillonnage language modelsmodèles de langue A decoding method that uses an element of randomness to select the next token generated by a language model.Méthode de décodage qui introduit une part de hasard dans le choix du prochain jeton généré par un modèle de langue. (see also the LLMs are non-deterministic page, in the LLM lifecycle module) (voir aussi la page Les GML ne sont pas déterministes, dans le module Cycle de vie des GML).
- Un juge qui sert à entraîner un système n’en est plus indépendant : à WMT 2025, certains participants avaient employé le juge du classement automatique comme modèle de récompense (Kocmi et al., 2025).
À WMT, les organisateurs gardent donc l’évaluation humaine comme arbitre final (Kocmi et al., 2025) (see also the Reading the scores page) (voir aussi la page Lire les scores).
Les règles de vérification
On demande à un juge toutes les erreurs à la fois. Une règle de vérification nomme l’échec à rechercher, si bien que le modèle n’a qu’à vérifier s’il se produit. Le Last Translation Benchmark évalue de cette façon (Zouhar et al., 2026) : chaque exemple s’accompagne de règles rédigées par la personne qui l’a fourni, et un modèle vérifie chaque traduction par rapport à chaque règle (Figure 10figure 10).
- Un score qui se lit directement. Le score d’un système est la proportion d’exemples dont la traduction respecte toutes les règles, par exemple 42 sur 100 ; le 87 d’un juge n’a pas de lecture de ce genre.
- Moins dépendant du modèle. Les classements obtenus avec les règles étaient stables quel que soit le modèle employé pour les vérifier, alors que les classements des juges génériques et des métriques entraînées changeaient avec le modèle choisi ; et la tendance d’un modèle à mieux noter sa propre sortie, mesurable avec un juge générique, était bien plus faible avec les règles (Zouhar et al., 2026).
- Rédiger les règles demande de l’expertise. Une règle de vérification demande une personne capable de voir où la traduction se trompe. Les règles rédigées par des modèles étaient pour la plupart trop générales, et les modèles qui traduisaient avec des règles rédigées par eux-mêmes ne s’amélioraient que légèrement (Zouhar et al., 2026) (see also the Remaining failures page, in the Machine translation module) (voir aussi la page Les échecs qui subsistent, dans le module Traduction automatique).
Sources
- Chen, Y., Benton, J., Radhakrishnan, A., Uesato, J., Denison, C., Schulman, J., et al. (2025b). Reasoning Models Don't Always Say What They Think. arXiv preprint arXiv:2505.05410. https://doi.org/10.48550/arXiv.2505.05410
- Fernandes, P., Deutsch, D., Finkelstein, M., Riley, P., Martins, A. F. T., Neubig, G., et al. (2023). The Devil Is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation. Proceedings of the Eighth Conference on Machine Translation (WMT 2023), 1066–1083. https://doi.org/10.18653/v1/2023.wmt-1.100
- Kocmi, T., & Federmann, C. (2023a). GEMBA-MQM: Detecting Translation Quality Error Spans with GPT-4. Proceedings of the Eighth Conference on Machine Translation (WMT 2023), 768–775. https://doi.org/10.18653/v1/2023.wmt-1.64
- Kocmi, T., & Federmann, C. (2023b). Large Language Models Are State-of-the-Art Evaluators of Translation Quality. Proceedings of the 24th Annual Conference of the European Association for Machine Translation, 193–203. https://aclanthology.org/2023.eamt-1.19/
- Kocmi, T., Artemova, E., Avramidis, E., Bawden, R., Bojar, O., Dranch, K., et al. (2025). Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 355–413. https://doi.org/10.18653/v1/2025.wmt-1.22
- Kocmi, T., Avramidis, E., Bawden, R., Bojar, O., Dvorkovich, A., Federmann, C., et al. (2024b). Findings of the WMT24 General Machine Translation Shared Task: The LLM Era Is Here but MT Is Not Solved Yet. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1–46. https://doi.org/10.18653/v1/2024.wmt-1.1
- Kocmi, T., Zouhar, V., Avramidis, E., Grundkiewicz, R., Karpinska, M., Popović, M., et al. (2024a). Error Span Annotation: A Balanced Approach for Human Evaluation of Machine Translation. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1440–1453. https://doi.org/10.18653/v1/2024.wmt-1.131
- Lavie, A., Hanneman, G., Agrawal, S., Kanojia, D., Lo, C., Zouhar, V., et al. (2025). Findings of the WMT25 Shared Task on Automated Translation Evaluation Systems: Linguistic Diversity is Challenging and References Still Help. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 436–483. https://doi.org/10.18653/v1/2025.wmt-1.24
- Turpin, M., Michael, J., Perez, E., & Bowman, S. R. (2023). Language Models Don't Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting. Advances in Neural Information Processing Systems 36 (NeurIPS 2023). https://openreview.net/forum?id=bzs4uPLXvi
- Zheng, L., Chiang, W.-L., Sheng, Y., Zhuang, S., Wu, Z., Zhuang, Y., et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. Advances in Neural Information Processing Systems 36 (NeurIPS 2023), Datasets and Benchmarks Track. https://proceedings.neurips.cc/paper_files/paper/2023/hash/91f18a1287b398d378ef22505bf41832-Abstract-Datasets_and_Benchmarks.html
- Zouhar, V., Bafna, N., Choudhary, M., Züfle, M., Rajaee, S., Chen, P., et al. (2026). Last Translation Benchmark. Preprint, arXiv:2609.04173. http://arxiv.org/abs/2609.04173
Sources
- Chen, Y., Benton, J., Radhakrishnan, A., Uesato, J., Denison, C., Schulman, J., et al. (2025b). Reasoning Models Don't Always Say What They Think. arXiv preprint arXiv:2505.05410. https://doi.org/10.48550/arXiv.2505.05410
- Fernandes, P., Deutsch, D., Finkelstein, M., Riley, P., Martins, A. F. T., Neubig, G., et al. (2023). The Devil Is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation. Proceedings of the Eighth Conference on Machine Translation (WMT 2023), 1066–1083. https://doi.org/10.18653/v1/2023.wmt-1.100
- Kocmi, T., & Federmann, C. (2023a). GEMBA-MQM: Detecting Translation Quality Error Spans with GPT-4. Proceedings of the Eighth Conference on Machine Translation (WMT 2023), 768–775. https://doi.org/10.18653/v1/2023.wmt-1.64
- Kocmi, T., & Federmann, C. (2023b). Large Language Models Are State-of-the-Art Evaluators of Translation Quality. Proceedings of the 24th Annual Conference of the European Association for Machine Translation, 193–203. https://aclanthology.org/2023.eamt-1.19/
- Kocmi, T., Artemova, E., Avramidis, E., Bawden, R., Bojar, O., Dranch, K., et al. (2025). Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 355–413. https://doi.org/10.18653/v1/2025.wmt-1.22
- Kocmi, T., Avramidis, E., Bawden, R., Bojar, O., Dvorkovich, A., Federmann, C., et al. (2024b). Findings of the WMT24 General Machine Translation Shared Task: The LLM Era Is Here but MT Is Not Solved Yet. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1–46. https://doi.org/10.18653/v1/2024.wmt-1.1
- Kocmi, T., Zouhar, V., Avramidis, E., Grundkiewicz, R., Karpinska, M., Popović, M., et al. (2024a). Error Span Annotation: A Balanced Approach for Human Evaluation of Machine Translation. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1440–1453. https://doi.org/10.18653/v1/2024.wmt-1.131
- Lavie, A., Hanneman, G., Agrawal, S., Kanojia, D., Lo, C., Zouhar, V., et al. (2025). Findings of the WMT25 Shared Task on Automated Translation Evaluation Systems: Linguistic Diversity is Challenging and References Still Help. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 436–483. https://doi.org/10.18653/v1/2025.wmt-1.24
- Turpin, M., Michael, J., Perez, E., & Bowman, S. R. (2023). Language Models Don't Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting. Advances in Neural Information Processing Systems 36 (NeurIPS 2023). https://openreview.net/forum?id=bzs4uPLXvi
- Zheng, L., Chiang, W.-L., Sheng, Y., Zhuang, S., Wu, Z., Zhuang, Y., et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. Advances in Neural Information Processing Systems 36 (NeurIPS 2023), Datasets and Benchmarks Track. https://proceedings.neurips.cc/paper_files/paper/2023/hash/91f18a1287b398d378ef22505bf41832-Abstract-Datasets_and_Benchmarks.html
- Zouhar, V., Bafna, N., Choudhary, M., Züfle, M., Rajaee, S., Chen, P., et al. (2026). Last Translation Benchmark. Preprint, arXiv:2609.04173. http://arxiv.org/abs/2609.04173