Ayla's learning materialsMatériel pédagogique d'Ayla

Evaluating language technologyL'évaluation des technologies langagières

PrintedImprimé le · aylart.github.io/learn · CC BY-NC 4.0

Evaluation foundationsFondements de l'évaluation

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée.

Systematic evaluationL'évaluation systématique

Limits of a first impression

When you try out a language tool, for example a machine translation system, a spelling checker or a chatbot, the obvious way to judge it is to look at some of its results and decide whether they seem good. That first impression is useful, but it is a weak basis for a conclusion:

it relies on the few examples you happened to try;
it depends on your own expertise, so another person can judge the same results differently, and it does not work for a subject or a language in which your own expertise is limited;
it cannot be compared with another person’s impression of another tool, or with your own impression of the same tool a year later.

An evaluation is a more systematic way of judging a tool. The tool is run on evaluation data chosen in advance and its output is judged by a method that is stated, so that the result can be checked, repeated and compared.

Tasks without a single correct answer

For language technology, a systematic evaluation is less straightforward than it seems. Many tasks in natural language processing (NLP) do not have a single answer that is unquestionably correct (Basile et al., 2021). For example, a sum has one correct answer, but a sentence can be translated well in several ways (Figure 1figure 1), and two specialists who list the terms of the same text rarely produce the same list (see also the Where people disagree about terms page, in the Classical NLP module) (voir aussi la page Les points de désaccord sur les termes, dans le module TAL classique). An evaluation therefore has to settle what counts as correct before anything can be counted.

Two panels, each with a question and six answers. On the left, a sum, 7 × 8: the answer 56 is marked with a check, and five other numbers, 54, 48, 63, 58 and 65, with a cross. On the right, a sentence to translate, Il pleut des cordes: four different translations are marked with a check, It's raining cats and dogs, It's pouring, It's raining heavily and It's coming down in buckets; one, It's raining, is marked with a wavy line, as acceptable but not the best; and one, It's raining ropes, with a cross. — Figure 1. One of the main difficulties in evaluating NLP tasks is that there are often multiple correct answers. Compare, for instance, simple mathematics (1 correct answer, everything else wrong) with translation (multiple correct answers, maybe a few OK answers, some wrong answers).

Evaluation data, judgement and measure

An evaluation needs three things:

Evaluation data: the texts the system is run on, which were not used to build it (see also the Benchmarks and test sets page) (voir aussi la page Tests de performances et jeux de test).
A judgement of the output: most often a comparison with a gold standard, which states what the output should have been according to people (see also the gold standard page) (voir aussi la page L'étalon de référence), but people can also judge the output directly (see also the Ways of evaluating page) (voir aussi la page Les façons d'évaluer).
A measure: the rule that turns the judgements into a number.

A score can only be interpreted once all three are known (see also the Interpreting a score page) (voir aussi la page Interpréter un score).

Measures by kind of task

How the output is judged, and with which measure, depends on the kind of output a task has. The table below sets out three cases.

Kind of task	For instance	What is judged	Usual measures
Finding or labelling things	spam filtering, named entity recognition, term extraction	each decision of the system against the gold standard	precision, recall and the F1 score
Writing text, where many outputs would be acceptable	translation, summarization	the output against one or more reference texts, or the output itself, by people (see also the Ways of evaluating page) (voir aussi la page Les façons d'évaluer)	overlap and similarity metrics such as BLEU, chrF, BERTScore and COMET; human ratings
Many tasks at once	a general-purpose large language model	the system on a collection of test sets	benchmark scores

Three kinds of task, and how each is usually evaluated.

For tasks of the first kind, such as named entity recognition, evaluation has usually assumed that each item has one correct answer (Basile et al., 2021) (see also the Evaluating extraction and classification chapter) (voir aussi le chapitre Évaluation de l'extraction et de la classification). Tasks that produce text, such as machine translation, cannot be evaluated on that assumption, because many different outputs can be right (see also the Evaluating machine translation chapter) (voir aussi le chapitre Évaluation de la traduction automatique). A large language model produces text whatever the task, so its evaluation raises the same difficulty.

Sources

Basile, V., Fell, M., Fornaciari, T., Hovy, D., Paun, S., Plank, B., et al. (2021). We Need to Consider Disagreement in Evaluation. Proceedings of the 1st Workshop on Benchmarking: Past, Present and Future. https://doi.org/10.18653/v1/2021.bppf-1.3

Les limites d’une première impression

Quand vous essayez un outil langagier, par exemple un système de traduction automatique, un correcteur orthographique ou un agent conversationnel, la façon la plus évidente de le juger consiste à regarder quelques-uns de ses résultats et à décider s’ils semblent bons. Cette première impression est utile, mais c’est une base fragile pour une conclusion :

elle dépend des quelques exemples que vous avez essayés ;
elle dépend de votre propre expertise, de sorte qu’une autre personne peut juger les mêmes résultats autrement, et elle ne fonctionne pas pour un sujet ou une langue où votre expertise est limitée ;
elle ne peut pas être comparée à l’impression d’une autre personne sur un autre outil, ni à votre propre impression du même outil un an plus tard.

Une évaluation est une façon plus systématique de juger un outil. L’outil fonctionne sur des données d’évaluation choisies à l’avance et sa sortie est jugée selon une méthode déclarée, de sorte que le résultat peut être vérifié, répété et comparé.

Les tâches sans réponse correcte unique

Pour les technologies langagières, une évaluation systématique est moins simple qu’il n’y paraît. Beaucoup de tâches du traitement automatique de la langue (TAL) n’ont pas une réponse unique qui soit incontestablement correcte (Basile et al., 2021). Par exemple, une somme a une seule réponse correcte, mais une phrase peut être bien traduite de plusieurs façons (Figure 1figure 1), et deux spécialistes qui relèvent les termes d’un même texte produisent rarement la même liste (see also the Where people disagree about terms page, in the Classical NLP module) (voir aussi la page Les points de désaccord sur les termes, dans le module TAL classique). Une évaluation doit donc établir quelles réponses sont considérées comme correctes avant de pouvoir compter quoi que ce soit.

Deux panneaux, chacun avec une question et six réponses. À gauche, une somme, 7 × 8 : la réponse 56 est marquée d'une coche, et cinq autres nombres, 54, 48, 63, 58 et 65, d'une croix. À droite, une phrase à traduire, Il pleut des cordes : quatre traductions différentes sont marquées d'une coche, It's raining cats and dogs, It's pouring, It's raining heavily et It's coming down in buckets ; une, It's raining, est marquée d'une ligne ondulée, comme acceptable sans être la meilleure ; et une, It's raining ropes, d'une croix. — Figure 1. L'une des principales difficultés de l'évaluation des tâches du TAL est qu'il existe souvent plusieurs réponses correctes. Comparez, par exemple, un calcul simple (une seule réponse correcte, toutes les autres fausses) et la traduction (plusieurs réponses correctes, peut-être quelques réponses acceptables, quelques réponses fausses).

Données d’évaluation, jugement et mesure

Une évaluation a besoin de trois éléments :

Des données d’évaluation : les textes sur lesquels le système fonctionne, et qui n’ont pas servi à le construire (see also the Benchmarks and test sets page) (voir aussi la page Tests de performances et jeux de test).
Un jugement de la sortie : le plus souvent une comparaison avec un étalon de référence (angl. gold standard), qui indique quelle aurait dû être la sortie selon des personnes (see also the gold standard page) (voir aussi la page L'étalon de référence), mais des personnes peuvent aussi juger la sortie directement (see also the Ways of evaluating page) (voir aussi la page Les façons d'évaluer).
Une mesure : la règle qui transforme les jugements en un nombre.

Un score ne peut être interprété que lorsque les trois sont connus (see also the Interpreting a score page) (voir aussi la page Interpréter un score).

Les mesures selon le type de tâche

La façon de juger la sortie, et la mesure utilisée, dépendent du type de sortie d’une tâche. Le tableau ci-dessous présente trois cas.

Type de tâche	Par exemple	Ce qui est jugé	Mesures habituelles
Trouver ou étiqueter des éléments	le filtrage des pourriels, la reconnaissance d’entités nommées, l’extraction de termes	chaque décision du système, comparée à l’étalon de référence	la précision, le rappel et le score F1
Rédiger un texte, quand de nombreuses sorties seraient acceptables	la traduction, le résumé	la sortie, comparée à un ou plusieurs textes de référence, ou la sortie elle-même, par des personnes (see also the Ways of evaluating page) (voir aussi la page Les façons d'évaluer)	des mesures de recoupement et de similarité comme BLEU, chrF, BERTScore et COMET ; des notes attribuées par des personnes
De nombreuses tâches à la fois	un grand modèle de langue généraliste	le système sur un ensemble de jeux de test	des scores à des tests de performances

Trois types de tâches et la façon dont chacun est habituellement évalué.

Pour les tâches du premier type, comme la reconnaissance d’entités nommées, l’évaluation a généralement supposé que chaque élément a une seule réponse correcte (Basile et al., 2021) (see also the Evaluating extraction and classification chapter) (voir aussi le chapitre Évaluation de l'extraction et de la classification). Les tâches qui produisent du texte, comme la traduction automatique, ne peuvent pas être évaluées à partir de cette hypothèse, parce que de nombreuses sorties différentes peuvent être correctes (see also the Evaluating machine translation chapter) (voir aussi le chapitre Évaluation de la traduction automatique). Un grand modèle de langue produit du texte quelle que soit la tâche, de sorte que son évaluation pose la même difficulté.

Sources

Basile, V., Fell, M., Fornaciari, T., Hovy, D., Paun, S., Plank, B., et al. (2021). We Need to Consider Disagreement in Evaluation. Proceedings of the 1st Workshop on Benchmarking: Past, Present and Future. https://doi.org/10.18653/v1/2021.bppf-1.3

Ways of evaluatingLes façons d'évaluer

Four ways to evaluate

The output of a system can be evaluated in several ways. The first table below gives four of them, with the kinds of system each is typically used for. The first way compares the output with answers prepared in advance, while in the other three, people judge the output itself.

Way of evaluating	What is done	Typically used for
Comparison with a gold standard	the output is compared with answers that people prepared in advance, and the comparison is counted by a measure	systems that find or label things, such as a spam filter or a term extractor; also translation systems, compared with a human translation
Pairwise comparison	a person sees two outputs for the same input and says which one is better (Jurafsky & Martin, 2026)	systems that produce text, such as translation systems and chatbots
Rating on a scale	a person gives each output a score, for instance from 1 to 5, often for one criterion at a time, such as how fluent a translation is (Jurafsky & Martin, 2026)	systems that produce text or speech, such as translation, summarization and speech synthesis systems
Error annotation	a person marks each error in the output, with its category and how serious it is (Freitag et al., 2021)	systems that produce text, above all translation systems

Four ways to evaluate the output of a system.

Figure 2figure 2 applies the four ways to one machine translation.

Figure 2. One machine translation evaluated in four ways. The sentences and the judgements are invented.

Each way has its benefits and its costs, which the second table sets out.

Way of evaluating	Benefits	Costs and risks
Comparison with a gold standard	the same evaluation can be repeated, and reused for every new system at no extra cost	the result depends on one gold standard, where other answers could be correct (Basile et al., 2021); a public gold standard can end up in the training data of the systems it tests (Sainz et al., 2023)
Pairwise comparison	an easy judgement to make, which shows directly which of two systems is preferred	it says which output is better, but not how good either is, or why; every new system needs new judgements
Rating on a scale	a quality level for each output, on each criterion	people apply a scale differently, so raters need clear criteria and training (Jurafsky & Martin, 2026)
Error annotation	it shows which errors a system makes and where	slow and expensive, because it takes experts (Kocmi et al., 2024a)

Benefits and costs of the four ways of evaluating.

Pairwise comparison is the method behind the public rankings of chatbots (see also the Human preference rankings page, in the Using LLMs module) (voir aussi la page Les classements fondés sur les préférences humaines, dans le module Utiliser les GML). Rating and error annotation are the main ways of evaluating translations by hand, with schemes such as Multidimensional Quality Metrics (MQM) and Error Span Annotation (ESA) (see also the Evaluating machine translation chapter) (voir aussi le chapitre Évaluation de la traduction automatique).

People and automatic measures

A judgement can come from a person or from an automatic measure. The table below compares three cases.

Judge	Benefits	Costs and risks
People	the most trusted form of evaluation for systems that produce text (Howcroft et al., 2020)	slow and expensive (Jurafsky & Martin, 2026); the result depends on who judges and on how the criteria are defined
An automatic measure that compares the output with a gold standard	fast and cheap, so it can be repeated for every system	only useful as far as it agrees with the judgements of people
A large language model as judge (Zheng et al., 2023)	fast and cheap; it can judge an output with no gold standard to compare it with	its judgements have biases of their own, so they also have to be checked against those of people

Who or what judges the output.

Two findings show how much the judgements of people depend on the way they are collected:

Who judges. When professional translators annotated the errors in the output of machine translation systems, the systems were ranked very differently from the ranking that crowd workers had produced (Freitag et al., 2021).
How the criteria are defined. In two decades of papers on text generation, the quality criteria had very different names and definitions from one paper to the next, and reports often left out how the evaluation was done, so the results are hard to compare (Howcroft et al., 2020).

An automatic measure is checked by comparing its scores with the judgements of people on the same outputs (see also the Benchmarks and test sets page) (voir aussi la page Tests de performances et jeux de test).

Intrinsic and extrinsic evaluation

An evaluation can judge the output of a system, or what happens when the system is used (Jurafsky & Martin, 2026):

Intrinsic evaluation judges the output itself. The four ways above are intrinsic.
Extrinsic evaluation measures the effect of the system on a task, for instance:
- for a translation system, how much a translator has to change in the output before it is correct;
- for a term extractor, how much time the list of candidates saves the person who builds a termbase.

An extrinsic evaluation is the only way to know whether a system helps with the task at hand, but it is often very expensive (Jurafsky & Martin, 2026).

Choosing a way of evaluating

The way of evaluating depends on the question and on the available resources.

The question, for instance:

to find out which of two chatbots or translation systems people prefer, a pairwise comparison;
to find out whether a translation is good enough to use, and what is wrong with it, a rating or an error annotation;
to compare many systems, or to follow one system from one version to the next, a comparison with a gold standard (see also the gold standard page) (voir aussi la page L'étalon de référence).

The resources, for instance:

Time and money. Judgements by people cost more than an automatic measure, and they have to be paid for again for every new system (Jurafsky & Martin, 2026).
Expertise. Error annotation takes experts, who are not available for every language (Kocmi et al., 2024a).
An existing gold standard. Where none exists for the task, the domain and the language, making one is the first cost of the evaluation.

An evaluation often combines several ways, for instance a score against a gold standard for every system and an error annotation for the best ones.

Sources

Basile, V., Fell, M., Fornaciari, T., Hovy, D., Paun, S., Plank, B., et al. (2021). We Need to Consider Disagreement in Evaluation. Proceedings of the 1st Workshop on Benchmarking: Past, Present and Future. https://doi.org/10.18653/v1/2021.bppf-1.3
Freitag, M., Foster, G., Grangier, D., Ratnakar, V., Tan, Q., & Macherey, W. (2021). Experts, Errors, and Context: A Large-Scale Study of Human Evaluation for Machine Translation. Transactions of the Association for Computational Linguistics, 9, 1460–1474. https://doi.org/10.1162/tacl_a_00437
Howcroft, D. M., Belz, A., Clinciu, M.-A., Gkatzia, D., Hasan, S. A., Mahamood, S., et al. (2020). Twenty Years of Confusion in Human Evaluation: NLG Needs Evaluation Sheets and Standardised Definitions. Proceedings of the 13th International Conference on Natural Language Generation, 169–182. https://doi.org/10.18653/v1/2020.inlg-1.23
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Kocmi, T., Zouhar, V., Avramidis, E., Grundkiewicz, R., Karpinska, M., Popović, M., et al. (2024a). Error Span Annotation: A Balanced Approach for Human Evaluation of Machine Translation. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1440–1453. https://doi.org/10.18653/v1/2024.wmt-1.131
Sainz, O., Campos, J., García-Ferrero, I., Etxaniz, J., Lopez de Lacalle, O., & Agirre, E. (2023). NLP Evaluation in Trouble: On the Need to Measure LLM Data Contamination for Each Benchmark. Findings of the Association for Computational Linguistics: EMNLP 2023, 10776–10787. https://doi.org/10.18653/v1/2023.findings-emnlp.722
Zheng, L., Chiang, W.-L., Sheng, Y., Zhuang, S., Wu, Z., Zhuang, Y., et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. Advances in Neural Information Processing Systems 36 (NeurIPS 2023), Datasets and Benchmarks Track. https://proceedings.neurips.cc/paper_files/paper/2023/hash/91f18a1287b398d378ef22505bf41832-Abstract-Datasets_and_Benchmarks.html

Quatre façons d’évaluer

La sortie d’un système peut être évaluée de plusieurs façons. Le premier tableau ci-dessous en présente quatre, avec les types de systèmes pour lesquels chacune est habituellement utilisée. La première façon compare la sortie avec des réponses préparées à l’avance, tandis que dans les trois autres, des personnes jugent la sortie elle-même.

Façon d’évaluer	Ce qui est fait	Habituellement utilisée pour
Comparaison avec un étalon de référence	la sortie est comparée à des réponses que des personnes ont préparées à l’avance, et la comparaison est chiffrée par une mesure	les systèmes qui trouvent ou étiquettent des éléments, comme un filtre antipourriel ou un extracteur de termes ; aussi les systèmes de traduction, comparés à une traduction humaine
Comparaison par paires	une personne voit deux sorties pour la même entrée et dit laquelle est la meilleure (Jurafsky & Martin, 2026)	les systèmes qui produisent du texte, comme les systèmes de traduction et les agents conversationnels
Notation sur une échelle	une personne attribue une note à chaque sortie, par exemple de 1 à 5, souvent pour un critère à la fois, comme la fluidité d’une traduction (Jurafsky & Martin, 2026)	les systèmes qui produisent du texte ou de la parole, comme les systèmes de traduction, de résumé et de synthèse de la parole
Annotation des erreurs	une personne marque chaque erreur dans la sortie, avec sa catégorie et sa gravité (Freitag et al., 2021)	les systèmes qui produisent du texte, surtout les systèmes de traduction

Quatre façons d'évaluer la sortie d'un système.

La Figure 2figure 2 applique les quatre façons à une même traduction automatique.

Une phrase française, Il pleut des cordes ce matin, et la sortie du système A, It is raining ropes this morning, suivies de quatre panneaux. Comparaison avec un étalon de référence : l'étalon de référence, It is pouring this morning, au-dessus de la sortie du système A, les mots qu'ils ont en commun étant colorés ; 4 mots sur 6 en commun. Comparaison par paires : la sortie du système A au-dessus de celle du système B, It is raining heavily this morning ; B est préféré. Notation sur une échelle : la sortie du système A, la question le sens est-il préservé, et deux cercles sur cinq remplis ; 2 sur 5. Annotation des erreurs : la sortie du système A, les mots raining ropes étant marqués comme un contresens, une erreur majeure. — Figure 2. Une même traduction automatique évaluée de quatre façons. Les phrases et les jugements sont inventés.

Chaque façon a ses avantages et ses coûts, que présente le deuxième tableau.

Façon d’évaluer	Avantages	Coûts et risques
Comparaison avec un étalon de référence	la même évaluation peut être répétée, et réutilisée pour chaque nouveau système sans coût supplémentaire	le résultat dépend d’un seul étalon de référence, alors que d’autres réponses pourraient être correctes (Basile et al., 2021) ; un étalon de référence public peut se retrouver dans les données d’entraînement des systèmes qu’il sert à tester (Sainz et al., 2023)
Comparaison par paires	un jugement facile à poser, qui montre directement lequel de deux systèmes est préféré	elle dit quelle sortie est la meilleure, mais pas à quel point chacune est bonne, ni pourquoi ; chaque nouveau système demande de nouveaux jugements
Notation sur une échelle	un niveau de qualité pour chaque sortie, pour chaque critère	les personnes n’appliquent pas une échelle de la même façon, de sorte que les évaluateurs ont besoin de critères clairs et d’une formation (Jurafsky & Martin, 2026)
Annotation des erreurs	elle montre quelles erreurs un système commet et à quel endroit	lente et coûteuse, parce qu’elle demande des spécialistes (Kocmi et al., 2024a)

Avantages et coûts des quatre façons d'évaluer.

La comparaison par paires est la méthode derrière les classements publics d’agents conversationnels (see also the Human preference rankings page, in the Using LLMs module) (voir aussi la page Les classements fondés sur les préférences humaines, dans le module Utiliser les GML). La notation et l’annotation des erreurs sont les principales façons d’évaluer des traductions à la main, avec des grilles comme Multidimensional Quality Metrics (MQM) et Error Span Annotation (ESA) (see also the Evaluating machine translation chapter) (voir aussi le chapitre Évaluation de la traduction automatique).

Les personnes et les mesures automatiques

Un jugement peut venir d’une personne ou d’une mesure automatique. Le tableau ci-dessous compare trois cas.

Juge	Avantages	Coûts et risques
Des personnes	la forme d’évaluation qui inspire le plus confiance pour les systèmes qui produisent du texte (Howcroft et al., 2020)	lent et coûteux (Jurafsky & Martin, 2026) ; le résultat dépend de qui juge et de la façon dont les critères sont définis
Une mesure automatique qui compare la sortie à un étalon de référence	rapide et peu coûteuse, de sorte qu’elle peut être répétée pour chaque système	utile seulement dans la mesure où elle concorde avec les jugements de personnes
Un grand modèle de langue comme juge (Zheng et al., 2023)	rapide et peu coûteux ; il peut juger une sortie sans étalon de référence auquel la comparer	ses jugements ont leurs propres biais, de sorte qu’ils doivent eux aussi être vérifiés par rapport à ceux de personnes

Qui, ou quoi, juge la sortie.

Deux constats montrent à quel point les jugements de personnes dépendent de la façon dont ils sont recueillis :

Qui juge. Quand des traducteurs professionnels ont annoté les erreurs dans la sortie de systèmes de traduction automatique, le classement des systèmes a été très différent de celui qu’avaient produit des travailleurs recrutés sur une plateforme de production participative (Freitag et al., 2021).
Comment les critères sont définis. Dans vingt ans d’articles sur la génération de texte, les critères de qualité avaient des noms et des définitions très différents d’un article à l’autre, et les comptes rendus omettaient souvent de dire comment l’évaluation avait été menée, de sorte que les résultats sont difficiles à comparer (Howcroft et al., 2020).

Une mesure automatique est vérifiée en comparant ses scores aux jugements de personnes sur les mêmes sorties (see also the Benchmarks and test sets page) (voir aussi la page Tests de performances et jeux de test).

Évaluation intrinsèque et évaluation extrinsèque

Une évaluation peut juger la sortie d’un système, ou les effets de l’utilisation du système (Jurafsky & Martin, 2026) :

L’évaluation intrinsèque juge la sortie elle-même. Les quatre façons ci-dessus sont intrinsèques.
L’évaluation extrinsèque mesure l’effet du système sur une tâche, par exemple :
- pour un système de traduction, ce qu’un traducteur doit modifier dans la sortie pour qu’elle soit correcte ;
- pour un extracteur de termes, le temps que la liste de candidats fait gagner à la personne qui construit une base terminologique.

Une évaluation extrinsèque est la seule façon de savoir si un système aide à accomplir la tâche visée, mais elle est souvent très coûteuse (Jurafsky & Martin, 2026).

Choisir une façon d’évaluer

La façon d’évaluer dépend de la question et des ressources disponibles.

La question, par exemple :

pour savoir lequel de deux agents conversationnels ou de deux systèmes de traduction les gens préfèrent, une comparaison par paires ;
pour savoir si une traduction est assez bonne pour être utilisée, et ce qui ne va pas, une notation ou une annotation des erreurs ;
pour comparer de nombreux systèmes, ou pour suivre un système d’une version à la suivante, une comparaison avec un étalon de référence (see also the gold standard page) (voir aussi la page L'étalon de référence).

Les ressources, par exemple :

Le temps et l’argent. Les jugements de personnes coûtent plus cher qu’une mesure automatique, et il faut les payer de nouveau pour chaque nouveau système (Jurafsky & Martin, 2026).
L’expertise. L’annotation des erreurs demande des spécialistes, qui ne sont pas disponibles pour toutes les langues (Kocmi et al., 2024a).
Un étalon de référence existant. Lorsqu’il n’en existe aucun pour la tâche, le domaine et la langue, en créer un est le premier coût de l’évaluation.

Une évaluation combine souvent plusieurs façons, par exemple un score par rapport à un étalon de référence pour chaque système et une annotation des erreurs pour les meilleurs.

Sources

Basile, V., Fell, M., Fornaciari, T., Hovy, D., Paun, S., Plank, B., et al. (2021). We Need to Consider Disagreement in Evaluation. Proceedings of the 1st Workshop on Benchmarking: Past, Present and Future. https://doi.org/10.18653/v1/2021.bppf-1.3
Freitag, M., Foster, G., Grangier, D., Ratnakar, V., Tan, Q., & Macherey, W. (2021). Experts, Errors, and Context: A Large-Scale Study of Human Evaluation for Machine Translation. Transactions of the Association for Computational Linguistics, 9, 1460–1474. https://doi.org/10.1162/tacl_a_00437
Howcroft, D. M., Belz, A., Clinciu, M.-A., Gkatzia, D., Hasan, S. A., Mahamood, S., et al. (2020). Twenty Years of Confusion in Human Evaluation: NLG Needs Evaluation Sheets and Standardised Definitions. Proceedings of the 13th International Conference on Natural Language Generation, 169–182. https://doi.org/10.18653/v1/2020.inlg-1.23
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Kocmi, T., Zouhar, V., Avramidis, E., Grundkiewicz, R., Karpinska, M., Popović, M., et al. (2024a). Error Span Annotation: A Balanced Approach for Human Evaluation of Machine Translation. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1440–1453. https://doi.org/10.18653/v1/2024.wmt-1.131
Sainz, O., Campos, J., García-Ferrero, I., Etxaniz, J., Lopez de Lacalle, O., & Agirre, E. (2023). NLP Evaluation in Trouble: On the Need to Measure LLM Data Contamination for Each Benchmark. Findings of the Association for Computational Linguistics: EMNLP 2023, 10776–10787. https://doi.org/10.18653/v1/2023.findings-emnlp.722
Zheng, L., Chiang, W.-L., Sheng, Y., Zhuang, S., Wu, Z., Zhuang, Y., et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. Advances in Neural Information Processing Systems 36 (NeurIPS 2023), Datasets and Benchmarks Track. https://proceedings.neurips.cc/paper_files/paper/2023/hash/91f18a1287b398d378ef22505bf41832-Abstract-Datasets_and_Benchmarks.html

The gold standardL'étalon de référence

Output and gold standard

The most common way to evaluate an NLP system is to compare its output with a gold standard (see also the Ways of evaluating page) (voir aussi la page Les façons d'évaluer). The gold standard states what the output should have been, and it is most often made of the answers people gave for the same input (Jurafsky & Martin, 2026).

evaluationévaluation DefinitionDéfinition · gold standardétalon de référence · fr: étalon de référence· en : gold standard

The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. (Basile et al., 2021; Jurafsky & Martin, 2026, pp. 112–113)

NotesRemarques In natural language processing, usually a set of labels produced or adjudicated by people. A gold standard is not necessarily correct: annotations can contain mistakes, and a single adjudicated answer can hide real differences between annotators.En traitement automatique de la langue, il s'agit le plus souvent d'un ensemble d'étiquettes produites ou arbitrées par des personnes. Un étalon de référence n'est pas nécessairement correct : les annotations peuvent contenir des erreurs, et une réponse arbitrée unique peut masquer de réelles divergences entre annotateurs.

Other attested French terms: test de référence, référence standard, jeu de référence, référenceAutres termes français attestés : test de référence, référence standard, jeu de référence, référence

For example, in named entity recognition, a system finds the names of people, places and organizations in a text. If such a system returned three names for a sentence, you could only say how well it worked by knowing which names people find in that sentence. Figure 3figure 3 builds up this example in three stages.

Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.

Figure 3. An evaluation of named entity recognition, the task of finding the names in a text: people mark the names first, and the output of the system is then compared with their answers. The marks are invented.

A gold standard has to be made for each task. To score a term extractor, a tool that lists the specialized terms of a text, you need the list of terms that are in the text, and that list has to be made by hand: one or more people read the text and mark the terms, following written guidelines.

Gold standard, reference and ground truth

The general word for the answers that an output is compared with is the reference. A gold standard is a reference that people produced. For a translation system, it is a translation made by a person, called a reference translation.

Ground truth is often used as a synonym of gold standard, but the two answer different questions about a reference (Figure 4figure 4): a gold standard is produced by people, and a ground truth consists of verifiable facts. Where the answers depend on judgement, people can disagree and more than one answer can be correct (Basile et al., 2021), so a gold standard is then not a ground truth.

evaluationévaluation DefinitionDéfinition · ground truthréalité de terrain · fr: réalité de terrain· en : ground truth

The values, labels or observations treated as the correct description of the cases in a dataset.Valeurs, étiquettes ou observations tenues pour la description correcte des cas d'un jeu de données. (Basile et al., 2021)

NotesRemarques Often used as a synonym of gold standard, but the two describe different things: a gold standard is data that people produced, and a ground truth is answers that are verifiable facts. Annotated data are a ground truth only where the answers can be verified.Souvent employé comme synonyme d'étalon de référence, mais les deux termes ne décrivent pas la même chose : un étalon de référence est un jeu de données produit par des personnes, et une réalité de terrain est un ensemble de réponses qui sont des faits vérifiables. Des données annotées ne constituent une réalité de terrain que si les réponses peuvent être vérifiées.

A grid of four cells inside a dashed frame. Across the top: answers produced by people, no or yes. Down the side: answers are verifiable facts, yes or no. Verifiable and produced by people: gold standard and ground truth, the language of each text, marked by annotators. Verifiable and not produced by people: ground truth, the language of each text, taken from the records of its source. Not verifiable and produced by people: gold standard, the terms in a text, agreed by three annotators. Neither: the answers of another tool, taken as they are. Under the frame: all four are references, answers that an output is compared with. — Figure 4. Gold standard and ground truth answer two different questions about a reference. The examples are mine.

Silver standards

A reference can also be produced by systems, with no person involved: for example by combining the output of several tools, or by asking a large language model to annotate the data (Tan et al., 2024). Such a reference is sometimes called a silver standard, a term that Rebholz-Schuhmann et al. (2010) proposed for a corpus that combines the annotations of several tools. It is the fourth case of Figure 4figure 4. A silver standard is faster and cheaper to make than a gold standard, but nobody has checked its answers, so a score against it shows how far a system agrees with other systems. Now that such models are used to produce annotations and test data, it is worth checking whether people made a reference or verified it.

Limits of a gold standard

Every score computed against a gold standard is a comparison with one particular set of answers, and that set has limits of its own:

It depends on the guidelines. The people who made it followed written guidelines and decided the unclear cases, for instance whether names count as terms or how long a term may be. Had they decided differently, the same system would score differently on the same text (see also the Where people disagree about terms page, in the Classical NLP module) (voir aussi la page Les points de désaccord sur les termes, dans le module TAL classique). For many language tasks, some of these decisions are a matter of judgement (Basile et al., 2021).
It depends on the annotators. Other people, with other expertise, would mark some items differently, and any annotator makes mistakes (Artstein & Poesio, 2008). Comparing the annotators with each other shows how far a gold standard can be relied on (see also the Agreement between annotators page) (voir aussi la page L'accord entre annotateurs).
It covers a limited set of texts. A score says how a system does on texts like those in the gold standard, from one domain, one language and one type of document, and it says less about other texts (see also the Interpreting a score page) (voir aussi la page Interpréter un score).
It is costly to extend. A new domain or a new language needs a new gold standard, annotated by hand again.
It can end up in training data. Once a gold standard is published, the systems it is meant to evaluate may have been trained on it (Sainz et al., 2023) (see also the Benchmarks and test sets page) (voir aussi la page Tests de performances et jeux de test).
It lists a limited number of answers. For a system that produces text, such as a translation system or a chatbot, an output can be good without resembling any of them, which is one reason why people also judge such output directly (see also the Ways of evaluating page) (voir aussi la page Les façons d'évaluer).

Sources

Artstein, R., & Poesio, M. (2008). Inter-coder agreement for computational linguistics. Computational Linguistics, 34(4), 555–596. https://doi.org/10.1162/coli.07-034-R2
Basile, V., Fell, M., Fornaciari, T., Hovy, D., Paun, S., Plank, B., et al. (2021). We Need to Consider Disagreement in Evaluation. Proceedings of the 1st Workshop on Benchmarking: Past, Present and Future. https://doi.org/10.18653/v1/2021.bppf-1.3
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Rebholz-Schuhmann, D., Jimeno Yepes, A. J., van Mulligen, E. M., Kang, N., Kors, J., Milward, D., et al. (2010). The CALBC Silver Standard Corpus for Biomedical Named Entities — A Study in Harmonizing the Contributions from Four Independent Named Entity Taggers. Proceedings of the Seventh International Conference on Language Resources and Evaluation (LREC'10). https://aclanthology.org/L10-1609/
Sainz, O., Campos, J., García-Ferrero, I., Etxaniz, J., Lopez de Lacalle, O., & Agirre, E. (2023). NLP Evaluation in Trouble: On the Need to Measure LLM Data Contamination for Each Benchmark. Findings of the Association for Computational Linguistics: EMNLP 2023, 10776–10787. https://doi.org/10.18653/v1/2023.findings-emnlp.722
Tan, Z., Li, D., Wang, S., Beigi, A., Jiang, B., Bhattacharjee, A., et al. (2024). Large Language Models for Data Annotation and Synthesis: A Survey. Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing, 930–957. https://aclanthology.org/2024.emnlp-main.54/

La sortie et l’étalon de référence

La façon la plus courante d’évaluer un système de TAL est de comparer sa sortie avec un étalon de référence (angl. gold standard) (see also the Ways of evaluating page) (voir aussi la page Les façons d'évaluer). L’étalon de référence indique quelle aurait dû être la sortie, et il est le plus souvent constitué des réponses que des personnes ont données pour la même entrée (Jurafsky & Martin, 2026).

evaluationévaluation DefinitionDéfinition · gold standardétalon de référence · fr: étalon de référence· en : gold standard

Par exemple, en reconnaissance d’entités nommées, un système trouve les noms de personnes, de lieux et d’organisations dans un texte. Si un tel système renvoyait trois noms pour une phrase, vous ne pourriez dire s’il a bien fonctionné qu’en sachant quels noms des personnes trouvent dans cette phrase. La Figure 3figure 3 construit cet exemple en trois étapes.

Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.

Figure 3. Une évaluation de la reconnaissance d'entités nommées, la tâche qui consiste à trouver les noms dans un texte : des personnes marquent d'abord les noms, puis la sortie du système est comparée à leurs réponses. Les annotations sont inventées.

Un étalon de référence doit être créé pour chaque tâche. Pour attribuer un score à un extracteur de termes, un outil qui dresse la liste des termes spécialisés d’un texte, il faut la liste des termes qui se trouvent dans le texte, et cette liste doit être établie à la main : une ou plusieurs personnes lisent le texte et marquent les termes, en suivant des consignes écrites.

Étalon de référence, référence et réalité de terrain

Le mot général pour les réponses auxquelles une sortie est comparée est la référence. Un étalon de référence est une référence que des personnes ont produite. Pour un système de traduction, c’est une traduction faite par une personne, appelée traduction de référence.

Le terme réalité de terrain (angl. ground truth) est souvent employé comme synonyme d’étalon de référence, mais les deux répondent à des questions différentes sur une référence (Figure 4figure 4) : un étalon de référence est produit par des personnes, et une réalité de terrain est constituée de faits vérifiables. Lorsque les réponses dépendent d’un jugement, les personnes peuvent être en désaccord et plusieurs réponses peuvent être correctes (Basile et al., 2021) : un étalon de référence n’est alors pas une réalité de terrain.

evaluationévaluation DefinitionDéfinition · ground truthréalité de terrain · fr: réalité de terrain· en : ground truth

Une grille de quatre cases dans un cadre en pointillé. En haut : réponses produites par des personnes, non ou oui. Sur le côté : les réponses sont des faits vérifiables, oui ou non. Vérifiables et produites par des personnes : étalon de référence et réalité de terrain, la langue de chaque texte, indiquée par des annotateurs. Vérifiables et non produites par des personnes : réalité de terrain, la langue de chaque texte, tirée des données de sa source. Non vérifiables et produites par des personnes : étalon de référence, les termes d'un texte, retenus par trois annotateurs. Ni l'un ni l'autre : les réponses d'un autre outil, reprises telles quelles. Sous le cadre : les quatre sont des références, des réponses auxquelles une sortie est comparée. — Figure 4. L'étalon de référence et la réalité de terrain répondent à deux questions différentes sur une référence. Les exemples sont les miens.

Les étalons produits par des systèmes

Une référence peut aussi être produite par des systèmes, sans intervention humaine : par exemple en combinant la sortie de plusieurs outils, ou en demandant à un grand modèle de langue d’annoter les données (Tan et al., 2024). Une telle référence est parfois appelée silver standard en anglais, par analogie avec gold standard, un terme que Rebholz-Schuhmann et al. (2010) ont proposé pour un corpus qui combine les annotations de plusieurs outils. C’est le quatrième cas de Figure 4figure 4. Une telle référence est plus rapide et moins coûteuse à produire qu’un étalon de référence, mais personne n’a vérifié ses réponses : un score obtenu par rapport à elle montre donc dans quelle mesure un système concorde avec d’autres systèmes. Maintenant que de tels modèles servent à produire des annotations et des données de test, il vaut la peine de vérifier si des personnes ont produit ou vérifié une référence.

Les limites d’un étalon de référence

Chaque score calculé par rapport à un étalon de référence est une comparaison avec un ensemble de réponses particulier, et cet ensemble a ses propres limites :

Il dépend des consignes. Les personnes qui l’ont établi ont suivi des consignes écrites et ont tranché les cas flous, par exemple si les noms propres comptent comme des termes, ou quelle longueur un terme peut avoir. Si elles avaient décidé autrement, le même système obtiendrait un autre score sur le même texte (see also the Where people disagree about terms page, in the Classical NLP module) (voir aussi la page Les points de désaccord sur les termes, dans le module TAL classique). Pour beaucoup de tâches langagières, une partie de ces décisions relève du jugement (Basile et al., 2021).
Il dépend des annotateurs. D’autres personnes, avec une autre expertise, marqueraient certains éléments autrement, et tout annotateur fait des erreurs (Artstein & Poesio, 2008). Comparer les annotateurs entre eux montre à quel point on peut se fier à un étalon de référence (see also the Agreement between annotators page) (voir aussi la page L'accord entre annotateurs).
Il porte sur un ensemble limité de textes. Un score dit ce que donne un système sur des textes semblables à ceux de l’étalon de référence, d’un domaine, d’une langue et d’un type de document, et il en dit moins sur d’autres textes (see also the Interpreting a score page) (voir aussi la page Interpréter un score).
Il coûte cher à étendre. Un nouveau domaine ou une nouvelle langue demande un nouvel étalon de référence, annoté de nouveau à la main.
Il peut se retrouver dans les données d’entraînement. Une fois publié, un étalon de référence peut avoir servi à entraîner les systèmes qu’il doit évaluer (Sainz et al., 2023) (see also the Benchmarks and test sets page) (voir aussi la page Tests de performances et jeux de test).
Il énumère un nombre limité de réponses. Pour un système qui produit du texte, comme un système de traduction ou un agent conversationnel, une sortie peut être bonne sans ressembler à aucune d’elles, et c’est l’une des raisons pour lesquelles des personnes jugent aussi de telles sorties directement (see also the Ways of evaluating page) (voir aussi la page Les façons d'évaluer).

Sources

Artstein, R., & Poesio, M. (2008). Inter-coder agreement for computational linguistics. Computational Linguistics, 34(4), 555–596. https://doi.org/10.1162/coli.07-034-R2
Basile, V., Fell, M., Fornaciari, T., Hovy, D., Paun, S., Plank, B., et al. (2021). We Need to Consider Disagreement in Evaluation. Proceedings of the 1st Workshop on Benchmarking: Past, Present and Future. https://doi.org/10.18653/v1/2021.bppf-1.3
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Rebholz-Schuhmann, D., Jimeno Yepes, A. J., van Mulligen, E. M., Kang, N., Kors, J., Milward, D., et al. (2010). The CALBC Silver Standard Corpus for Biomedical Named Entities — A Study in Harmonizing the Contributions from Four Independent Named Entity Taggers. Proceedings of the Seventh International Conference on Language Resources and Evaluation (LREC'10). https://aclanthology.org/L10-1609/
Sainz, O., Campos, J., García-Ferrero, I., Etxaniz, J., Lopez de Lacalle, O., & Agirre, E. (2023). NLP Evaluation in Trouble: On the Need to Measure LLM Data Contamination for Each Benchmark. Findings of the Association for Computational Linguistics: EMNLP 2023, 10776–10787. https://doi.org/10.18653/v1/2023.findings-emnlp.722
Tan, Z., Li, D., Wang, S., Beigi, A., Jiang, B., Bhattacharjee, A., et al. (2024). Large Language Models for Data Annotation and Synthesis: A Survey. Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing, 930–957. https://aclanthology.org/2024.emnlp-main.54/

Agreement between annotatorsL'accord entre annotateurs

What agreement measures

For many language tasks, there is no single answer that is objectively true (see also the Systematic evaluation page) (voir aussi la page L'évaluation systématique), so people who annotate the same data separately do not produce the same gold standard. The extent to which they agree is called inter-annotator agreement (IAA).

evaluationévaluation DefinitionDéfinition · inter-annotator agreement (IAA)accord inter-annotateurs · fr: accord inter-annotateurs· en : inter-annotator agreement

How far two or more people who annotate the same data independently give the same answers.Mesure dans laquelle deux personnes ou plus qui annotent les mêmes données séparément donnent les mêmes réponses. (Artstein & Poesio, 2008, pp. 555–556)

NotesRemarques A measure of how reliable a gold standard is. Low agreement means that the task, the guidelines or both leave room for judgement.Mesure de la fiabilité d'un étalon de référence. Un accord faible signifie que la tâche, les consignes ou les deux laissent place au jugement.

Other attested English terms: inter-rater agreement, inter-coder agreementAutres termes anglais attestés : inter-rater agreement, inter-coder agreement

Other attested French terms: accord inter-évaluateurs, accord interannotateursAutres termes français attestés : accord inter-évaluateurs, accord interannotateurs

Inter-annotator agreement is a measure of the reliability of a gold standard: high agreement suggests that the annotators understood the guidelines in the same way (Artstein & Poesio, 2008). In Figure 5figure 5, three annotators have marked six units between them, and only two of the six were marked by all three.

Three overlapping circles, annotator A, B and C, with a number in each region. The centre, shared by all three, has 2. The region shared by A and B only has 1, by A and C only 1, by B and C only 0. A alone has 0, B alone 1, C alone 1. A note reads: marked by all three, 2; by two, 2; by one, 2. — Figure 5. Three annotators marking the terms of one short text: the number of units marked by each combination of them. The example is invented.

Agreement is also measured when people judge the output of a system directly (see also the Ways of evaluating page) (voir aussi la page Les façons d'évaluer). For translations, for example, both ratings on a scale and error annotation generally show low agreement between the people who judge (Kocmi et al., 2024a).

Measures of agreement

The simplest measure is the share of items on which the annotators gave the same answer. Part of any agreement arises by chance, and some measures correct for it (Artstein & Poesio, 2008). When annotators mark things in running text, such as terms, their agreement can be measured with the same scores as a system (Hripcsak & Rothschild, 2005) (see also the Agreement as an F1 score page) (voir aussi la page L'accord mesuré par le score F1).

Low and high agreement

Low agreement is a finding about the task. Either some annotators are wrong, or the guidelines do not fit the data (Artstein & Poesio, 2008). For many language tasks there is a third possibility, that more than one answer is right (Basile et al., 2021).
A task with low agreement is harder to evaluate, and often harder to automate. The gold standard that a system is scored against is itself uncertain, and where people do not agree on the answer, a system has no consistent answer to learn or to reproduce. In a review of published results in biomedical NLP, Boguslav and Cohen (2017) found that tasks with higher agreement between annotators also had higher system scores.
High agreement is not proof. Reliability is a precondition for a gold standard being right, but two people can share the same mistaken idea and agree completely (Artstein & Poesio, 2008).

Combining several annotators

Most evaluations compare a system with a single gold standard, so the differences between annotators have to be settled. This step is called adjudication, and it can be done in several ways, for instance:

Discussion: the annotators compare their results and settle each difference together.
Majority vote: a unit goes into the gold standard when most of the annotators marked it. Figure 6figure 6 applies it to the three annotators of Figure 5figure 5.
One person checks: a single experienced annotator makes or reviews every decision, which keeps the gold standard consistent but makes it one person’s view.

A grid. Three rows, annotator A, B and C; six columns, piaffe, half-halt, canter, rider, arena and flying change. A cell is filled where that annotator marked the unit as a term. Under the grid, a line gives how many of the three marked each unit: 3, 2, 2, 1, 1 and 3. A last row, the gold standard, is filled for piaffe, half-halt, canter and flying change. — Figure 6. A majority vote: three annotators mark the terms, and the gold standard keeps the units that at least two of them marked. The example is invented.

Combining the annotations is not the only option. An evaluation can also keep the annotations of each person and compare a system with all of them, so that the items on which people disagree are counted as well (Basile et al., 2021).

Agreement and the score of a system

A score against a gold standard cannot be interpreted without the agreement between the people who made it. When two careful people reach 0.6 against each other, a system that reaches 0.6 against one of them does about as well as a second person would (see also the Agreement as an F1 score page) (voir aussi la page L'accord mesuré par le score F1).

The agreement is often assumed to be the upper limit of what a system can reach, but systems do score above it (Boguslav & Cohen, 2017). A higher score is not always feasible, and it is not always desirable: a much higher score can mean that the system reproduces the choices of the particular people who made the gold standard.

Sources

Artstein, R., & Poesio, M. (2008). Inter-coder agreement for computational linguistics. Computational Linguistics, 34(4), 555–596. https://doi.org/10.1162/coli.07-034-R2
Basile, V., Fell, M., Fornaciari, T., Hovy, D., Paun, S., Plank, B., et al. (2021). We Need to Consider Disagreement in Evaluation. Proceedings of the 1st Workshop on Benchmarking: Past, Present and Future. https://doi.org/10.18653/v1/2021.bppf-1.3
Boguslav, M., & Cohen, K. B. (2017). Inter-Annotator Agreement and the Upper Limit on Machine Performance: Evidence from Biomedical Natural Language Processing. Studies in Health Technology and Informatics, 245, 298–302. https://doi.org/10.3233/978-1-61499-830-3-298
Hripcsak, G., & Rothschild, A. S. (2005). Agreement, the F-measure, and reliability in information retrieval. Journal of the American Medical Informatics Association, 12(3), 296–298. https://doi.org/10.1197/jamia.M1733
Kocmi, T., Zouhar, V., Avramidis, E., Grundkiewicz, R., Karpinska, M., Popović, M., et al. (2024a). Error Span Annotation: A Balanced Approach for Human Evaluation of Machine Translation. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1440–1453. https://doi.org/10.18653/v1/2024.wmt-1.131

Ce que mesure l’accord

Pour beaucoup de tâches langagières, il n’existe pas de réponse unique qui soit objectivement vraie (see also the Systematic evaluation page) (voir aussi la page L'évaluation systématique) : des personnes qui annotent les mêmes données séparément ne produisent donc pas le même étalon de référence. La mesure dans laquelle elles sont d’accord s’appelle l’accord inter-annotateurs.

evaluationévaluation DefinitionDéfinition · inter-annotator agreement (IAA)accord inter-annotateurs · fr: accord inter-annotateurs· en : inter-annotator agreement

Other attested English terms: inter-rater agreement, inter-coder agreementAutres termes anglais attestés : inter-rater agreement, inter-coder agreement

Other attested French terms: accord inter-évaluateurs, accord interannotateursAutres termes français attestés : accord inter-évaluateurs, accord interannotateurs

L’accord inter-annotateurs est une mesure de la fiabilité d’un étalon de référence : un accord élevé suggère que les annotateurs ont compris les consignes de la même façon (Artstein & Poesio, 2008). Dans Figure 5figure 5, trois annotateurs ont marqué six unités à eux trois, et seules deux des six ont été marquées par les trois.

Trois cercles qui se chevauchent, annotateur A, B et C, avec un nombre dans chaque région. Le centre, commun aux trois, contient 2. La région commune à A et B seulement contient 1, à A et C seulement 1, à B et C seulement 0. A seul contient 0, B seul 1, C seul 1. Une note indique : marqués par les trois, 2 ; par deux, 2 ; par un seul, 2. — Figure 5. Trois annotateurs marquent les termes d'un court texte : le nombre d'unités marquées par chaque combinaison d'annotateurs. L'exemple est inventé.

L’accord se mesure aussi lorsque des personnes jugent directement la sortie d’un système (see also the Ways of evaluating page) (voir aussi la page Les façons d'évaluer). Pour les traductions, par exemple, la notation sur une échelle et l’annotation des erreurs donnent toutes deux, en général, un accord faible entre les personnes qui jugent (Kocmi et al., 2024a).

Les mesures de l’accord

La mesure la plus simple est la proportion d’éléments pour lesquels les annotateurs ont donné la même réponse. Une partie de tout accord est due au hasard, et certaines mesures en tiennent compte (Artstein & Poesio, 2008). Lorsque les annotateurs marquent des éléments dans un texte suivi, comme des termes, leur accord peut être mesuré avec les mêmes scores qu’un système (Hripcsak & Rothschild, 2005) (see also the Agreement as an F1 score page) (voir aussi la page L'accord mesuré par le score F1).

Accord faible et accord élevé

Un accord faible est un constat sur la tâche. Soit certains annotateurs se trompent, soit les consignes ne conviennent pas aux données (Artstein & Poesio, 2008). Pour beaucoup de tâches langagières, il existe une troisième possibilité : plusieurs réponses sont correctes (Basile et al., 2021).
Une tâche où l’accord est faible est plus difficile à évaluer, et souvent plus difficile à automatiser. L’étalon de référence auquel un système est comparé est lui-même incertain, et lorsque les personnes ne s’entendent pas sur la réponse, un système n’a pas de réponse constante à apprendre ou à reproduire. Dans une analyse de résultats publiés en TAL biomédical, Boguslav et Cohen (2017) ont constaté que les tâches où l’accord entre annotateurs était plus élevé obtenaient aussi des scores de systèmes plus élevés.
Un accord élevé n’est pas une preuve. La fiabilité est une condition préalable pour qu’un étalon de référence soit juste, mais deux personnes peuvent partager la même idée fausse et être entièrement d’accord (Artstein & Poesio, 2008).

Combiner plusieurs annotateurs

La plupart des évaluations comparent un système à un seul étalon de référence : les différences entre annotateurs doivent donc être tranchées. Cette étape s’appelle l’arbitrage, et elle peut se faire de plusieurs façons, par exemple :

La discussion : les annotateurs comparent leurs résultats et tranchent chaque différence ensemble.
Le vote majoritaire : une unité entre dans l’étalon de référence lorsque la majorité des annotateurs l’ont marquée. La Figure 6figure 6 l’applique aux trois annotateurs de Figure 5figure 5.
La vérification par une seule personne : un seul annotateur expérimenté prend ou révise chaque décision, ce qui garde l’étalon de référence cohérent, mais en fait le point de vue d’une seule personne.

Une grille. Trois rangées, annotateur A, B et C ; six colonnes, piaffer, demi-arrêt, galop, cavalier, manège et pirouette. Une case est colorée lorsque cet annotateur a marqué l'unité comme un terme. Sous la grille, une ligne indique combien des trois ont marqué chaque unité : 3, 2, 2, 1, 1 et 3. Une dernière rangée, l'étalon de référence, est colorée pour piaffer, demi-arrêt, galop et pirouette. — Figure 6. Un vote majoritaire : trois annotateurs marquent les termes, et l'étalon de référence garde les unités qu'au moins deux d'entre eux ont marquées. L'exemple est inventé.

Combiner les annotations n’est pas la seule possibilité. Une évaluation peut aussi conserver les annotations de chaque personne et comparer un système à toutes, de sorte que les éléments sur lesquels les personnes sont en désaccord sont comptés eux aussi (Basile et al., 2021).

L’accord et le score d’un système

Un score par rapport à un étalon de référence ne peut pas être interprété sans l’accord entre les personnes qui l’ont établi. Lorsque deux personnes soigneuses atteignent 0,6 l’une par rapport à l’autre, un système qui atteint 0,6 par rapport à l’une d’elles fait à peu près aussi bien que le ferait une deuxième personne (see also the Agreement as an F1 score page) (voir aussi la page L'accord mesuré par le score F1).

L’accord est souvent considéré comme la limite supérieure de ce qu’un système peut atteindre, mais des systèmes obtiennent bel et bien des scores supérieurs (Boguslav & Cohen, 2017). Un score plus élevé n’est pas toujours réalisable, et il n’est pas toujours souhaitable : un score beaucoup plus élevé peut signifier que le système reproduit les choix des personnes qui ont établi l’étalon de référence.

Sources

Artstein, R., & Poesio, M. (2008). Inter-coder agreement for computational linguistics. Computational Linguistics, 34(4), 555–596. https://doi.org/10.1162/coli.07-034-R2
Basile, V., Fell, M., Fornaciari, T., Hovy, D., Paun, S., Plank, B., et al. (2021). We Need to Consider Disagreement in Evaluation. Proceedings of the 1st Workshop on Benchmarking: Past, Present and Future. https://doi.org/10.18653/v1/2021.bppf-1.3
Boguslav, M., & Cohen, K. B. (2017). Inter-Annotator Agreement and the Upper Limit on Machine Performance: Evidence from Biomedical Natural Language Processing. Studies in Health Technology and Informatics, 245, 298–302. https://doi.org/10.3233/978-1-61499-830-3-298
Hripcsak, G., & Rothschild, A. S. (2005). Agreement, the F-measure, and reliability in information retrieval. Journal of the American Medical Informatics Association, 12(3), 296–298. https://doi.org/10.1197/jamia.M1733
Kocmi, T., Zouhar, V., Avramidis, E., Grundkiewicz, R., Karpinska, M., Popović, M., et al. (2024a). Error Span Annotation: A Balanced Approach for Human Evaluation of Machine Translation. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1440–1453. https://doi.org/10.18653/v1/2024.wmt-1.131

Benchmarks and test setsTests de performances et jeux de test

Key pointsL'essentiel

A benchmark is a whole evaluation that is shared and reused: a test set, the answers for it (most often a gold standard) and a scoring rule.
A benchmark score can be interpreted only if the test set was not used to build the systems, and by considering all three parts: a flaw in any one of them affects every score.

Gold standard, test set and benchmark

A gold standard is one part of an evaluation: the answers that an output is compared with. A benchmark is a whole evaluation, prepared once and shared, so that everyone who tests a system for the same task uses the same one (Raji et al., 2021).

evaluationévaluation DefinitionDéfinition · benchmarktest de performances · fr: test de performances· en : benchmark

A standardized evaluation used to measure and compare how AI systems perform on particular tasks or capabilities.Évaluation normalisée servant à mesurer et à comparer la performance de systèmes d'IA sur des tâches ou des capacités données. (Jurafsky & Martin, 2026, pp. 26–27)

NotesRemarques It generally combines a test set (such as questions, examples, or another task) with a scoring method such as accuracy. A benchmark may overstate a model's abilities if its test material appeared in the model's training data (see data contamination). Moreover, strong performance on a particular benchmark does not necessarily translate into strong performance in real-world situations.Elle combine généralement un jeu de test (questions, exemples ou autre tâche) et une méthode de notation, comme l'exactitude. Un test de performances peut surestimer les capacités d'un modèle si son matériel de test figure dans les données d'entraînement (voir contamination des données). De plus, une forte performance à un test donné ne se traduit pas nécessairement par une forte performance en situation réelle.

Other attested French terms: test d'évaluation des performancesAutres termes français attestés : test d'évaluation des performances

A benchmark fixes all three parts of an evaluation (see also the Systematic evaluation page) (voir aussi la page L'évaluation systématique), as the table below and Figure 7figure 7 show.

Part of an evaluation	In a benchmark
Evaluation data	a fixed set of inputs that the systems were not trained on
Judgement	an answer for each input: most often a gold standard for answers that are not verifiable; a ground truth when they are
Measure	a scoring rule, the same for every system

The three parts of an evaluation, as a benchmark fixes them.

The inputs of a benchmark, together with their answers, are its test set.

machine learningapprentissage automatique DefinitionDéfinition · test setjeu de données de test · fr: jeu de données de test· en : test set

A portion of a dataset held back from both model training and model selection and used to evaluate the final model.Portion d'un jeu de données tenue à l'écart tant de l'entraînement que de la sélection du modèle et servant à évaluer le modèle final. Son but est d'estimer la performance du modèle achevé sur de nouvelles données issues de la tâche ou de la population visée. (Jurafsky & Martin, 2026, pp. 74–76)

NotesRemarques Its purpose is to provide an estimate of how well the completed model will perform on new data from the intended task or population. A test set should not overlap with the training data and should not guide choices about model architecture, hyperparameters or prompts: repeatedly changing a system in response to test results gradually turns the test set into a validation set and can make the reported performance overly optimistic. Training-data contamination can produce the same problem if test examples appear in the model's training data. A test set is not automatically representative merely because it was kept separate; it must also reflect the kinds of inputs, languages, populations and conditions in which the model is intended to operate.Un jeu de test ne doit pas chevaucher les données d'entraînement ni guider les choix d'architecture, d'hyperparamètres ou de requêtes : modifier un système à répétition en fonction des résultats de test transforme graduellement le jeu de test en jeu de validation et peut rendre la performance rapportée trop optimiste. La contamination des données d'entraînement produit le même problème si des exemples de test figurent dans les données d'entraînement du modèle. Un jeu de test n'est pas automatiquement représentatif du seul fait qu'il a été tenu à l'écart ; il doit aussi refléter les types d'entrées, de langues, de populations et de conditions dans lesquels le modèle est appelé à fonctionner.

Other attested French terms: jeu de test, données de testAutres termes français attestés : jeu de test, données de test

A gold standard that you make for your own project is therefore not a benchmark. It becomes part of one when it is published with its inputs and a scoring rule, and other people use it to compare their systems.

Figure 7. The parts of a benchmark: one test set, one scoring rule, and a score for each system. The scores are invented.

A test that can be reused

A benchmark can be reused: once it exists, any number of systems, including systems released later, can be scored on it in exactly the same way. Pairwise comparisons and ratings by people take new effort for every system, and they cannot be repeated identically (see also the Ways of evaluating page) (voir aussi la page Les façons d'évaluer).

Using the same test for every system does not by itself make the comparison fair: a system may have been trained on the test set, or the test set may suit one system better than another.

Data contamination

A system that learned from its test set has not been tested, any more than a student who saw the exam paper the night before. For a model trained on text collected from the web, such learning is difficult to rule out. A public benchmark is text on the web, and so are the papers that discuss it, answer keys and forum threads.

evaluationévaluation DefinitionDéfinition · data contaminationcontamination des données · fr: contamination des données· en : data contamination

A problem that occurs when some of the data used to evaluate a model also appears in its training data.Problème qui survient quand une partie des données servant à évaluer un modèle figure aussi dans ses données d'entraînement. (Jurafsky & Martin, 2026, pp. 26–27)

NotesRemarques Because the model may already have encountered the evaluation examples, its benchmark results can overstate how well it performs on genuinely unseen material.Le modèle pouvant déjà avoir rencontré les exemples d'évaluation, ses résultats aux tests de performances peuvent surestimer sa performance sur du matériel réellement inédit.

Other attested English terms: contaminationAutres termes anglais attestés : contamination

Contamination makes a score too high without making the system better. With the training data undisclosed, it is hard to measure from outside, and Sainz et al. (2023) argue that it has to be measured for each benchmark and cannot be assumed absent (see also the Training data chapter, in the LLM lifecycle module) (voir aussi le chapitre Les données d'entraînement, dans le module Cycle de vie des GML).

Contamination can also happen by hand: pasting a benchmark’s questions into a chat product that uses its conversations for training sends the test set to the provider. Balloccu et al. (2024) reviewed studies that evaluated such products and found that, between them, they had exposed the test items of hundreds of benchmarks in this way.

Two other things can distort a comparison on the same test set:

Tuning on the test set. A system that was adjusted again and again until its score on the test set went up has also learned from it, which is why a separate development set is used for tuning (see also the From rules to machine learning chapter, in the Foundations of AI & NLP module) (voir aussi le chapitre Des règles à l'apprentissage automatique, dans le module Fondements de l'IA et du TAL).
A test set closer to one system. A test set whose texts resemble the training data of one system more than that of another favours that system.

Limits of a benchmark score

Each of the three parts of a benchmark can be flawed, so a score can only be interpreted by looking at all three. Two parts can be excellent, but a flaw in the third still affects every score.

The test set: how relevant is it to your task and your texts? A benchmark measures the particular tasks it contains, not a “general” ability (Raji et al., 2021). A high score on general knowledge or on coding says little about how a system will do on a legal text in French (see also the LLM leaderboards chapter, in the Using LLMs module) (voir aussi le chapitre Les classements de GML, dans le module Utiliser les GML).
The gold standard: how reliable is it? The answers are only as reliable as the agreement between the people who produced them (see also the Agreement between annotators page) (voir aussi la page L'accord entre annotateurs).
The scoring rule: what is it able to measure? An automatic score can go up without the outputs getting better: for translation, relying on BLEU alone led to bad decisions about which system to deploy (Kocmi et al., 2021) (see also the Ways of evaluating page) (voir aussi la page Les façons d'évaluer).

Sources

Balloccu, S., Schmidtová, P., Lango, M., & Dušek, O. (2024). Leak, Cheat, Repeat: Data Contamination and Evaluation Malpractices in Closed-Source LLMs. Proceedings of the 18th Conference of the European Chapter of the Association for Computational Linguistics (Volume 1: Long Papers), 67–93. https://doi.org/10.18653/v1/2024.eacl-long.5
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Kocmi, T., Federmann, C., Grundkiewicz, R., Junczys-Dowmunt, M., Matsushita, H., & Menezes, A. (2021). To Ship or Not to Ship: An Extensive Evaluation of Automatic Metrics for Machine Translation. Proceedings of the Sixth Conference on Machine Translation (WMT 2021), 478–494. https://aclanthology.org/2021.wmt-1.57/
Raji, D., Denton, E., Bender, E. M., Hanna, A., & Paullada, A. (2021). AI and the Everything in the Whole Wide World Benchmark. Proceedings of the Neural Information Processing Systems Track on Datasets and Benchmarks, 1 (NeurIPS 2021). https://datasets-benchmarks-proceedings.neurips.cc/paper/2021/hash/084b6fbb10729ed4da8c3d3f5a3ae7c9-Abstract-round2.html
Sainz, O., Campos, J., García-Ferrero, I., Etxaniz, J., Lopez de Lacalle, O., & Agirre, E. (2023). NLP Evaluation in Trouble: On the Need to Measure LLM Data Contamination for Each Benchmark. Findings of the Association for Computational Linguistics: EMNLP 2023, 10776–10787. https://doi.org/10.18653/v1/2023.findings-emnlp.722

Key pointsL'essentiel

Un test de performances (angl. benchmark) est une évaluation complète, partagée et réutilisée : un jeu de test, ses réponses (le plus souvent un étalon de référence) et une règle de notation.
Un score à un test de performances ne peut être interprété que si le jeu de test n’a pas servi à construire les systèmes, et en considérant les trois parties : un défaut dans l’une d’elles affecte tous les scores.

Étalon de référence, jeu de test et test de performances

Un étalon de référence est une partie d’une évaluation : les réponses auxquelles une sortie est comparée. Un test de performances est une évaluation complète, préparée une fois et partagée, de sorte que toutes les personnes qui testent un système pour la même tâche utilisent la même (Raji et al., 2021).

evaluationévaluation DefinitionDéfinition · benchmarktest de performances · fr: test de performances· en : benchmark

Other attested French terms: test d'évaluation des performancesAutres termes français attestés : test d'évaluation des performances

Un test de performances fixe les trois parties d’une évaluation (see also the Systematic evaluation page) (voir aussi la page L'évaluation systématique), comme le montrent le tableau ci-dessous et Figure 7figure 7.

Partie d’une évaluation	Dans un test de performances
Données d’évaluation	un ensemble fixe d’entrées qui n’ont pas servi à entraîner les systèmes
Jugement	une réponse pour chaque entrée : le plus souvent un étalon de référence pour les réponses qui ne sont pas vérifiables ; une réalité de terrain lorsqu’elles le sont
Mesure	une règle de notation, la même pour tous les systèmes

Les trois parties d'une évaluation, telles qu'un test de performances les fixe.

Les entrées d’un test de performances, avec leurs réponses, constituent son jeu de test.

machine learningapprentissage automatique DefinitionDéfinition · test setjeu de données de test · fr: jeu de données de test· en : test set

Other attested French terms: jeu de test, données de testAutres termes français attestés : jeu de test, données de test

Un étalon de référence que vous créez pour votre propre projet n’est donc pas un test de performances. Il en devient une partie lorsqu’il est publié avec ses entrées et une règle de notation, et que d’autres personnes l’utilisent pour comparer leurs systèmes.

Un schéma. À gauche, un jeu de test : des rangées d'entrées, chacune avec sa réponse dans l'étalon de référence. Des flèches mènent du jeu de test à deux systèmes, A et B, et de chaque système à une règle de notation. Une flèche en pointillé mène de l'étalon de référence à la règle de notation. Deux flèches partent de la règle de notation : le score de A, 71, et le score de B, 64. — Figure 7. Les parties d'un test de performances : un jeu de test, une règle de notation et un score pour chaque système. Les scores sont inventés.

Un test réutilisable

Un test de performances peut être réutilisé : une fois qu’il existe, autant de systèmes qu’on le souhaite, y compris des systèmes publiés plus tard, peuvent y obtenir un score exactement de la même façon. Les comparaisons par paires et les notations par des personnes demandent un nouvel effort pour chaque système, et elles ne peuvent pas être répétées à l’identique (see also the Ways of evaluating page) (voir aussi la page Les façons d'évaluer).

Utiliser le même test pour tous les systèmes ne suffit pas à rendre la comparaison équitable : un système peut avoir été entraîné sur le jeu de test, ou le jeu de test peut convenir mieux à un système qu’à un autre.

La contamination des données

Un système qui a appris à partir de son jeu de test n’a pas été testé, pas plus qu’un étudiant qui a vu le questionnaire de l’examen la veille. Pour un modèle entraîné sur du texte recueilli sur le web, un tel apprentissage est difficile à exclure. Un test de performances public est du texte sur le web, tout comme les articles qui en discutent, les corrigés et les fils de discussion.

evaluationévaluation DefinitionDéfinition · data contaminationcontamination des données · fr: contamination des données· en : data contamination

Other attested English terms: contaminationAutres termes anglais attestés : contamination

La contamination rend un score trop élevé sans rendre le système meilleur. Comme les données d’entraînement ne sont pas divulguées, elle est difficile à mesurer de l’extérieur, et Sainz et al. (2023) soutiennent qu’elle doit être mesurée pour chaque test de performances et qu’on ne peut pas la supposer absente (see also the Training data chapter, in the LLM lifecycle module) (voir aussi le chapitre Les données d'entraînement, dans le module Cycle de vie des GML).

La contamination peut aussi se produire à la main : coller les questions d’un test de performances dans un agent conversationnel dont les conversations servent à l’entraînement transmet le jeu de test au fournisseur. Balloccu et al. (2024) ont passé en revue des études qui évaluaient de tels produits et ont constaté qu’à elles toutes, elles avaient ainsi exposé les éléments de test de centaines de tests de performances.

Deux autres facteurs peuvent fausser une comparaison sur le même jeu de test :

L’ajustement sur le jeu de test. Un système qui a été ajusté encore et encore jusqu’à ce que son score au jeu de test augmente a lui aussi appris à partir de ce jeu, et c’est pourquoi un jeu de développement distinct sert à l’ajustement (see also the From rules to machine learning chapter, in the Foundations of AI & NLP module) (voir aussi le chapitre Des règles à l'apprentissage automatique, dans le module Fondements de l'IA et du TAL).
Un jeu de test plus proche d’un système. Un jeu de test dont les textes ressemblent davantage aux données d’entraînement d’un système qu’à celles d’un autre favorise ce système.

Les limites d’un score à un test de performances

Chacune des trois parties d’un test de performances peut avoir des défauts : un score ne peut donc être interprété qu’en examinant les trois. Deux parties peuvent être excellentes, mais un défaut dans la troisième affecte tout de même tous les scores.

Le jeu de test : est-il pertinent pour votre tâche et vos textes ? Un test de performances mesure les tâches particulières qu’il contient, et non une capacité « générale » (Raji et al., 2021). Un score élevé en culture générale ou en programmation en dit peu sur ce qu’un système fera d’un texte juridique en français (see also the LLM leaderboards chapter, in the Using LLMs module) (voir aussi le chapitre Les classements de GML, dans le module Utiliser les GML).
L’étalon de référence : est-il fiable ? Les réponses ne sont pas plus fiables que l’accord entre les personnes qui les ont produites (see also the Agreement between annotators page) (voir aussi la page L'accord entre annotateurs).
La règle de notation : que peut-elle mesurer ? Un score automatique peut augmenter sans que les sorties s’améliorent : en traduction, se fier uniquement à BLEU a mené à de mauvaises décisions sur le système à déployer (Kocmi et al., 2021) (see also the Ways of evaluating page) (voir aussi la page Les façons d'évaluer).

Sources

Balloccu, S., Schmidtová, P., Lango, M., & Dušek, O. (2024). Leak, Cheat, Repeat: Data Contamination and Evaluation Malpractices in Closed-Source LLMs. Proceedings of the 18th Conference of the European Chapter of the Association for Computational Linguistics (Volume 1: Long Papers), 67–93. https://doi.org/10.18653/v1/2024.eacl-long.5
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Kocmi, T., Federmann, C., Grundkiewicz, R., Junczys-Dowmunt, M., Matsushita, H., & Menezes, A. (2021). To Ship or Not to Ship: An Extensive Evaluation of Automatic Metrics for Machine Translation. Proceedings of the Sixth Conference on Machine Translation (WMT 2021), 478–494. https://aclanthology.org/2021.wmt-1.57/
Raji, D., Denton, E., Bender, E. M., Hanna, A., & Paullada, A. (2021). AI and the Everything in the Whole Wide World Benchmark. Proceedings of the Neural Information Processing Systems Track on Datasets and Benchmarks, 1 (NeurIPS 2021). https://datasets-benchmarks-proceedings.neurips.cc/paper/2021/hash/084b6fbb10729ed4da8c3d3f5a3ae7c9-Abstract-round2.html
Sainz, O., Campos, J., García-Ferrero, I., Etxaniz, J., Lopez de Lacalle, O., & Agirre, E. (2023). NLP Evaluation in Trouble: On the Need to Measure LLM Data Contamination for Each Benchmark. Findings of the Association for Computational Linguistics: EMNLP 2023, 10776–10787. https://doi.org/10.18653/v1/2023.findings-emnlp.722

BaselinesLes étalons

A score compared with a simple method

A score does not say, on its own, whether a system is good. If you are told that a spam filter is right for 90 messages out of 100, you still need to know what a very simple method would score on the same messages. If 90 of the 100 messages are not spam, a filter that lets every message through is also right 90 times out of 100, and it has not stopped any spam (Figure 8figure 8).

Two grids of 100 messages each: 90 circles, messages that are not spam, and a bottom row of 10 squares, spam messages. A wrong decision is filled in red. On the left, lets every message through: the 90 circles are right and the 10 squares are wrong; right for 90 messages out of 100, spam stopped: 0 of 10. On the right, the spam filter: 6 circles and 4 squares are wrong; right for 90 messages out of 100, spam stopped: 6 of 10. — Figure 8. The same 100 messages judged twice: by letting every message through, and by a spam filter. Both are right for 90 messages. The example is invented.

The score of such a simple method is called a baseline.

evaluationévaluation DefinitionDéfinition · baselineétalon · fr: étalon· en : baseline

The score that a very simple method reaches on a test, with which the score of a system is compared.Score qu'une méthode très simple obtient à un test, et auquel on compare le score d'un système. (Jurafsky & Martin, 2026, section 18.2)

NotesRemarques The word is also used for the simple method itself. For classification, common baselines are a random guess and always answering the most frequent class.Le mot désigne aussi la méthode simple elle-même. Pour la classification, les étalons courants sont la réponse au hasard et le choix systématique de la classe la plus fréquente. À ne pas confondre avec l'étalon de référence (angl. gold standard) : l'étalon est un score à dépasser, alors que l'étalon de référence est le jeu de réponses attendues auquel on compare la sortie d'un système.

Other attested French terms: modèle étalonAutres termes français attestés : modèle étalon

A baseline is evaluated exactly like the system, on the same evaluation data and, where there is one, against the same gold standard and with the same measure, so that the two scores can be compared (see also the Interpreting a score page) (voir aussi la page Interpréter un score). A system that does not score clearly above its baseline has not shown that it does the task.

Baselines for classification

For a task where a system sorts items into classes (classification), the table below gives three simple baselines.

Baseline	What it does	What it scores
Random guess	chooses a class at random for each item	with two classes, right about half the time
Majority class	always answers the most frequent class	right as often as that class occurs: 90 % when nine items in ten belong to it
Most frequent answer for each item	gives each item the answer it had most often in a set of labelled examples; only possible where the same items come back, as words do	depends on the task, and can be high: about 92 % of the words for part-of-speech tagging of English, the example below

Three simple baselines for a classification task.

A baseline can also be an existing tool: a new system is then expected to do better than the one it replaces.The third baseline is not always possible: it needs labelled examples, and the items of the test have to come back from those examples, as words do in running text. Jurafsky and Martin (2026) give it for part-of-speech tagging. No two emails are identical, so a spam filter has no such baseline.

In the examples above, the baselines were measured with accuracy, the share of items that receive the right answer. When the class to find is rare, as spam is, another measure such as the F1 score is less likely to give a naive baseline a high score (see also the Precision, recall and F1 page) (voir aussi la page Précision, rappel et score F1).

Baseline and human performance

A score is interpreted between two points of comparison: the baseline, and the level people reach on the same task (see also the Agreement between annotators page) (voir aussi la page L'accord entre annotateurs).

In part-of-speech tagging, each word of a text is labelled as a noun, a verb, an adjective and so on. For English, Jurafsky and Martin (2026) report that a baseline which gives each word its most frequent label is right for about 92 % of the words, and that the best systems reach about 97 %, which is also about the level people reach (Figure 9figure 9). The systems therefore differ from the baseline by five points, and a score of 93 % for English is close to the baseline. The figures are for English only: for another language, both points of comparison have to be measured again.

A scale from 0 to 100 %, with the stretch from 90 to 100 % enlarged below it. On the enlarged scale, the baseline reaches 92 %, the best systems and people 97 %, and the 5 points between them are marked; the last 3 points, from 97 to 100 %, are beyond human agreement. — Figure 9. Part-of-speech tagging of English: the share of words labelled correctly by the baseline, and by the best systems and by people, with the top of the scale enlarged (Jurafsky & Martin, 2026).

Sources

Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/

Un score comparé à une méthode simple

Un score ne dit pas, à lui seul, si un système est bon. Si l’on vous dit qu’un filtre antipourriel a raison pour 90 messages sur 100, il vous reste à savoir quel score une méthode très simple obtiendrait sur les mêmes messages. Si 90 des 100 messages ne sont pas des pourriels, un filtre qui laisse passer tous les messages a lui aussi raison 90 fois sur 100, et il n’a arrêté aucun pourriel (Figure 8figure 8).

Deux grilles de 100 messages chacune : 90 cercles, des messages qui ne sont pas des pourriels, et une rangée du bas de 10 carrés, des pourriels. Une erreur est colorée en rouge. À gauche, laisser passer tous les messages : les 90 cercles sont justes et les 10 carrés sont des erreurs ; juste pour 90 messages sur 100, pourriels arrêtés : 0 sur 10. À droite, le filtre antipourriel : 6 cercles et 4 carrés sont des erreurs ; juste pour 90 messages sur 100, pourriels arrêtés : 6 sur 10. — Figure 8. Les mêmes 100 messages jugés deux fois : en laissant passer tous les messages, et par un filtre antipourriel. Les deux ont raison pour 90 messages. L'exemple est inventé.

Le score d’une telle méthode simple s’appelle un étalon.

evaluationévaluation DefinitionDéfinition · baselineétalon · fr: étalon· en : baseline

Other attested French terms: modèle étalonAutres termes français attestés : modèle étalon

Un étalon est évalué exactement comme le système, sur les mêmes données d’évaluation et, lorsqu’il y en a un, par rapport au même étalon de référence et avec la même mesure, afin que les deux scores puissent être comparés (see also the Interpreting a score page) (voir aussi la page Interpréter un score). Un système qui n’obtient pas un score nettement supérieur à son étalon n’a pas montré qu’il accomplit la tâche.

Les étalons pour la classification

Pour une tâche où un système répartit des éléments en classes (classification), le tableau ci-dessous présente trois étalons simples.

Étalon	Ce qu’il fait	Ce qu’il obtient
Réponse au hasard	choisit une classe au hasard pour chaque élément	avec deux classes, a raison environ une fois sur deux
Classe majoritaire	répond toujours la classe la plus fréquente	a raison aussi souvent que cette classe apparaît : 90 % lorsque neuf éléments sur dix lui appartiennent
Réponse la plus fréquente pour chaque élément	donne à chaque élément la réponse qu’il a reçue le plus souvent dans un ensemble d’exemples étiquetés ; possible seulement lorsque les mêmes éléments reviennent, comme le font les mots	dépend de la tâche, et peut être élevé : environ 92 % des mots pour l’étiquetage morphosyntaxique de l’anglais, l’exemple ci-dessous

Trois étalons simples pour une tâche de classification.

Un étalon peut aussi être un outil existant : on attend alors d’un nouveau système qu’il fasse mieux que celui qu’il remplace.Le troisième étalon n’est pas toujours possible : il lui faut des exemples étiquetés, et les éléments du test doivent revenir dans ces exemples, comme le font les mots dans un texte suivi. Jurafsky et Martin (2026) le donnent pour l’étiquetage morphosyntaxique. Il n’y a pas deux courriels identiques, de sorte qu’un filtre antipourriel n’a pas d’étalon de ce type.

Dans les exemples ci-dessus, les étalons ont été mesurés avec l’exactitude, la proportion d’éléments qui reçoivent la bonne réponse. Quand la classe à trouver est rare, comme les pourriels, une autre mesure, par exemple le score F1, risque moins de donner un score élevé à un étalon naïf (see also the Precision, recall and F1 page) (voir aussi la page Précision, rappel et score F1).

L’étalon et la performance humaine

Un score s’interprète entre deux points de comparaison : l’étalon, et le niveau que des personnes atteignent pour la même tâche (see also the Agreement between annotators page) (voir aussi la page L'accord entre annotateurs).

En étiquetage morphosyntaxique, chaque mot d’un texte reçoit une étiquette : nom, verbe, adjectif, etc. Pour l’anglais, Jurafsky et Martin (2026) rapportent qu’un étalon qui donne à chaque mot son étiquette la plus fréquente a raison pour environ 92 % des mots, et que les meilleurs systèmes atteignent environ 97 %, ce qui est aussi à peu près le niveau que des personnes atteignent (Figure 9figure 9). Les systèmes diffèrent donc de l’étalon de cinq points, et un score de 93 % pour l’anglais est proche de l’étalon. Ces chiffres ne valent que pour l’anglais : pour une autre langue, les deux points de comparaison doivent être mesurés de nouveau.

Une échelle de 0 à 100 %, dont la portion de 90 à 100 % est agrandie en dessous. Sur l'échelle agrandie, l'étalon atteint 92 %, les meilleurs systèmes et les personnes 97 %, et les 5 points qui les séparent sont marqués ; les 3 derniers points, de 97 à 100 %, sont au-delà de l'accord humain. — Figure 9. Étiquetage morphosyntaxique de l'anglais : la proportion de mots étiquetés correctement par l'étalon, par les meilleurs systèmes et par des personnes, avec le haut de l'échelle agrandi (Jurafsky & Martin, 2026).

Sources

Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/

Interpreting a scoreInterpréter un score

What a score depends on

A score of 0.53 for a term extractor, or of 80 % for a chatbot on a set of questions, looks like a property of the system, but five other things produced it:

The texts. A tool scores differently on another domain, another language or another kind of document (see also the Benchmarks and test sets page) (voir aussi la page Tests de performances et jeux de test).
The gold standard, or the judges. Another gold standard gives another score (see also the gold standard page) (voir aussi la page L'étalon de référence). Where people judge the output directly, other judges can rank the same systems differently (Freitag et al., 2021) (see also the Ways of evaluating page) (voir aussi la page Les façons d'évaluer).
What counts as correct. An evaluation has to decide how strictly an output must match the gold standard. For example, if a tool returns half-halts and the gold standard has half-halt, the output can be counted as correct or as wrong. The stricter the rule, the lower the score (see also the Matching rules page) (voir aussi la page Les règles de correspondance).
The run. A system built on a large language model can give different output for the same request from one run to the next, so a result obtained once may not come out again (Ouyang et al., 2025) (see also the LLMs are non-deterministic page, in the LLM lifecycle module) (voir aussi la page Les GML ne sont pas déterministes, dans le module Cycle de vie des GML). An evaluation of such a system states the model, its version, the date and the settings, and is run more than once.
The measure. A measure captures one aspect of quality, and a high score says nothing about the aspects it does not capture (see also the Benchmarks and test sets page) (voir aussi la page Tests de performances et jeux de test).

Error analysis

A score says how often a system was wrong, but not how. Whatever the way of evaluating, looking at the output itself always adds something to the score, and it can be done in two ways:

Quantitative error analysis: the errors are sorted into kinds, and each kind is counted, for example how many of the terms a tool missed are long ones and how many are rare ones. Where the evaluation is itself an error annotation, as is common for translation, these counts are already part of it (see also the Ways of evaluating page) (voir aussi la page Les façons d'évaluer).
Qualitative error analysis: a person reads a sample of the output, wrong and correct, and describes what the system does.

Error analysis has two uses:

It finds flaws that a score does not show. For example, a large language model can score very poorly because its answers are not in the format that was asked for, so the program that counts them cannot read them, although the answers themselves are good.
It shows how a system fails, and so how it might be improved. Two tools with the same score can fail in different ways. When several teams tested their term extractors on the same data, some reached higher precision (less of what they returned was wrong) and others higher recall (they missed less), and they found different kinds of terms (Rigouts Terryn et al., 2020b) (see also the Precision, recall and F1 page) (voir aussi la page Précision, rappel et score F1).

Comparing two scores

A difference between two scores means something only when the texts, the gold standard or the judges, and the rule for what counts as correct are the same for both.

Even then, a small difference can arise by chance. The smaller the evaluation data, the more easily that happens, and for a system built on a large language model, two runs of the same evaluation can already give different scores. Statistical significance tests estimate whether a difference is larger than chance would produce (Dror et al., 2018). In practice, a difference is more convincing when the evaluation data are large, when the evaluation was run several times, and when the difference is larger than the variation between runs.

Sources

Dror, R., Baumer, G., Shlomov, S., & Reichart, R. (2018). The Hitchhiker's Guide to Testing Statistical Significance in Natural Language Processing. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 1383–1392. https://doi.org/10.18653/v1/P18-1128
Freitag, M., Foster, G., Grangier, D., Ratnakar, V., Tan, Q., & Macherey, W. (2021). Experts, Errors, and Context: A Large-Scale Study of Human Evaluation for Machine Translation. Transactions of the Association for Computational Linguistics, 9, 1460–1474. https://doi.org/10.1162/tacl_a_00437
Ouyang, S., Zhang, J. M., Harman, M., & Wang, M. (2025). An Empirical Study of the Non-Determinism of ChatGPT in Code Generation. ACM Transactions on Software Engineering and Methodology, 34(2). https://doi.org/10.1145/3697010
Rigouts Terryn, A., Hoste, V., Drouin, P., & Lefever, E. (2020b). TermEval 2020: Shared Task on Automatic Term Extraction Using the Annotated Corpora for Term Extraction Research (ACTER) Dataset. Proceedings of the 6th International Workshop on Computational Terminology (CompuTerm 2020), 85–94. https://aclanthology.org/2020.computerm-1.12/

Ce dont dépend un score

Un score de 0,53 pour un extracteur de termes, ou de 80 % pour un agent conversationnel sur un ensemble de questions, a l’air d’une propriété du système, mais cinq autres éléments l’ont produit :

Les textes. Un outil obtient un autre score sur un autre domaine, une autre langue ou un autre type de document (see also the Benchmarks and test sets page) (voir aussi la page Tests de performances et jeux de test).
L’étalon de référence, ou les juges. Un autre étalon de référence donne un autre score (see also the gold standard page) (voir aussi la page L'étalon de référence). Lorsque des personnes jugent la sortie directement, d’autres juges peuvent classer les mêmes systèmes autrement (Freitag et al., 2021) (see also the Ways of evaluating page) (voir aussi la page Les façons d'évaluer).
Les sorties comptées comme correctes. Une évaluation doit décider avec quelle rigueur une sortie doit correspondre à l’étalon de référence. Par exemple, si un outil renvoie demi-arrêts et que l’étalon de référence contient demi-arrêt, la sortie peut être comptée comme correcte ou comme fausse. Plus la règle est stricte, plus le score est bas (see also the Matching rules page) (voir aussi la page Les règles de correspondance).
L’exécution. Un système construit sur un grand modèle de langue peut donner une sortie différente pour la même requête d’une exécution à l’autre, de sorte qu’un résultat obtenu une fois peut ne pas se reproduire (Ouyang et al., 2025) (see also the LLMs are non-deterministic page, in the LLM lifecycle module) (voir aussi la page Les GML ne sont pas déterministes, dans le module Cycle de vie des GML). L’évaluation d’un tel système précise le modèle, sa version, la date et les réglages, et elle est exécutée plus d’une fois.
La mesure. Une mesure rend compte d’un seul aspect de la qualité, et un score élevé ne dit rien des aspects dont elle ne rend pas compte (see also the Benchmarks and test sets page) (voir aussi la page Tests de performances et jeux de test).

L’analyse des erreurs

Un score dit à quelle fréquence un système s’est trompé, mais pas comment. Quelle que soit la façon d’évaluer, examiner la sortie elle-même ajoute toujours quelque chose au score, et cela peut se faire de deux façons :

L’analyse quantitative des erreurs : les erreurs sont triées par types, et chaque type est compté, par exemple combien des termes qu’un outil a manqués sont longs et combien sont rares. Lorsque l’évaluation est elle-même une annotation des erreurs, comme c’est courant en traduction, ces décomptes en font déjà partie (see also the Ways of evaluating page) (voir aussi la page Les façons d'évaluer).
L’analyse qualitative des erreurs : une personne lit un échantillon de la sortie, fautif et correct, et décrit ce que fait le système.

L’analyse des erreurs a deux utilités :

Elle révèle des défauts qu’un score ne montre pas. Par exemple, un grand modèle de langue peut obtenir un très mauvais score parce que ses réponses ne sont pas dans le format demandé, de sorte que le programme qui les compte ne peut pas les lire, alors que les réponses elles-mêmes sont bonnes.
Elle montre comment un système échoue, et donc comment il pourrait être amélioré. Deux outils qui ont le même score peuvent échouer de façons différentes. Lorsque plusieurs équipes ont testé leurs extracteurs de termes sur les mêmes données, certaines ont atteint une précision plus élevée (une moindre part de ce qu’elles renvoyaient était fausse) et d’autres un rappel plus élevé (elles manquaient moins de termes), et elles ont trouvé des types de termes différents (Rigouts Terryn et al., 2020b) (see also the Precision, recall and F1 page) (voir aussi la page Précision, rappel et score F1).

Comparer deux scores

Une différence entre deux scores n’a de sens que si les textes, l’étalon de référence ou les juges, et la règle qui fixe les sorties comptées comme correctes sont les mêmes pour les deux.

Même dans ce cas, une petite différence peut être due au hasard. Plus les données d’évaluation sont peu nombreuses, plus cela se produit facilement, et pour un système construit sur un grand modèle de langue, deux exécutions de la même évaluation peuvent déjà donner des scores différents. Les tests de signification statistique estiment si une différence est plus grande que ce que le hasard produirait (Dror et al., 2018). En pratique, une différence est plus convaincante lorsque les données d’évaluation sont nombreuses, lorsque l’évaluation a été exécutée plusieurs fois et lorsque la différence est plus grande que la variation entre les exécutions.

Sources

Dror, R., Baumer, G., Shlomov, S., & Reichart, R. (2018). The Hitchhiker's Guide to Testing Statistical Significance in Natural Language Processing. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 1383–1392. https://doi.org/10.18653/v1/P18-1128
Freitag, M., Foster, G., Grangier, D., Ratnakar, V., Tan, Q., & Macherey, W. (2021). Experts, Errors, and Context: A Large-Scale Study of Human Evaluation for Machine Translation. Transactions of the Association for Computational Linguistics, 9, 1460–1474. https://doi.org/10.1162/tacl_a_00437
Ouyang, S., Zhang, J. M., Harman, M., & Wang, M. (2025). An Empirical Study of the Non-Determinism of ChatGPT in Code Generation. ACM Transactions on Software Engineering and Methodology, 34(2). https://doi.org/10.1145/3697010
Rigouts Terryn, A., Hoste, V., Drouin, P., & Lefever, E. (2020b). TermEval 2020: Shared Task on Automatic Term Extraction Using the Annotated Corpora for Term Extraction Research (ACTER) Dataset. Proceedings of the 6th International Workshop on Computational Terminology (CompuTerm 2020), 85–94. https://aclanthology.org/2020.computerm-1.12/

Evaluating extraction and classificationÉvaluation de l'extraction et de la classification

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée.

False positives and false negativesFaux positifs et faux négatifs

Extraction and classification

This chapter is about two kinds of system (Figure 1figure 1):

systems that find things in a text, such as a term extractor or a system for named entity recognition;
systems that sort items into classes (classification), such as a spam filter, or a system that labels a review as positive or negative.

Figure 1. The two kinds of system of this chapter: one returns a list of the things it found in a text, the other gives each item a label.

Such systems are most often evaluated by comparing their output with a gold standard, the answers that people gave for the same input (see also the gold standard page) (voir aussi la page L'étalon de référence). Several measures can turn that comparison into a score. The focus here is on three that are commonly used together: precision, recall and the F1 score.

An example of each error

For example, a term extractor, a tool that lists the specialized terms of a text, is run on a sentence about dressage, an equestrian sport (Figure 2figure 2):

the tool returns a list of three candidates: flying change, last corner and collected canter;
the gold standard is a list of three terms: flying change, half-halt and collected canter.

Two candidates are on both lists, so they are correct. The tool has also made two errors, of different kinds:

last corner was returned, but it is not a term;
half-halt is a term, but it was not returned.

Three parts. The text: The rider asks for a flying change before the last corner, then a half-halt and a collected canter. The gold standard, the terms people listed: flying change, correct, on both lists; half-halt, missed, a term, not returned; collected canter, correct. The output, the candidates the tool returned: flying change, correct; last corner, wrong, returned, not a term; collected canter, correct. — Figure 2. A text, the list of the gold standard and the list a tool returned: two correct candidates, one term that was missed and one candidate that is not a term.

The four outcomes

When the output of a system is compared with a gold standard, every decision is one of four cases, defined in the boxes below and often abbreviated TP, FP, FN and TN.

evaluationévaluation DefinitionDéfinition · false positive (FP)faux positif (FP) · fr: faux positif· en : false positive

An item that a system returned, or assigned to the class it looks for, but that the gold standard does not contain: for example, a candidate that is not a term, or a legitimate message stopped by a spam filter.Élément qu'un système a trouvé, ou classé dans la classe recherchée, mais que la référence ne contient pas : par exemple, un candidat qui n'est pas un terme, ou un message légitime arrêté par un filtre antipourriel. (Jurafsky & Martin, 2026, section 4.9)

NotesRemarques Taken together, the false positives are also called noise. They lower precision.Pris ensemble, les faux positifs forment le bruit. Ils font baisser la précision.

evaluationévaluation DefinitionDéfinition · true negative (TN)vrai négatif (VN) · fr: vrai négatif· en : true negative

An item that the gold standard does not contain and that a system did not return, or did not assign to the class it looks for: for example, a legitimate message that a spam filter lets through.Élément que la référence ne contient pas et qu'un système n'a ni trouvé ni classé dans la classe recherchée : par exemple, un message légitime qu'un filtre antipourriel laisse passer. (Jurafsky & Martin, 2026, section 4.9)

NotesRemarques For a system that finds things in a text, such as a term extractor, the true negatives cannot be counted in a useful way, which is why precision and recall leave them out.Pour un système qui repère des éléments dans un texte, comme un extracteur de termes, les vrais négatifs ne peuvent pas être comptés de façon utile, et c'est pourquoi la précision et le rappel les laissent de côté.

In the example above, flying change and collected canter are true positives, last corner is a false positive and half-halt is a false negative. The true negatives are everything else in the text. Figure 3figure 3 builds up the four cases for a term extractor.

Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.

Figure 3. The four outcomes as regions: what is in the gold standard, what the system returned, and where the two overlap.

Jurafsky and Martin (2026) present the same four cases as a table, called a confusion matrix, for a system that sorts items into two classes, such as a spam filter: a message stopped by mistake is a false positive, and spam that reaches the inbox is a false negative.

	In the gold standard	Not in the gold standard
Returned by the system	true positive	false positive
Not returned by the system	false negative	true negative

The four outcomes as a confusion matrix.

Noise and silence

The false positives are also called noise, and the false negatives silence. You can interpret the two words quite literally: noise is output that should not be there, and silence is output that is missing.

True negatives

The fourth case differs between the two kinds of system (Figure 4figure 4):

For a spam filter, each message is one item, so the true negatives, the messages that are not spam and were let through, can be counted.
For a system that finds things in a text, such as a term extractor, the true negatives would be every word and every sequence of words that is not a term and was not returned. Such units vary in length and overlap, so their number is not well defined (Hripcsak & Rothschild, 2005).

Two parts, one above the other. Classification: ten messages, each one an item. Three are spam, and the filter stopped two of them and one message that is not spam. True negatives: 6 messages, neither spam nor stopped. Extraction: the phrase a half-halt and a collected canter, and under it every unit of one to six words written out, row by row: six units of one word, five of two words, four of three, three of four, two of five and one of six. Two of them, half-halt and collected canter, are terms. True negatives: their number depends on which units are counted; this phrase alone has 21 units of one to six words, and two of them are terms. — Figure 4. True negatives in the two kinds of system: messages can be counted, but the units of a text that are not terms vary in length and overlap.

The scores most often used for both kinds of system, precision and recall, are calculated from the other three cases only (Jurafsky & Martin, 2026) (see also the Precision, recall and F1 page) (voir aussi la page Précision, rappel et score F1).

The trade-off between the two errors

The two errors work against each other. A tool set to return more candidates misses fewer terms, but it also returns more units that are not terms. A tool set to return fewer candidates does the reverse.

In Figure 5figure 5, a tool has ranked twelve candidates, and the list is cut at three points. The further down the list the cut is made, the fewer terms are missed and the more noise comes with them. An evaluation therefore reports each of the two errors as well as a score that combines them.

Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.

Figure 5. One ranked list of candidates cut at three points, against a gold standard of eight terms.

Sources

Hripcsak, G., & Rothschild, A. S. (2005). Agreement, the F-measure, and reliability in information retrieval. Journal of the American Medical Informatics Association, 12(3), 296–298. https://doi.org/10.1197/jamia.M1733
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/

Extraction et classification

Ce chapitre porte sur deux types de système (Figure 1figure 1) :

les systèmes qui repèrent des éléments dans un texte, comme un extracteur de termes ou un système de reconnaissance d’entités nommées ;
les systèmes qui classent des éléments (classification), comme un filtre antipourriel, ou un système qui étiquette une critique comme positive ou négative.

Deux panneaux. À gauche, l'extraction, repérer des éléments dans un texte, ici les termes : la phrase Le cavalier demande un changement de pied après le demi-arrêt, une flèche, et les deux termes repérés, changement de pied et demi-arrêt ; sortie : la liste des éléments repérés. À droite, la classification, classer des éléments, ici des critiques : trois courtes critiques, chacune suivie d'une étiquette. Excellent film, bien joué : positive. Deux heures de perdues : négative. Une agréable surprise : positive. En dessous : sortie, une étiquette par élément. — Figure 1. Les deux types de système de ce chapitre : l'un donne la liste des éléments qu'il a repérés dans un texte, l'autre donne une étiquette à chaque élément.

De tels systèmes sont le plus souvent évalués en comparant leur sortie à un étalon de référence, les réponses que des personnes ont données pour les mêmes données (see also the gold standard page) (voir aussi la page L'étalon de référence). Plusieurs mesures permettent de transformer cette comparaison en score. Ce chapitre se concentre sur trois mesures couramment utilisées ensemble : la précision, le rappel et le score F1.

La portée de ce chapitre

Ce chapitre ne fait pas le tour complet de l’évaluation de tels systèmes, et il en dit plus sur le premier type de système que sur le second. Ses exemples de classification ont deux classes : avec plus de deux classes, les mêmes scores s’appliquent, mais les combiner demande d’autres principes, que le chapitre ne fait que nommer (see also the Precision, recall and F1 page) (voir aussi la page Précision, rappel et score F1).

Pour l’extraction de termes, les exemples comparent deux listes, les candidats d’un outil et les termes de l’étalon de référence, où chaque terme figure une seule fois. Évaluer les termes à chaque endroit où ils apparaissent dans un texte est plus complexe, parce qu’un terme n’a pas de longueur fixe (see also the Matching rules page) (voir aussi la page Les règles de correspondance).

Un exemple de chaque erreur

Par exemple, un extracteur de termes, un outil qui dresse la liste des termes spécialisés d’un texte, traite une phrase sur le dressage, un sport équestre (Figure 2figure 2) :

l’outil propose une liste de trois candidats : changement de pied, dernier coin et galop rassemblé ;
l’étalon de référence est une liste de trois termes : changement de pied, demi-arrêt et galop rassemblé.

Deux candidats figurent sur les deux listes : ils sont donc corrects. L’outil a aussi fait deux erreurs, de types différents :

dernier coin a été proposé, mais ce n’est pas un terme ;
demi-arrêt est un terme, mais il n’a pas été trouvé.

Trois parties. Le texte : Le cavalier demande un changement de pied avant le dernier coin, puis un demi-arrêt et un galop rassemblé. L'étalon de référence, les termes repérés : changement de pied, correct, sur les deux listes ; demi-arrêt, manqué, un terme, non trouvé ; galop rassemblé, correct. La sortie, les candidats de l'outil : changement de pied, correct ; dernier coin, erroné, proposé, pas un terme ; galop rassemblé, correct. — Figure 2. Un texte, la liste de l'étalon de référence et la liste proposée par un outil : deux candidats corrects, un terme manqué et un candidat qui n'est pas un terme.

Les quatre cas

Quand la sortie d’un système est comparée à un étalon de référence, chaque décision correspond à l’un de quatre cas, définis dans les encadrés ci-dessous et souvent abrégés VP, FP, FN et VN.

evaluationévaluation DefinitionDéfinition · false positive (FP)faux positif (FP) · fr: faux positif· en : false positive

NotesRemarques Taken together, the false positives are also called noise. They lower precision.Pris ensemble, les faux positifs forment le bruit. Ils font baisser la précision.

evaluationévaluation DefinitionDéfinition · true negative (TN)vrai négatif (VN) · fr: vrai négatif· en : true negative

Dans l’exemple ci-dessus, changement de pied et galop rassemblé sont des vrais positifs, dernier coin est un faux positif et demi-arrêt est un faux négatif. Les vrais négatifs sont tout le reste du texte. La Figure 3figure 3 construit les quatre cas pour un extracteur de termes.

Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.

Figure 3. Les quatre cas sous forme de zones : ce qui est dans l'étalon de référence, ce que le système a trouvé, et là où les deux se chevauchent.

Jurafsky et Martin (2026) présentent les mêmes quatre cas sous forme de tableau, appelé matrice de confusion, pour un système qui classe des éléments en deux classes, comme un filtre antipourriel : un message arrêté par erreur est un faux positif, et un pourriel qui arrive dans la boîte de réception est un faux négatif.

	Dans l’étalon de référence	Absent de l’étalon de référence
Trouvé par le système	vrai positif	faux positif
Non trouvé par le système	faux négatif	vrai négatif

Les quatre cas sous forme de matrice de confusion.

Le bruit et le silence

L’ensemble des faux positifs s’appelle aussi le bruit, et l’ensemble des faux négatifs, le silence. Les deux mots peuvent se comprendre littéralement : le bruit est ce qui ne devrait pas se trouver dans la sortie, et le silence, ce qui y manque.

Les vrais négatifs

Le quatrième cas n’est pas le même pour les deux types de système (Figure 4figure 4) :

Pour un filtre antipourriel, chaque message est un élément : les vrais négatifs, les messages qui ne sont pas des pourriels et que le filtre a laissés passer, peuvent donc être comptés.
Pour un système qui repère des éléments dans un texte, comme un extracteur de termes, les vrais négatifs seraient chaque mot et chaque suite de mots qui n’est pas un terme et n’a pas été trouvée. Ces unités varient en longueur et se chevauchent : leur nombre n’est donc pas bien défini (Hripcsak & Rothschild, 2005).

Deux parties, l'une au-dessus de l'autre. Classification : dix messages, chacun un élément. Trois sont des pourriels, et le filtre en a arrêté deux, ainsi qu'un message qui n'est pas un pourriel. Vrais négatifs : 6 messages, ni pourriels ni arrêtés. Extraction : le passage un demi-arrêt et un galop rassemblé, et en dessous toutes les unités d'un à six mots, rangée par rangée : six unités d'un mot, cinq de deux mots, quatre de trois, trois de quatre, deux de cinq et une de six. Deux d'entre elles, demi-arrêt et galop rassemblé, sont des termes. Vrais négatifs : leur nombre dépend des unités que l'on compte ; ce seul passage compte 21 unités d'un à six mots, dont deux sont des termes. — Figure 4. Les vrais négatifs dans les deux types de système : les messages peuvent être comptés, mais les unités d'un texte qui ne sont pas des termes varient en longueur et se chevauchent.

Les scores les plus utilisés pour les deux types de système, la précision et le rappel, se calculent à partir des trois autres cas seulement (Jurafsky & Martin, 2026) (see also the Precision, recall and F1 page) (voir aussi la page Précision, rappel et score F1).

Le compromis entre les deux erreurs

Les deux erreurs s’opposent. Un outil réglé pour proposer plus de candidats manque moins de termes, mais il propose aussi plus d’unités qui ne sont pas des termes. Un outil réglé pour proposer moins de candidats fait l’inverse.

Dans Figure 5figure 5, un outil a classé douze candidats, et la liste est coupée à trois endroits. Plus la coupure se fait bas dans la liste, moins il manque de termes, et plus il y a de bruit. Une évaluation indique donc chacune des deux erreurs, en plus d’un score qui les combine.

Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.

Figure 5. Une liste classée de candidats coupée à trois endroits, comparée à un étalon de référence de huit termes.

Sources

Hripcsak, G., & Rothschild, A. S. (2005). Agreement, the F-measure, and reliability in information retrieval. Journal of the American Medical Informatics Association, 12(3), 296–298. https://doi.org/10.1197/jamia.M1733
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/

Precision, recall and F1Précision, rappel et score F1

Precision and recall

For a system that finds things in a text, or that sorts items into two classes, the comparison with a gold standard gives two scores (Jurafsky & Martin, 2026). Figure 6figure 6 shows the parts they are calculated from, for a term extractor.

A rectangle for everything in the text, split by a dashed line. The left half is all the terms in the gold standard, TP + FN; the right half is everything else in the text, FP + TN. An oval across the line is all the candidates the system returned, TP + FP. The four regions: the part of the left half outside the oval, false negatives, in red; the part of the oval in the left half, true positives, in green; the part of the oval in the right half, false positives, in amber; the rest of the right half, true negatives. Dots in each region stand for items. — Figure 6. The parts that precision and recall are calculated from: the terms in the gold standard, the candidates the system returned, and their overlap.

Each score can be explained in several ways, and one may be clearer to you than the others:

Precision
- as a formula: precision = TP / (TP + FP);
- as a share: the true positives divided by everything the system returned, for a term extractor all its candidates;
- as a question: of everything the system returned, how much is correct?
- false positives, the noise, lower it.
Recall
- as a formula: recall = TP / (TP + FN);
- as a share: the true positives divided by everything in the gold standard, for a term extractor all its terms;
- as a question: of everything in the gold standard, how much did the system find?
- false negatives, the silence, lower it.

A worked example

In this example, a term extractor returns ten candidates for a short text about dressage, and the gold standard for that text has nine terms (Figure 7figure 7).

Two lists. The gold standard, 9 terms: flying change, collected canter, half-halt, piaffe and passage in green, on both lists; canter, canter pirouette, pirouette and extended trot in red, only in the gold standard. Under it: 5 true positives, 4 false negatives. The output, 10 candidates: the same five terms in green; change, last corner, young rider, good horse and next movement in amber, only in the candidates. Under it: 5 true positives, 5 false positives. — Figure 7. A gold standard of nine terms and the ten candidates of a tool, coloured by outcome.

Five candidates are on both lists, so there are 5 true positives, 5 false positives and 4 false negatives (Figure 8figure 8):

precision = 5 / (5 + 5) = 0.50;
recall = 5 / (5 + 4) = 0.56.

Two panels, each with two overlapping circles, the gold standard and the system, coloured like the lists: the overlap, 5 true positives, in green; the part of the gold standard only, 4 false negatives, in red; the part of the system only, 5 false positives, in amber. On the left, precision: the system's circle is filled and the gold standard's other part is only outlined; TP / (TP + FP), 5 correct out of 10 returned, 5 / 10 = 0.50. On the right, recall: the gold standard's circle is filled and the system's other part is only outlined; TP / (TP + FN), 5 found out of 9 terms, 5 / 9 = 0.56. — Figure 8. Precision and recall measure the same overlap against two different totals: what the system returned, and what the gold standard contains.

The F1 score

The F1 score combines precision and recall into one number.

It is twice their product divided by their sum: F1 = 2 × precision × recall / (precision + recall), here 2 × 0.50 × 0.56 / (0.50 + 0.56) = 0.53. As a harmonic mean, it is closer to the lower of the two values than an ordinary average would be (Jurafsky & Martin, 2026), so a tool cannot score well by doing one thing only. For example, if a tool returned every word and every sequence of words of a text, it would have perfect recall, a precision close to zero, and an F1 score close to zero (Figure 9figure 9).

Two panels of four bars each, on a scale from 0 to 1. On the left, the tool of the worked example, 5 correct of 10 returned, 9 terms: precision 0.50, recall 0.56, ordinary average 0.53, F1 score 0.53. On the right, a tool that returns everything, 9 correct of 450 returned, 9 terms: precision 0.02, recall 1.00, ordinary average 0.51, F1 score 0.04. — Figure 9. The F1 score and the ordinary average of precision and recall, for the tool of the worked example and for a tool that returns everything.

The scores change with the number of candidates a tool returns. Figure 10figure 10 gives the three scores after each candidate of the ranked list of Figure 5figure 5: as more candidates are kept, precision falls and recall rises, and the F1 score is highest after seven candidates.

A line chart. Horizontal axis: the number of candidates kept, from 1 to 12, from the top of the ranked list. Vertical axis: a score from 0 to 1. Precision stays at 1.00 up to five candidates and then falls to 0.58 for the whole list. Recall rises from 0.12 to 0.88. The F1 score rises from 0.22 to 0.80 after seven candidates and ends at 0.70. Three dotted lines mark the cut after 4, the cut after 8 and the whole list. — Figure 10. Precision, recall and F1 after each candidate of one ranked list, against a gold standard of eight terms.

More than two classes

When a system sorts items into more than two classes, for example emails into urgent, normal and spam, precision and recall are calculated for each class. The scores of the classes are then averaged (macroaveraging), or the decisions for all classes are pooled before the calculation (microaveraging), in which case the most frequent class has the most influence on the result (Jurafsky & Martin, 2026).

Accuracy

The most obvious score is accuracy.

Unlike precision and recall, accuracy also counts the true negatives: accuracy = (TP + TN) / (TP + FP + FN + TN). In words, accuracy is the number of correct decisions, positive or negative, divided by the number of all decisions. It can be calculated for a system that sorts items into classes, where the true negatives can be counted, but not for a system that finds things in a text (see also the False positives and false negatives page) (voir aussi la page Faux positifs et faux négatifs).

Figure 11figure 11 calculates it for a spam filter and 100 messages: 10 of the messages are spam, and the filter stops 6 of them and 6 messages that are not spam.

Two confusion matrices for 100 messages, 10 of them spam, with columns spam and not spam in the gold standard and rows stopped and let through. A spam filter: 6 true positives, 6 false positives, 4 false negatives, 84 true negatives; accuracy (6 + 84) / 100 = 0.90, precision 6 / (6 + 6) = 0.50, recall 6 / (6 + 4) = 0.60. Letting every message through: 0 true positives, 0 false positives, 10 false negatives, 90 true negatives; accuracy (0 + 90) / 100 = 0.90, precision: no message stopped, recall 0 / (0 + 10) = 0.00. — Figure 11. The same 100 messages judged by a spam filter and by letting every message through: the same accuracy, very different recall.

Accuracy is misleading when the class to find is rare, as the second matrix shows. Jurafsky and Martin (2026) give a more extreme example: a million social media posts, of which a hundred are about the product a company wants to follow: a system that labels every post as not about the product is right for 99.99 % of the posts, but it has found none of the hundred. Precision and recall do not count the true negatives, so the same system has a recall of zero (see also the Baselines page) (voir aussi la page Les étalons).

Sources

Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Rigouts Terryn, A., Hoste, V., & Lefever, E. (2020a). In No Uncertain Terms: A Dataset for Monolingual and Multilingual Automatic Term Extraction from Comparable Corpora. Language Resources and Evaluation, 54(2), 385–418. https://doi.org/10.1007/s10579-019-09453-9

Key pointsL'essentiel

Pour un système qui repère des éléments dans un texte ou qui classe des éléments, la précision est la part de ce que le système a trouvé qui est correcte, le rappel est la part de l’étalon de référence qu’il a trouvée, et le score F1 combine les deux en un seul nombre, qui n’est élevé que si les deux le sont.
L’exactitude, la part de toutes les décisions qui sont correctes, ne peut se calculer que pour la classification, et elle est trompeuse quand la classe à trouver est rare.

La précision et le rappel

Pour un système qui repère des éléments dans un texte, ou qui classe des éléments en deux classes, la comparaison avec un étalon de référence donne deux scores (Jurafsky & Martin, 2026). La Figure 6figure 6 montre les parties à partir desquelles ils se calculent, pour un extracteur de termes.

Un rectangle pour tout ce que contient le texte, coupé par une ligne pointillée. La moitié gauche contient tous les termes de l'étalon de référence, VP + FN ; la moitié droite, tout le reste du texte, FP + VN. Un ovale à cheval sur la ligne contient tous les candidats proposés par le système, VP + FP. Les quatre zones : la partie de la moitié gauche hors de l'ovale, les faux négatifs, en rouge ; la partie de l'ovale dans la moitié gauche, les vrais positifs, en vert ; la partie de l'ovale dans la moitié droite, les faux positifs, en ambre ; le reste de la moitié droite, les vrais négatifs. Dans chaque zone, des points représentent des éléments. — Figure 6. Les parties à partir desquelles se calculent la précision et le rappel : les termes de l'étalon de référence, les candidats proposés par le système, et leur chevauchement.

Chaque score peut s’expliquer de plusieurs façons, et l’une d’elles vous paraîtra peut-être plus claire que les autres :

Précision
- sous forme de formule : précision = VP / (VP + FP) ;
- sous forme de part : les vrais positifs divisés par tout ce que le système a trouvé, pour un extracteur de termes tous ses candidats ;
- sous forme de question : de tout ce que le système a trouvé, quelle part est correcte ?
- les faux positifs, le bruit, la font baisser.
Rappel
- sous forme de formule : rappel = VP / (VP + FN) ;
- sous forme de part : les vrais positifs divisés par tout ce que contient l’étalon de référence, pour un extracteur de termes tous ses termes ;
- sous forme de question : de tout ce que contient l’étalon de référence, quelle part le système a-t-il trouvée ?
- les faux négatifs, le silence, le font baisser.

Un exemple détaillé

Dans cet exemple, un extracteur de termes propose dix candidats pour un court texte sur le dressage, et l’étalon de référence de ce texte compte neuf termes (Figure 7figure 7).

Deux listes. L'étalon de référence, 9 termes : changement de pied, galop rassemblé, demi-arrêt, piaffer et passage en vert, dans les deux listes ; galop, pirouette au galop, pirouette et trot allongé en rouge, seulement dans l'étalon. En dessous : 5 vrais positifs, 4 faux négatifs. La sortie, 10 candidats : les mêmes cinq termes en vert ; changement, dernier coin, jeune cavalier, bon cheval et mouvement suivant en ambre, seulement dans la sortie. En dessous : 5 vrais positifs, 5 faux positifs. — Figure 7. Un étalon de référence de neuf termes et les dix candidats d'un outil, en couleur selon le cas.

Cinq candidats figurent sur les deux listes : il y a donc 5 vrais positifs, 5 faux positifs et 4 faux négatifs (Figure 8figure 8) :

précision = 5 / (5 + 5) = 0,50 ;
rappel = 5 / (5 + 4) = 0,56.

Deux panneaux, chacun avec deux cercles qui se chevauchent, l'étalon de référence et le système, aux couleurs des listes : le chevauchement, 5 vrais positifs, en vert ; la partie de l'étalon seule, 4 faux négatifs, en rouge ; la partie du système seule, 5 faux positifs, en ambre. À gauche, la précision : le cercle du système est plein et l'autre partie de l'étalon n'est que contournée ; VP / (VP + FP), 5 corrects sur 10 proposés, 5 / 10 = 0,50. À droite, le rappel : le cercle de l'étalon est plein et l'autre partie du système n'est que contournée ; VP / (VP + FN), 5 trouvés sur 9 termes, 5 / 9 = 0,56. — Figure 8. La précision et le rappel mesurent le même chevauchement par rapport à deux totaux différents : ce que le système a trouvé, et ce que contient l'étalon de référence.

Le score F1

Le score F1 combine la précision et le rappel en un seul nombre.

Il vaut deux fois leur produit, divisé par leur somme : F1 = 2 × précision × rappel / (précision + rappel), ici 2 × 0,50 × 0,56 / (0,50 + 0,56) = 0,53. Comme moyenne harmonique, il est plus proche de la plus basse des deux valeurs que ne le serait une moyenne ordinaire (Jurafsky & Martin, 2026) : un outil ne peut donc pas obtenir un bon score en ne faisant qu’une seule chose. Par exemple, si un outil proposait chaque mot et chaque suite de mots d’un texte, il aurait un rappel parfait, une précision proche de zéro et un score F1 proche de zéro (Figure 9figure 9).

Deux panneaux de quatre barres chacun, sur une échelle de 0 à 1. À gauche, l'outil de l'exemple détaillé, 5 corrects sur 10 proposés, 9 termes : précision 0,50, rappel 0,56, moyenne ordinaire 0,53, score F1 0,53. À droite, un outil qui propose tout, 9 corrects sur 450 proposés, 9 termes : précision 0,02, rappel 1,00, moyenne ordinaire 0,51, score F1 0,04. — Figure 9. Le score F1 et la moyenne ordinaire de la précision et du rappel, pour l'outil de l'exemple détaillé et pour un outil qui propose tout.

Les scores changent avec le nombre de candidats qu’un outil propose. La Figure 10figure 10 donne les trois scores après chaque candidat de la liste classée de Figure 5figure 5 : à mesure qu’on garde plus de candidats, la précision baisse et le rappel augmente, et le score F1 est le plus élevé après sept candidats.

Un graphique linéaire. Axe horizontal : le nombre de candidats gardés, de 1 à 12, depuis le haut de la liste classée. Axe vertical : un score de 0 à 1. La précision reste à 1,00 jusqu'à cinq candidats, puis descend à 0,58 pour toute la liste. Le rappel monte de 0,12 à 0,88. Le score F1 monte de 0,22 à 0,80 après sept candidats et finit à 0,70. Trois lignes pointillées marquent la coupure après 4, la coupure après 8 et toute la liste. — Figure 10. La précision, le rappel et le score F1 après chaque candidat d'une liste classée, comparée à un étalon de référence de huit termes.

Plus de deux classes

Quand un système classe des éléments en plus de deux classes, par exemple des courriels en urgents, normaux et pourriels, la précision et le rappel se calculent pour chaque classe. On fait ensuite la moyenne des scores des classes (macromoyenne), ou on regroupe les décisions de toutes les classes avant le calcul (micromoyenne) ; dans ce cas, la classe la plus fréquente pèse le plus sur le résultat (Jurafsky & Martin, 2026).

L’exactitude

Le score le plus évident est l’exactitude.

Contrairement à la précision et au rappel, l’exactitude compte aussi les vrais négatifs : exactitude = (VP + VN) / (VP + FP + FN + VN). Autrement dit, l’exactitude est le nombre de décisions correctes, positives ou négatives, divisé par le nombre total de décisions. Elle peut se calculer pour un système qui classe des éléments, où les vrais négatifs peuvent être comptés, mais pas pour un système qui repère des éléments dans un texte (see also the False positives and false negatives page) (voir aussi la page Faux positifs et faux négatifs).

La Figure 11figure 11 la calcule pour un filtre antipourriel et 100 messages : 10 de ces messages sont des pourriels, et le filtre en arrête 6, ainsi que 6 messages qui ne sont pas des pourriels.

Deux matrices de confusion pour 100 messages, dont 10 pourriels, avec en colonnes pourriel et pas un pourriel dans l'étalon de référence, et en rangées arrêté et laissé passer. Un filtre antipourriel : 6 vrais positifs, 6 faux positifs, 4 faux négatifs, 84 vrais négatifs ; exactitude (6 + 84) / 100 = 0,90, précision 6 / (6 + 6) = 0,50, rappel 6 / (6 + 4) = 0,60. Laisser passer tous les messages : 0 vrai positif, 0 faux positif, 10 faux négatifs, 90 vrais négatifs ; exactitude (0 + 90) / 100 = 0,90, précision : aucun message arrêté, rappel 0 / (0 + 10) = 0,00. — Figure 11. Les mêmes 100 messages jugés par un filtre antipourriel et en laissant passer tous les messages : la même exactitude, un rappel très différent.

L’exactitude est trompeuse quand la classe à trouver est rare, comme le montre la deuxième matrice. Jurafsky et Martin (2026) donnent un exemple plus extrême : un million de publications sur les réseaux sociaux, dont une centaine portent sur le produit qu’une entreprise veut suivre. Un système qui étiquette chaque publication comme ne portant pas sur le produit a raison pour 99,99 % des publications, mais il n’a trouvé aucune des cent. La précision et le rappel ne comptent pas les vrais négatifs : le même système a donc un rappel de zéro (see also the Baselines page) (voir aussi la page Les étalons).

Sources

Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Rigouts Terryn, A., Hoste, V., & Lefever, E. (2020a). In No Uncertain Terms: A Dataset for Monolingual and Multilingual Automatic Term Extraction from Comparable Corpora. Language Resources and Evaluation, 54(2), 385–418. https://doi.org/10.1007/s10579-019-09453-9

Practice: precision, recall and F1Pratique : précision, rappel et score F1

The two lists

The exercises below are about a term extractor that returns six candidates for a short text about dressage. The gold standard for that text has eight terms. The table below gives both lists.

List	Units
In the gold standard (8 terms)	shoulder-in, half-pass, rein-back, extended trot, collected walk, counter-canter, leg-yield, travers
Returned by the tool (6 candidates)	shoulder-in, half-pass, extended trot, counter-canter, long side, good rhythm

A gold standard of eight terms and a tool's six candidates.

Exercises

ExerciseExercice 1 · precisionla précision not startedà faire solvedréussi keep tryingà retravailler

What is the precision of the tool? Round the answer to two decimals.

Quelle est la précision de l'outil ? Arrondissez la réponse à deux décimales.

Show the explanationVoir l'explication

Four of the six candidates are in the gold standard. Precision is the share of the candidates that are correct: 4 / 6 = 0.67.

Quatre des six candidats figurent dans la référence. La précision est la part des candidats qui sont corrects : 4 / 6 = 0,67.

ExerciseExercice 2 · recallle rappel not startedà faire solvedréussi keep tryingà retravailler

What is the recall of the tool?

Quel est le rappel de l'outil ?

Show the explanationVoir l'explication

The gold standard has eight terms and the tool found four of them. Recall is the share of the terms of the gold standard that the tool found: 4 / 8 = 0.50.

La référence compte huit termes et l'outil en a trouvé quatre. Le rappel est la part des termes de la référence que l'outil a trouvés : 4 / 8 = 0,50.

ExerciseExercice 3 · the F1 scorele score F1 not startedà faire solvedréussi keep tryingà retravailler

What is the F1 score of the tool? Round the answer to two decimals.

Quel est le score F1 de l'outil ? Arrondissez la réponse à deux décimales.

Show the explanationVoir l'explication

The F1 score is twice the product of precision and recall, divided by their sum: 2 × 0.67 × 0.50 / (0.67 + 0.50) = 0.57. It lies between the two values, closer to the lower one.

Le score F1 vaut deux fois le produit de la précision et du rappel, divisé par leur somme : 2 × 0,67 × 0,50 / (0,67 + 0,50) = 0,57. Il se situe entre les deux valeurs, plus près de la plus basse.

ExerciseExercice 4 not startedà faire solvedréussi keep tryingà retravailler

A second tool returns twenty candidates for the same text, and all eight terms of the gold standard are among them. Which of the following statements is true?

Un deuxième outil propose vingt candidats pour le même texte, et les huit termes de la référence en font partie. Lequel des énoncés suivants est exact ?

a) Its F1 score is 1, since it found every term.Son score F1 est de 1, puisqu'il a trouvé tous les termes. b) Its recall is higher than the first tool's and its precision lower, but its F1 score is the same.Son rappel est plus élevé que celui du premier outil et sa précision plus basse, mais son score F1 est le même. c) Its precision is higher than the first tool's, since it returns more correct candidates.Sa précision est plus élevée que celle du premier outil, puisqu'il propose plus de candidats corrects. d) Its scores cannot be computed without the number of true negatives.Ses scores ne peuvent pas être calculés sans le nombre de vrais négatifs.

Show the solutionVoir la solution

The second tool has a recall of 8 / 8 = 1.00 and a precision of 8 / 20 = 0.40. Its F1 score is therefore 2 × 0.40 × 1.00 / (0.40 + 1.00) = 0.57, the same as the first tool's.

Two tools can reach the same F1 score with opposite errors: the first misses half of the terms, and most of the second tool's candidates are not terms. That is why an evaluation reports precision and recall as well as the F1 score.

Le deuxième outil a un rappel de 8 / 8 = 1,00 et une précision de 8 / 20 = 0,40. Son score F1 est donc de 2 × 0,40 × 1,00 / (0,40 + 1,00) = 0,57, comme celui du premier outil.

Deux outils peuvent obtenir le même score F1 avec des erreurs opposées : le premier manque la moitié des termes, et la plupart des candidats du second ne sont pas des termes. C'est pourquoi une évaluation indique la précision et le rappel en plus du score F1.

Les deux listes

Les exercices ci-dessous portent sur un extracteur de termes qui propose six candidats pour un court texte sur le dressage. L’étalon de référence de ce texte compte huit termes. Le tableau ci-dessous donne les deux listes.

Liste	Unités
Dans l’étalon de référence (8 termes)	épaule en dedans, appuyer, reculer, trot allongé, pas rassemblé, contre-galop, cession à la jambe, travers
Proposés par l’outil (6 candidats)	épaule en dedans, appuyer, trot allongé, contre-galop, grand côté, bon rythme

Un étalon de référence de huit termes et les six candidats d'un outil.

Exercices

ExerciseExercice 1 · precisionla précision not startedà faire solvedréussi keep tryingà retravailler

What is the precision of the tool? Round the answer to two decimals.

Quelle est la précision de l'outil ? Arrondissez la réponse à deux décimales.

Show the explanationVoir l'explication

Four of the six candidates are in the gold standard. Precision is the share of the candidates that are correct: 4 / 6 = 0.67.

Quatre des six candidats figurent dans la référence. La précision est la part des candidats qui sont corrects : 4 / 6 = 0,67.

ExerciseExercice 2 · recallle rappel not startedà faire solvedréussi keep tryingà retravailler

What is the recall of the tool?

Quel est le rappel de l'outil ?

Show the explanationVoir l'explication

The gold standard has eight terms and the tool found four of them. Recall is the share of the terms of the gold standard that the tool found: 4 / 8 = 0.50.

La référence compte huit termes et l'outil en a trouvé quatre. Le rappel est la part des termes de la référence que l'outil a trouvés : 4 / 8 = 0,50.

ExerciseExercice 3 · the F1 scorele score F1 not startedà faire solvedréussi keep tryingà retravailler

What is the F1 score of the tool? Round the answer to two decimals.

Quel est le score F1 de l'outil ? Arrondissez la réponse à deux décimales.

Show the explanationVoir l'explication

The F1 score is twice the product of precision and recall, divided by their sum: 2 × 0.67 × 0.50 / (0.67 + 0.50) = 0.57. It lies between the two values, closer to the lower one.

ExerciseExercice 4 not startedà faire solvedréussi keep tryingà retravailler

A second tool returns twenty candidates for the same text, and all eight terms of the gold standard are among them. Which of the following statements is true?

Un deuxième outil propose vingt candidats pour le même texte, et les huit termes de la référence en font partie. Lequel des énoncés suivants est exact ?

Show the solutionVoir la solution

The second tool has a recall of 8 / 8 = 1.00 and a precision of 8 / 20 = 0.40. Its F1 score is therefore 2 × 0.40 × 1.00 / (0.40 + 1.00) = 0.57, the same as the first tool's.

Le deuxième outil a un rappel de 8 / 8 = 1,00 et une précision de 8 / 20 = 0,40. Son score F1 est donc de 2 × 0,40 × 1,00 / (0,40 + 1,00) = 0,57, comme celui du premier outil.

Matching rulesLes règles de correspondance

Matching decisions

The scores of a system that finds things in a text depend on how strictly an answer has to match the gold standard to count as correct (see also the Interpreting a score page) (voir aussi la page Interpréter un score). The same decisions come up for any such task. The table below gives them for term extraction (see also the Automatic term extraction (from rules to large language models) chapter, in the Classical NLP module) (voir aussi le chapitre Extraction automatique de termes (des règles aux grands modèles de langue), dans le module TAL classique) and for named entity recognition, which finds the names of people, places and organizations in a text.

Decision	Term extraction	Named entity recognition
Unique items or occurrences	each term once, or every occurrence in the text	each name once, or every mention of it in the text
Partial matches	whether canter is wrong, half right or right when the gold standard has collected canter	whether Curie is wrong, half right or right when the gold standard has Marie Curie
Nested units	only the longest terms, or also the shorter terms inside them, such as canter in collected canter	only the longest names, or also the names inside them, such as Paris in University of Paris
Form	whether capital letters, plurals and spelling variants are the same answer	whether capital letters and spelling variants, such as Tchaikovsky and Tchaikovski, are the same answer
Labels	whether a term must also have the right label, when the gold standard labels its terms	whether a name must also have the right type, such as person or place
Cut-off	the whole ranked list, or its top	a threshold on the confidence of the system, when it reports one

Six decisions that change the scores of a system that finds things in a text.

For classification, most of these decisions do not come up: each item, such as a message, is a unit with fixed boundaries, and the system gives it a class. Jurafsky and Martin (2026) point out that named entity recognition has a step of segmentation, deciding where each name starts and ends, which text classification does not have, and that this step complicates its evaluation.

In Figure 12figure 12, for example, the same four candidates get an F1 score of 0.25, 0.50 or 0.75, depending on the decision about form.

A grid. Four rows: the candidates Half-halt with a capital letter, flying changes in the plural, piaffe and last corner, each beside the term of the gold standard it corresponds to: half-halt, flying change, piaffe, and for last corner, not a term. Three columns, one per rule. Exact form: only piaffe is counted as correct, 1 of 4, F1 score 0.25. Capital letters ignored: Half-halt and piaffe, 2 of 4, F1 score 0.50. Plurals also merged: Half-halt, flying changes and piaffe, 3 of 4, F1 score 0.75. — Figure 12. One output of four candidates, against a gold standard of four terms, counted with three rules for form.

Four findings show how much these decisions can change the scores:

Partial matches in named entity recognition. When the name is the unit that is counted, a system that returns Jane where the gold standard has Jane Villanueva makes two errors at once: a false positive for Jane and a false negative for Jane Villanueva (Jurafsky & Martin, 2026).
Partial matches and cut-off in term extraction. Reported scores differ greatly depending on how strict the evaluation is, for example on whether partial matches are accepted, and they change with the point at which a ranked list is cut off (Rigouts Terryn et al., 2019).
Unique terms or occurrences. Scores for every occurrence in the running text and scores for a list of unique terms can lead to different conclusions, for example about the language or the domain in which a system does best (Rigouts Terryn et al., 2022b).
Form. A large language model sometimes returns a form that is not in the text word for word, such as follow-up where the text has follow up (Rigouts Terryn, 2026).

Candidates between right and wrong

A strict comparison has two outcomes, correct or not, but many candidates of a term extractor are between the two (Figure 13figure 13):

the candidate is part of a term in the gold standard;
the candidate is a term of the gold standard with another word attached;
the candidate would be a term for some purposes and not for others.

Figure 13. Between a candidate that is wrong and one that is right: three cases a strict comparison counts as errors.

The same cases come up in named entity recognition, for instance Curie for Marie Curie, or the University of Paris with one word too many. A strict evaluation counts all of them as errors. A more lenient evaluation accepts some of them and gives higher scores, so scores obtained with different rules cannot be compared.

Sources

Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Rigouts Terryn, A. (2026). Large Language Models Are Good Term Extractors: A Systematic Evaluation. Proceedings of the Fifteenth Language Resources and Evaluation Conference (LREC 2026), 7631–7643. https://doi.org/10.63317/49gta5itne3q
Rigouts Terryn, A., Drouin, P., Hoste, V., & Lefever, E. (2019). Analysing the Impact of Supervised Machine Learning on Automatic Term Extraction: HAMLET vs TermoStat. Proceedings of the International Conference on Recent Advances in Natural Language Processing (RANLP 2019), 1012–1021. https://doi.org/10.26615/978-954-452-056-4_117
Rigouts Terryn, A., Hoste, V., & Lefever, E. (2022b). Tagging Terms in Text: A Supervised Sequential Labelling Approach to Automatic Term Extraction. Terminology, 28(1), 157–189. https://doi.org/10.1075/term.21010.rig

Les décisions de correspondance

Les scores d’un système qui repère des éléments dans un texte dépendent de la rigueur avec laquelle une réponse doit correspondre à l’étalon de référence pour compter comme correcte (see also the Interpreting a score page) (voir aussi la page Interpréter un score). Les mêmes décisions se posent pour toute tâche de ce genre. Le tableau ci-dessous les donne pour l’extraction de termes (see also the Automatic term extraction (from rules to large language models) chapter, in the Classical NLP module) (voir aussi le chapitre Extraction automatique de termes (des règles aux grands modèles de langue), dans le module TAL classique) et pour la reconnaissance d’entités nommées, qui repère les noms de personnes, de lieux et d’organisations dans un texte.

Décision	Extraction de termes	Reconnaissance d’entités nommées
Éléments uniques ou occurrences	chaque terme une seule fois, ou chacune de ses occurrences dans le texte	chaque nom une seule fois, ou chacune de ses mentions dans le texte
Correspondances partielles	si galop est faux, à moitié juste ou juste quand l’étalon de référence contient galop rassemblé	si Curie est faux, à moitié juste ou juste quand l’étalon de référence contient Marie Curie
Unités imbriquées	seulement les termes les plus longs, ou aussi les termes plus courts qu’ils contiennent, comme galop dans galop rassemblé	seulement les noms les plus longs, ou aussi les noms qu’ils contiennent, comme Paris dans Université de Paris
Forme	si les majuscules, les pluriels et les variantes orthographiques donnent la même réponse	si les majuscules et les variantes orthographiques, comme Tchaïkovski et Tchaïkovsky, donnent la même réponse
Étiquettes	si un terme doit aussi avoir la bonne étiquette, quand l’étalon de référence étiquette ses termes	si un nom doit aussi avoir le bon type, comme personne ou lieu
Seuil	toute la liste classée, ou son haut	un seuil sur la confiance du système, quand il en indique une

Six décisions qui changent les scores d'un système qui repère des éléments dans un texte.

Pour la classification, la plupart de ces décisions ne se posent pas : chaque élément, comme un message, est une unité aux limites fixes, et le système lui attribue une classe. Jurafsky et Martin (2026) font remarquer que la reconnaissance d’entités nommées comporte une étape de segmentation, qui décide où chaque nom commence et finit, que la classification de textes n’a pas, et que cette étape complique son évaluation.

Dans Figure 12figure 12, par exemple, les mêmes quatre candidats obtiennent un score F1 de 0,25, de 0,50 ou de 0,75, selon la décision sur la forme.

Une grille. Quatre rangées : les candidats Demi-arrêt avec une majuscule, changements de pied au pluriel, piaffer et dernier coin, chacun à côté du terme de l'étalon de référence auquel il correspond : demi-arrêt, changement de pied, piaffer, et pour dernier coin, pas un terme. Trois colonnes, une par règle. Forme exacte : seul piaffer est compté comme correct, 1 sur 4, score F1 0,25. Majuscules ignorées : Demi-arrêt et piaffer, 2 sur 4, score F1 0,50. Pluriels aussi fusionnés : Demi-arrêt, changements de pied et piaffer, 3 sur 4, score F1 0,75. — Figure 12. Une sortie de quatre candidats, comparée à un étalon de référence de quatre termes, comptée selon trois règles de forme.

Quatre constats montrent à quel point ces décisions peuvent changer les scores :

Correspondances partielles en reconnaissance d’entités nommées. Quand l’unité comptée est le nom, un système qui propose Jane là où l’étalon de référence contient Jane Villanueva fait deux erreurs à la fois : un faux positif pour Jane et un faux négatif pour Jane Villanueva (Jurafsky & Martin, 2026).
Correspondances partielles et seuil en extraction de termes. Les scores publiés varient beaucoup selon la rigueur de l’évaluation, par exemple selon que les correspondances partielles sont acceptées ou non, et ils changent avec l’endroit où une liste classée est coupée (Rigouts Terryn et al., 2019).
Termes uniques ou occurrences. Les scores calculés sur chaque occurrence dans le texte et les scores calculés sur une liste de termes uniques peuvent mener à des conclusions différentes, par exemple sur la langue ou le domaine où un système réussit le mieux (Rigouts Terryn et al., 2022b).
Forme. Un grand modèle de langue donne parfois une forme qui ne figure pas telle quelle dans le texte, comme follow-up là où le texte a follow up (Rigouts Terryn, 2026).

Les candidats entre le juste et le faux

Une comparaison stricte n’a que deux issues, correct ou non, mais beaucoup de candidats d’un extracteur de termes se situent entre les deux (Figure 13figure 13) :

le candidat est une partie d’un terme de l’étalon de référence ;
le candidat est un terme de l’étalon de référence auquel s’ajoute un autre mot ;
le candidat serait un terme pour certains usages, mais pas pour d’autres.

Une flèche qui va de faux à gauche à juste à droite, avec trois points d'interrogation entre les deux. Sous les cinq positions : pas un terme, dernier coin ; une partie d'un terme, galop ; un terme et un mot de plus, jeune cavalier ; un terme pour certains usages, cavalier ; un terme, changement de pied. — Figure 13. Entre un candidat faux et un candidat juste : trois cas qu'une comparaison stricte compte comme des erreurs.

Les mêmes cas se présentent en reconnaissance d’entités nommées, par exemple Curie pour Marie Curie, ou l’Université de Paris avec un mot de trop. Une évaluation stricte les compte tous comme des erreurs. Une évaluation plus souple en accepte certains et donne des scores plus élevés : des scores obtenus avec des règles différentes ne peuvent donc pas être comparés.

Sources

Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Rigouts Terryn, A. (2026). Large Language Models Are Good Term Extractors: A Systematic Evaluation. Proceedings of the Fifteenth Language Resources and Evaluation Conference (LREC 2026), 7631–7643. https://doi.org/10.63317/49gta5itne3q
Rigouts Terryn, A., Drouin, P., Hoste, V., & Lefever, E. (2019). Analysing the Impact of Supervised Machine Learning on Automatic Term Extraction: HAMLET vs TermoStat. Proceedings of the International Conference on Recent Advances in Natural Language Processing (RANLP 2019), 1012–1021. https://doi.org/10.26615/978-954-452-056-4_117
Rigouts Terryn, A., Hoste, V., & Lefever, E. (2022b). Tagging Terms in Text: A Supervised Sequential Labelling Approach to Automatic Term Extraction. Terminology, 28(1), 157–189. https://doi.org/10.1075/term.21010.rig

Agreement as an F1 scoreL'accord mesuré par le score F1

One annotator as the gold standard

Inter-annotator agreement (IAA) measures how far people who annotate the same data separately agree, and so how reliable a gold standard is (see also the Agreement between annotators page) (voir aussi la page L'accord entre annotateurs). Several measures exist for it. When two people have each made a list of the terms in the same text, their agreement can be measured with the scores of this chapter, by taking one list as the gold standard and scoring the other like the output of a system:

the terms on both lists are true positives;
the terms on the second list only are false positives, the noise;
the terms on the first list only are false negatives, the silence.

In Figure 14figure 14, the list of annotator A has five terms and the list of annotator B six, and four terms are on both lists. With A as the gold standard, B has a precision of 4 / 6 and a recall of 4 / 5. With B as the gold standard, the two values change places. The F1 score is 0.73 either way, so the IAA between two people is one number, whichever of them is taken as the gold standard. With three annotators or more, each pair is compared in turn and the scores are averaged.

Two overlapping circles, annotator A with 5 terms and annotator B with 6 terms. A alone has 1, the overlap 4, B alone 2. Beside them: with A as the gold standard, precision 4 / 6 = 0.67 and recall 4 / 5 = 0.80; with B as the gold standard, precision 4 / 5 = 0.80 and recall 4 / 6 = 0.67; F1 = 0.73 in both cases. — Figure 14. Two annotators scored against each other: precision and recall change places with the gold standard, and the F1 score does not change.

This measure fits the annotation of terms and other things marked in a text, where there is no fixed list of items and the things nobody marked cannot be counted (Hripcsak & Rothschild, 2005) (see also the False positives and false negatives page) (voir aussi la page Faux positifs et faux négatifs).

Measured this way, the IAA between people is on the same scale as the score of a system, and the two can be set side by side.

Sources

Hripcsak, G., & Rothschild, A. S. (2005). Agreement, the F-measure, and reliability in information retrieval. Journal of the American Medical Informatics Association, 12(3), 296–298. https://doi.org/10.1197/jamia.M1733

Un annotateur comme étalon de référence

L’accord inter-annotateurs mesure à quel point des personnes qui annotent les mêmes données séparément sont d’accord, et donc à quel point un étalon de référence est fiable (see also the Agreement between annotators page) (voir aussi la page L'accord entre annotateurs). Il existe plusieurs mesures de cet accord. Quand deux personnes ont chacune dressé la liste des termes d’un même texte, leur accord peut se mesurer avec les scores de ce chapitre, en prenant une des listes comme étalon de référence et en évaluant l’autre comme la sortie d’un système :

les termes qui figurent sur les deux listes sont des vrais positifs ;
les termes qui ne figurent que sur la deuxième liste sont des faux positifs, le bruit ;
les termes qui ne figurent que sur la première liste sont des faux négatifs, le silence.

Dans Figure 14figure 14, la liste de l’annotateur A compte cinq termes et celle de l’annotateur B, six, et quatre termes figurent sur les deux listes. Avec A comme étalon de référence, B a une précision de 4 / 6 et un rappel de 4 / 5. Avec B comme étalon de référence, les deux valeurs s’inversent. Le score F1 vaut 0,73 dans les deux cas : l’accord inter-annotateurs entre deux personnes est donc un seul nombre, quelle que soit celle qui sert d’étalon de référence. Avec trois annotateurs ou plus, on compare chaque paire à tour de rôle et on fait la moyenne des scores.

Deux cercles qui se chevauchent, l'annotateur A avec 5 termes et l'annotateur B avec 6 termes. A seul en a 1, le chevauchement 4, B seul 2. À côté : avec A comme étalon de référence, précision 4 / 6 = 0,67 et rappel 4 / 5 = 0,80 ; avec B comme étalon de référence, précision 4 / 5 = 0,80 et rappel 4 / 6 = 0,67 ; F1 = 0,73 dans les deux cas. — Figure 14. Deux annotateurs évalués l'un par rapport à l'autre : la précision et le rappel s'inversent selon l'étalon de référence, et le score F1 ne change pas.

Cette mesure convient à l’annotation de termes et d’autres éléments repérés dans un texte, où il n’y a pas de liste fixe d’éléments et où l’on ne peut pas compter ce que personne n’a repéré (Hripcsak & Rothschild, 2005) (see also the False positives and false negatives page) (voir aussi la page Faux positifs et faux négatifs).

Mesuré ainsi, l’accord inter-annotateurs est sur la même échelle que le score d’un système, et les deux peuvent être comparés directement.

Sources

Hripcsak, G., & Rothschild, A. S. (2005). Agreement, the F-measure, and reliability in information retrieval. Journal of the American Medical Informatics Association, 12(3), 296–298. https://doi.org/10.1197/jamia.M1733

Steps of an evaluationLes étapes d'une évaluation

The steps in order

The steps below apply to the evaluation of any system that finds things in a text or sorts items into classes, for instance term extractors, systems for named entity recognition or spam filters. They are the same for a few systems compared by hand on one short text and for a large evaluation on thousands of items.

The gold standard is made first. People annotate the evaluation data, following written guidelines, before anyone looks at the output of a system: a term added because a tool found it makes the gold standard depend on that tool. The choices made along the way are written down, for example whether names count as terms, or where a name starts and ends (see also the gold standard page) (voir aussi la page L'étalon de référence).
Some or all of the data is annotated more than once. Several people annotate the same items separately, which gives the inter-annotator agreement (see also the Agreement as an F1 score page) (voir aussi la page L'accord mesuré par le score F1). When all of the data is annotated several times, the annotations can also be combined into the gold standard, for instance by majority vote (see also the Agreement between annotators page) (voir aussi la page L'accord entre annotateurs). On a large dataset, this is often done for a sample only, and the rest is annotated by one person.
Each system runs on the same evaluation data, and its output is kept as it is, whatever its length. For a chatbot, the prompt, the model, its version and the date are recorded as well.
All outputs are put in the same form as the gold standard, with the matching rules decided beforehand and applied to every system, for example one entry per term, in lowercase, with one decision on plurals (see also the Matching rules page) (voir aussi la page Les règles de correspondance).
The counting gives the true positives, the false positives and the false negatives for each system, and from them precision, recall and the F1 score (see also the Precision, recall and F1 page) (voir aussi la page Précision, rappel et score F1).
The scores are compared with the agreement between people and with a baseline, for example the score of a system that is already in use (see also the Baselines page) (voir aussi la page Les étalons).
The errors are examined: the kinds of item each system missed, and the kinds it returned wrongly (see also the Interpreting a score page) (voir aussi la page Interpréter un score).

Les étapes dans l’ordre

Les étapes ci-dessous s’appliquent à l’évaluation de tout système qui repère des éléments dans un texte ou qui classe des éléments, par exemple des extracteurs de termes, des systèmes de reconnaissance d’entités nommées ou des filtres antipourriel. Elles sont les mêmes pour quelques systèmes comparés à la main sur un court texte et pour une grande évaluation sur des milliers d’éléments.

L’étalon de référence est établi d’abord. Des personnes annotent les données d’évaluation en suivant des consignes écrites, avant que quiconque ait vu la sortie d’un système : un terme ajouté parce qu’un outil l’a trouvé rend l’étalon de référence dépendant de cet outil. Les choix faits en cours de route sont consignés, par exemple si les noms propres comptent comme des termes, ou où un nom commence et finit (see also the gold standard page) (voir aussi la page L'étalon de référence).
Une partie ou la totalité des données est annotée plus d’une fois. Plusieurs personnes annotent les mêmes éléments séparément, ce qui donne l’accord inter-annotateurs (see also the Agreement as an F1 score page) (voir aussi la page L'accord mesuré par le score F1). Quand toutes les données sont annotées plusieurs fois, les annotations peuvent aussi être combinées en un étalon de référence, par exemple par un vote majoritaire (see also the Agreement between annotators page) (voir aussi la page L'accord entre annotateurs). Sur un grand jeu de données, on ne le fait souvent que pour un échantillon, et une seule personne annote le reste.
Chaque système traite les mêmes données d’évaluation, et sa sortie est gardée telle quelle, quelle que soit sa longueur. Pour un agent conversationnel, la requête, le modèle, sa version et la date sont aussi consignés.
Toutes les sorties sont mises sous la même forme que l’étalon de référence, avec des règles de correspondance fixées à l’avance et appliquées à tous les systèmes, par exemple une entrée par terme, en minuscules, avec une seule décision sur les pluriels (see also the Matching rules page) (voir aussi la page Les règles de correspondance).
Le comptage donne les vrais positifs, les faux positifs et les faux négatifs de chaque système, et à partir d’eux la précision, le rappel et le score F1 (see also the Precision, recall and F1 page) (voir aussi la page Précision, rappel et score F1).
Les scores sont comparés à l’accord entre personnes et à un étalon, par exemple le score d’un système déjà en usage (see also the Baselines page) (voir aussi la page Les étalons).
Les erreurs sont examinées : les types d’éléments que chaque système a manqués, et ceux qu’il a trouvés à tort (see also the Interpreting a score page) (voir aussi la page Interpréter un score).

Evaluating machine translationÉvaluation de la traduction automatique

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée.

Many correct translationsDe nombreuses traductions correctes

Several right answers

For systems that find or label things, such as a term extractor or a spam filter, people do not always agree on the correct answer (Basile et al., 2021). An evaluation usually settles the question with a gold standard, which fixes one answer per item, and counts each answer of the system as right or wrong against it (see also the gold standard page) (voir aussi la page L'étalon de référence).

Translation shares this difficulty in a more complex form, and adds a second one, because translation means generating new text rather than selecting text or labels from a limited set:

The correct answers cannot be listed. The terms of a text are sequences of words in that text, so a gold standard can list them (see also the Matching rules page) (voir aussi la page Les règles de correspondance). A sentence has too many correct translations to list, and a correct output rarely matches a translation made by a person word for word.
An answer can be partly right. Even a borderline term is either on a list or not. A translated sentence contains many decisions and can be wrong in one part, slightly or seriously: awkward phrasing is not as serious as reversing the meaning.

Figure 1figure 1 shows both on one French idiom: four English translations are correct and differ from each other in wording, two are partly wrong because they lose part of the meaning or are awkwardly phrased, and two are wrong.

The French sentence Il pleut des cordes, followed by eight English answers. Four are marked correct: It's raining cats and dogs, which is marked as the reference translation; It's pouring; It's raining heavily; It's coming down in buckets. It's raining and It's downpouring are marked partly wrong. It's raining ropes and It's not raining are marked wrong. — Figure 1. One sentence to translate, four correct translations, two partly wrong ones and two wrong ones. The first correct translation serves as the reference.

Adequacy and fluency

Two dimensions are standard in judging a translation (Jurafsky & Martin, 2026):

adequacy, also called fidelity: how well the translation conveys the meaning of the source;
fluency: whether the translation is grammatical, clear and natural in the target language.

The two come apart, as Figure 2figure 2 shows on four translations of one sentence.

A two-by-two grid for the source sentence Il pleut des cordes. Adequate and fluent: It's raining cats and dogs. Adequate but not fluent: It's downpouring, with downpouring marked. Fluent but not adequate: It's not raining, with not marked. Neither: It rains of the ropes, a word-for-word translation, with of the ropes marked. — Figure 2. Four translations of one sentence, placed by adequacy and by fluency.

In professional work, style and terminology are judged as well; MQM treats them as separate error categories (Freitag et al., 2021) (see also the Human evaluation: DA, MQM and ESA page) (voir aussi la page L'évaluation humaine : DA, MQM et ESA). Raters without translation training find adequacy and fluency hard to keep apart, so human evaluations train their raters with examples (Jurafsky & Martin, 2026).

The reference translation

In machine translation, the gold standard is a reference translation: a translation of the test sentence by a professional translator, taken as one correct answer among many.

A metric that compares an output with a reference therefore measures resemblance to one translation, and a perfect match is rare, even for a very good translation. Some evaluations give each sentence several references to soften that (Papineni et al., 2002).
Its quality varies with who produced it, as the organizers of WMT, the Conference on Machine Translation, note of their own references (Kocmi et al., 2025) (see also the trend across editions page, in the Machine translation module) (voir aussi la page La tendance d'une édition à l'autre, dans le module Traduction automatique).
A reference-based evaluation can penalize a correct translation, and a system that is better than the reference, for differing from it (Freitag et al., 2021).

Sources

Basile, V., Fell, M., Fornaciari, T., Hovy, D., Paun, S., Plank, B., et al. (2021). We Need to Consider Disagreement in Evaluation. Proceedings of the 1st Workshop on Benchmarking: Past, Present and Future. https://doi.org/10.18653/v1/2021.bppf-1.3
Freitag, M., Foster, G., Grangier, D., Ratnakar, V., Tan, Q., & Macherey, W. (2021). Experts, Errors, and Context: A Large-Scale Study of Human Evaluation for Machine Translation. Transactions of the Association for Computational Linguistics, 9, 1460–1474. https://doi.org/10.1162/tacl_a_00437
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Kocmi, T., Artemova, E., Avramidis, E., Bawden, R., Bojar, O., Dranch, K., et al. (2025). Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 355–413. https://doi.org/10.18653/v1/2025.wmt-1.22
Papineni, K., Roukos, S., Ward, T., & Zhu, W.-J. (2002). BLEU: a method for automatic evaluation of machine translation. Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL 2002), Philadelphia, 311–318. https://doi.org/10.3115/1073083.1073135

Plusieurs bonnes réponses

Pour les systèmes qui trouvent ou étiquettent des éléments, comme un extracteur de termes ou un filtre antipourriel, les personnes ne s’accordent pas toujours sur la bonne réponse (Basile et al., 2021). Une évaluation tranche habituellement la question avec un étalon de référence, qui fixe une réponse par élément, et compte chaque réponse du système comme juste ou fausse par rapport à lui (see also the gold standard page) (voir aussi la page L'étalon de référence).

La traduction partage cette difficulté sous une forme plus complexe, et en ajoute une seconde, parce que traduire consiste à produire un texte nouveau plutôt qu’à choisir des passages ou des étiquettes dans un ensemble limité :

Les bonnes réponses ne peuvent pas être énumérées. Les termes d’un texte sont des suites de mots de ce texte, si bien qu’un étalon de référence peut en dresser la liste (see also the Matching rules page) (voir aussi la page Les règles de correspondance). Une phrase a trop de traductions correctes pour qu’on les énumère, et une sortie correcte correspond rarement mot pour mot à une traduction faite par une personne.
Une réponse peut être en partie juste. Même un terme limite figure sur une liste ou n’y figure pas. Une phrase traduite contient de nombreuses décisions et peut être fausse sur un point, légèrement ou gravement : une tournure maladroite est moins grave qu’un sens inversé.

La Figure 1figure 1 montre les deux sur une expression figée française : quatre traductions anglaises sont correctes et diffèrent entre elles par leur formulation, deux sont en partie fausses parce qu’elles perdent une partie du sens ou sont maladroites, et deux sont fausses.

La phrase française Il pleut des cordes, suivie de huit réponses en anglais. Quatre sont marquées correctes : It's raining cats and dogs, marquée comme la traduction de référence ; It's pouring ; It's raining heavily ; It's coming down in buckets. It's raining et It's downpouring sont marquées en partie fausses. It's raining ropes et It's not raining sont marquées fausses. — Figure 1. Une phrase à traduire, quatre traductions correctes, deux en partie fausses et deux fausses. La première traduction correcte sert de référence.

L’adéquation et la fluidité

Deux dimensions servent habituellement à juger une traduction (Jurafsky & Martin, 2026) :

l’adéquation, aussi appelée fidélité : la mesure dans laquelle la traduction rend le sens de la source ;
la fluidité : la traduction est-elle grammaticale, claire et naturelle dans la langue cible ?

Les deux peuvent diverger, comme le montre la Figure 2figure 2 sur quatre traductions d’une même phrase.

Une grille de deux sur deux pour la phrase source Il pleut des cordes. Adéquate et fluide : It's raining cats and dogs. Adéquate, mais non fluide : It's downpouring, où downpouring est marqué. Fluide, mais non adéquate : It's not raining, où not est marqué. Ni l'une ni l'autre : It rains of the ropes, une traduction mot à mot, où of the ropes est marqué. — Figure 2. Quatre traductions d'une même phrase, placées selon leur adéquation et leur fluidité.

Dans le travail professionnel, le style et la terminologie sont aussi jugés ; MQM en fait des catégories d’erreurs distinctes (Freitag et al., 2021) (see also the Human evaluation: DA, MQM and ESA page) (voir aussi la page L'évaluation humaine : DA, MQM et ESA). Les évaluateurs sans formation en traduction ont du mal à séparer l’adéquation de la fluidité, si bien que les évaluations humaines forment leurs évaluateurs à l’aide d’exemples (Jurafsky & Martin, 2026).

La traduction de référence

En traduction automatique, l’étalon de référence est une traduction de référence : une traduction de la phrase de test faite par une traductrice ou un traducteur professionnel, retenue comme une bonne réponse parmi d’autres.

Une métrique qui compare une sortie avec une référence mesure donc la ressemblance avec une seule traduction, et une correspondance parfaite est rare, même pour une très bonne traduction. Certaines évaluations donnent plusieurs références à chaque phrase pour atténuer ce problème (Papineni et al., 2002).
Sa qualité varie selon qui l’a produite, comme le notent les organisateurs de WMT, la Conference on Machine Translation, à propos de leurs propres références (Kocmi et al., 2025) (see also the trend across editions page, in the Machine translation module) (voir aussi la page La tendance d'une édition à l'autre, dans le module Traduction automatique).
Une évaluation fondée sur une référence peut pénaliser une traduction correcte, et un système meilleur que la référence, parce qu’ils s’en écartent (Freitag et al., 2021).

Sources

Basile, V., Fell, M., Fornaciari, T., Hovy, D., Paun, S., Plank, B., et al. (2021). We Need to Consider Disagreement in Evaluation. Proceedings of the 1st Workshop on Benchmarking: Past, Present and Future. https://doi.org/10.18653/v1/2021.bppf-1.3
Freitag, M., Foster, G., Grangier, D., Ratnakar, V., Tan, Q., & Macherey, W. (2021). Experts, Errors, and Context: A Large-Scale Study of Human Evaluation for Machine Translation. Transactions of the Association for Computational Linguistics, 9, 1460–1474. https://doi.org/10.1162/tacl_a_00437
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Kocmi, T., Artemova, E., Avramidis, E., Bawden, R., Bojar, O., Dranch, K., et al. (2025). Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 355–413. https://doi.org/10.18653/v1/2025.wmt-1.22
Papineni, K., Roukos, S., Ward, T., & Zhu, W.-J. (2002). BLEU: a method for automatic evaluation of machine translation. Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL 2002), Philadelphia, 311–318. https://doi.org/10.3115/1073083.1073135

Ways of evaluating a translationLes façons d'évaluer une traduction

Methods of evaluating a translation

The four ways of evaluating any system (comparison with a gold standard, pairwise comparison, rating and error annotation) are explained in the foundations chapter (see also the Ways of evaluating page) (voir aussi la page Les façons d'évaluer). In translation the gold standard is a reference translation, and both a comparison with it and a rating give a score, so Figure 3figure 3 groups the two. Its colours show that many methods can work with or without a reference.

A grid with three columns, a score, pairwise comparison and error annotation, and three rows, who or what judges; each box is coloured by whether the method needs a reference translation, can work with or without one, or works without. Automatic metrics: a score, in two boxes, BLEU, chrF and BERTScore, which measure the match with the reference and need one, and COMET, which predicts the score people would give, with or without a reference; error annotation, xCOMET, which marks error spans, with or without. A large language model as judge: a score, GEMBA, a score per segment, with or without; error annotation, GEMBA-MQM, error spans with category and severity, without a reference. People: a score, direct assessment, a score per segment, and pairwise comparison, the better of two translations, both with or without a reference; error annotation, MQM and ESA, without a reference. Two boxes have a dashed border: a metric and a language model choosing the better of two translations, both with or without a reference. — Figure 3. The ways of evaluating machine translation, by who or what judges, coloured by the use of a reference translation. The named metrics and protocols are examples, not complete lists. The dashed combinations exist but are less common in current machine translation evaluation, where people annotate errors and automatic methods give scores (Kocmi et al., 2025); this chapter does not cover them.

The rows of the figure are the three families of methods:

Automatic metrics: a program computes the score, and the same input always gets the same score.
A large language model as judge: a general model is instructed to judge the translation.
People: raters judge the translation themselves.

Automatic metrics

Automatic metrics differ in what they compare. There are three main kinds:

surface metrics count the words or characters that the output shares with the reference, for instance BLEU (Papineni et al., 2002) and chrF (Popović, 2015);
semantic metrics compare the meaning of the output and the reference through contextual embeddings, for instance BERTScore (Zhang et al., 2020);
learned metrics are trained on human judgements to predict the score a person would give, for instance COMET (Rei et al., 2020); some work without a reference, which is called quality estimation.

A metric is a system too, and it is evaluated against people: its scores are compared with human judgements of the same translations, both when it ranks whole systems and when it scores single sentences. WMT, the Conference on Machine Translation, runs a shared task of this kind every year. Two studies show how the results have changed:

In 2021, on the largest collection of human judgements then available, learned metrics ranked pairs of systems more like people than surface metrics did (Kocmi et al., 2021).
In 2025, large language models used as judges were the best at ranking whole systems. On single sentences, simple metrics that compare the output with a reference, surface ones such as chrF and embedding-based ones such as BERTScore, were among the best, ahead of most learned metrics and model judges; only one model judge and one learned metric equalled or exceeded them. The organizers call this result surprising (Lavie et al., 2025).

Large language models as judges

A large language model used as a judge receives the source, the output, the reference if there is one, and an instruction saying what to judge and in what form to answer (Kocmi & Federmann, 2023a). It can give a score, a list of errors with their category and severity, or both.

Model judges rank whole systems well, but most score single sentences less reliably, as the 2025 results above show.
The judgement changes with the wording of the prompt and with the model, and the same model asked twice can answer differently (see also the A large language model as judge page) (voir aussi la page Un grand modèle de langue comme juge).

People

People give a score, choose the better of two translations (Jurafsky & Martin, 2026), or annotate the errors with a scheme, for instance MQM (Freitag et al., 2021) or ESA (Kocmi et al., 2024a). Their judgement is the standard the other methods are measured against, with two limits:

Raters disagree, since a source can be ambiguous and raters know different things and use scales differently; evaluations remove outlier raters and normalize their scores (Jurafsky & Martin, 2026).
Who judges changes the result: professional translators and crowd workers ranked the same systems differently (Freitag et al., 2021) (see also the Human evaluation: DA, MQM and ESA page) (voir aussi la page L'évaluation humaine : DA, MQM et ESA).

Comparing the methods

The table below compares the three families on eight criteria, with the automatic metrics split in two. A reference translation for every test sentence is expensive, and for some language pairs and domains there is none, so the need for a reference often decides which methods can be used at all.

	Surface metrics	Semantic and learned metrics	Large language model as judge	People
Reference needed	yes	yes for most; quality estimation works without	optional	no for error annotation; optional for scores and comparisons
Basis of the judgement	shared words or characters	closeness in meaning, or a predicted human score	whatever the prompt asks for	adequacy, fluency, errors
Detail of the result	one score per sentence or test set	one score; some metrics also mark error spans	a score, a list of errors, or both	errors with type and severity, or a score
Agreement with people	below learned metrics in 2021 (Kocmi et al., 2021); among the best on single sentences in 2025 (Lavie et al., 2025)	above surface metrics in 2021; on single sentences in 2025, BERTScore among the best, most learned metrics behind	the best at ranking systems in 2025, less reliable per sentence	the standard the others are measured against, with disagreement between people
Explainability	yes: the count can be redone by hand	no: a model’s output	partly: the model gives reasons, but they are generated too	yes
Reuse on new output	yes, at no cost, once the reference exists	yes, at the cost of running the model	yes, but another model or prompt gives other scores	no: every new output needs new judgements
Cost	negligible	a model to run	a model to call, per sentence	high: time and expertise
Robustness across languages, domains and paraphrases	sensitive to tokenization and morphology	depends on the languages the model was trained on	sensitive to the prompt, with known biases	depends on the raters and the instructions

The families of methods compared on eight criteria.

Scores are not comparable across test sets or language pairs, even from the same metric: a score depends on the texts and the language pair as well as on the translation (Kocmi et al., 2021, 2025) (see also the Reading the scores page) (voir aussi la page Lire les scores).

Purposes of an evaluation

Which method fits depends partly on what the evaluation is for. Machine translation is evaluated for several purposes:

to compare systems, as WMT does every year, and as a company does before choosing a system;
to guide development, where a fast automatic score shows whether a change helped;
to find errors, which needs more than a score: where the errors are, of what kind, and how serious;
to decide what the output can be used for: good enough to understand a web page is not always good enough to publish, and the question is answered mainly by reading the output.

Sources

Freitag, M., Foster, G., Grangier, D., Ratnakar, V., Tan, Q., & Macherey, W. (2021). Experts, Errors, and Context: A Large-Scale Study of Human Evaluation for Machine Translation. Transactions of the Association for Computational Linguistics, 9, 1460–1474. https://doi.org/10.1162/tacl_a_00437
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Kocmi, T., & Federmann, C. (2023a). GEMBA-MQM: Detecting Translation Quality Error Spans with GPT-4. Proceedings of the Eighth Conference on Machine Translation (WMT 2023), 768–775. https://doi.org/10.18653/v1/2023.wmt-1.64
Kocmi, T., Artemova, E., Avramidis, E., Bawden, R., Bojar, O., Dranch, K., et al. (2025). Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 355–413. https://doi.org/10.18653/v1/2025.wmt-1.22
Kocmi, T., Federmann, C., Grundkiewicz, R., Junczys-Dowmunt, M., Matsushita, H., & Menezes, A. (2021). To Ship or Not to Ship: An Extensive Evaluation of Automatic Metrics for Machine Translation. Proceedings of the Sixth Conference on Machine Translation (WMT 2021), 478–494. https://aclanthology.org/2021.wmt-1.57/
Kocmi, T., Zouhar, V., Avramidis, E., Grundkiewicz, R., Karpinska, M., Popović, M., et al. (2024a). Error Span Annotation: A Balanced Approach for Human Evaluation of Machine Translation. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1440–1453. https://doi.org/10.18653/v1/2024.wmt-1.131
Lavie, A., Hanneman, G., Agrawal, S., Kanojia, D., Lo, C., Zouhar, V., et al. (2025). Findings of the WMT25 Shared Task on Automated Translation Evaluation Systems: Linguistic Diversity is Challenging and References Still Help. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 436–483. https://doi.org/10.18653/v1/2025.wmt-1.24
Papineni, K., Roukos, S., Ward, T., & Zhu, W.-J. (2002). BLEU: a method for automatic evaluation of machine translation. Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL 2002), Philadelphia, 311–318. https://doi.org/10.3115/1073083.1073135
Popović, M. (2015). chrF: character n-gram F-score for automatic MT evaluation. Proceedings of the Tenth Workshop on Statistical Machine Translation (WMT 2015), Lisbon, 392–395. https://doi.org/10.18653/v1/W15-3049
Rei, R., Stewart, C., Farinha, A. C., & Lavie, A. (2020). COMET: A Neural Framework for MT Evaluation. Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP 2020), 2685–2702. https://doi.org/10.18653/v1/2020.emnlp-main.213
Zhang, T., Kishore, V., Wu, F., Weinberger, K. Q., & Artzi, Y. (2020). BERTScore: Evaluating Text Generation with BERT. Eighth International Conference on Learning Representations (ICLR 2020). http://arxiv.org/abs/1904.09675

Les méthodes d’évaluation d’une traduction

Les quatre façons d’évaluer un système, quel qu’il soit (comparaison avec un étalon de référence, comparaison par paires, notation et annotation des erreurs), sont expliquées dans le chapitre sur les fondements (see also the Ways of evaluating page) (voir aussi la page Les façons d'évaluer). En traduction, l’étalon de référence est une traduction de référence, et la comparaison avec celle-ci comme la notation donnent un score : la

Figure 3figure 3

réunit donc les deux. Ses couleurs montrent que de nombreuses méthodes peuvent fonctionner avec ou sans référence.

Une grille de trois colonnes, un score, la comparaison par paires et l'annotation des erreurs, et de trois lignes, qui ou quoi juge ; chaque case est colorée selon que la méthode exige une traduction de référence, peut fonctionner avec ou sans, ou fonctionne sans. Métriques automatiques : un score, dans deux cases, BLEU, chrF et BERTScore, qui mesurent la correspondance avec la référence et en exigent une, et COMET, qui prédit le score que donneraient des personnes, avec ou sans référence ; annotation des erreurs, xCOMET, qui marque des passages erronés, avec ou sans. Un grand modèle de langue comme juge : un score, GEMBA, un score par segment, avec ou sans ; annotation des erreurs, GEMBA-MQM, des passages erronés avec catégorie et gravité, sans référence. Des personnes : un score, l'évaluation directe, un score par segment, et la comparaison par paires, la meilleure de deux traductions, toutes deux avec ou sans référence ; annotation des erreurs, MQM et ESA, sans référence. Deux cases ont une bordure en pointillé : une métrique et un modèle de langue qui choisissent la meilleure de deux traductions, toutes deux avec ou sans référence. — Figure 3. Les façons d'évaluer la traduction automatique, selon qui ou quoi juge, colorées selon l'emploi d'une traduction de référence. Les métriques et les protocoles nommés sont des exemples, non des listes complètes. Les combinaisons en pointillé existent, mais sont moins courantes dans l'évaluation actuelle de la traduction automatique, où les personnes annotent les erreurs et les méthodes automatiques donnent des scores (Kocmi et al., 2025) ; ce chapitre ne les traite pas.

Les lignes de la figure correspondent aux trois familles de méthodes :

Les métriques automatiques : un programme calcule le score, et une même entrée reçoit toujours le même score.
Un grand modèle de langue comme juge : un modèle généraliste reçoit la consigne de juger la traduction.
Des personnes : des évaluateurs jugent eux-mêmes la traduction.

Les métriques automatiques

Les métriques automatiques diffèrent par ce qu’elles comparent. On en distingue trois grands types :

les métriques de surface comptent les mots ou les caractères que la sortie partage avec la référence, par exemple BLEU (Papineni et al., 2002) et chrF (Popović, 2015) ;
les métriques sémantiques comparent le sens de la sortie et de la référence au moyen de plongements contextuels, par exemple BERTScore (Zhang et al., 2020) ;
les métriques apprises sont entraînées sur des jugements humains pour prédire le score qu’une personne donnerait, par exemple COMET (Rei et al., 2020) ; certaines fonctionnent sans référence, ce qu’on appelle l’estimation de la qualité.

Une métrique est elle aussi un système, et elle est évaluée par rapport à des personnes : ses scores sont comparés avec des jugements humains portant sur les mêmes traductions, à la fois quand elle classe des systèmes entiers et quand elle note des phrases isolées. WMT, la Conference on Machine Translation, organise chaque année une tâche partagée de ce type. Deux études montrent comment les résultats ont évolué :

En 2021, sur la plus grande collection de jugements humains alors disponible, les métriques apprises classaient des paires de systèmes plus comme les personnes que les métriques de surface (Kocmi et al., 2021).
En 2025, les grands modèles de langue employés comme juges étaient les meilleurs pour classer des systèmes entiers. Sur des phrases isolées, des métriques simples qui comparent la sortie avec une référence, de surface comme chrF ou fondées sur des plongements comme BERTScore, comptaient parmi les meilleures, devant la plupart des métriques apprises et des modèles juges ; seuls un modèle juge et une métrique apprise les égalaient ou les dépassaient. Les organisateurs qualifient ce résultat de surprenant (Lavie et al., 2025).

Les grands modèles de langue comme juges

Un grand modèle de langue employé comme juge reçoit la source, la sortie, la référence s’il y en a une, et une consigne qui dit quoi juger et sous quelle forme répondre (Kocmi & Federmann, 2023a). Il peut donner un score, une liste d’erreurs avec leur catégorie et leur gravité, ou les deux.

Les modèles juges classent bien des systèmes entiers, mais la plupart notent les phrases isolées de façon moins fiable, comme le montrent les résultats de 2025 ci-dessus.
Le jugement change avec la formulation de la requête et avec le modèle, et un même modèle interrogé deux fois peut répondre différemment (see also the A large language model as judge page) (voir aussi la page Un grand modèle de langue comme juge).

Les personnes

Les personnes donnent un score, choisissent la meilleure de deux traductions (Jurafsky & Martin, 2026) ou annotent les erreurs selon un système de classement, par exemple MQM (Freitag et al., 2021) ou ESA (Kocmi et al., 2024a). Leur jugement est la norme à laquelle les autres méthodes sont mesurées, avec deux limites :

Les évaluateurs ne sont pas toujours d’accord, parce qu’une source peut être ambiguë et que les évaluateurs n’ont pas les mêmes connaissances ni la même façon d’utiliser une échelle ; les évaluations écartent les évaluateurs aberrants et normalisent leurs scores (Jurafsky & Martin, 2026).
Le choix des évaluateurs change le résultat : des traducteurs professionnels et des travailleurs de la production participative ont classé les mêmes systèmes différemment (Freitag et al., 2021) (see also the Human evaluation: DA, MQM and ESA page) (voir aussi la page L'évaluation humaine : DA, MQM et ESA).

Les méthodes comparées

Le tableau ci-dessous compare les trois familles selon huit critères, en séparant les métriques automatiques en deux. Une traduction de référence pour chaque phrase de test coûte cher, et pour certaines paires de langues et certains domaines il n’en existe pas : la nécessité d’une référence décide donc souvent des méthodes qui peuvent être employées.

	Métriques de surface	Métriques sémantiques et apprises	Grand modèle de langue comme juge	Personnes
Référence nécessaire	oui	oui pour la plupart ; l’estimation de la qualité s’en passe	facultative	non pour l’annotation des erreurs ; facultative pour les scores et les comparaisons
Fondement du jugement	mots ou caractères partagés	proximité de sens, ou score humain prédit	ce que demande la requête	adéquation, fluidité, erreurs
Précision du résultat	un score par phrase ou par jeu de test	un score ; certaines métriques marquent aussi des passages erronés	un score, une liste d’erreurs, ou les deux	des erreurs avec type et gravité, ou un score
Accord avec les personnes	inférieur aux métriques apprises en 2021 (Kocmi et al., 2021) ; parmi les meilleurs sur des phrases isolées en 2025 (Lavie et al., 2025)	supérieur aux métriques de surface en 2021 ; sur des phrases isolées en 2025, BERTScore parmi les meilleures, la plupart des métriques apprises derrière	le meilleur pour classer des systèmes en 2025, moins fiable par phrase	la norme à laquelle les autres sont mesurées, avec des désaccords entre personnes
Explicabilité	oui : le comptage peut être refait à la main	non : c’est la sortie d’un modèle	en partie : le modèle donne des raisons, mais elles sont générées elles aussi	oui
Réemploi sur une nouvelle sortie	oui, sans frais, une fois la référence disponible	oui, au prix de l’exécution du modèle	oui, mais un autre modèle ou une autre requête donne d’autres scores	non : chaque nouvelle sortie demande de nouveaux jugements
Coût	négligeable	un modèle à exécuter	un modèle à interroger, phrase par phrase	élevé : du temps et de l’expertise
Robustesse selon les langues, les domaines et les paraphrases	sensibles à la segmentation en unités lexicales et à la morphologie	dépend des langues sur lesquelles le modèle a été entraîné	sensible à la requête, avec des biais connus	dépend des évaluateurs et des consignes

Les familles de méthodes comparées selon huit critères.

Les scores ne sont pas comparables d’un jeu de test ou d’une paire de langues à l’autre, même pour une même métrique : un score dépend des textes et de la paire de langues autant que de la traduction (Kocmi et al., 2021, 2025) (see also the Reading the scores page) (voir aussi la page Lire les scores).

Les buts d’une évaluation

La méthode qui convient dépend en partie de ce à quoi sert l’évaluation. La traduction automatique est évaluée à plusieurs fins :

pour comparer des systèmes, comme le fait WMT chaque année, et comme le fait une entreprise avant de choisir un système ;
pour guider le développement, où un score automatique rapide montre si une modification a aidé ;
pour trouver les erreurs, ce qui demande plus qu’un score : où sont les erreurs, de quel type, et quelle est leur gravité ;
pour décider de l’usage possible de la sortie : assez bonne pour comprendre une page Web ne veut pas toujours dire assez bonne pour être publiée, et la question se tranche surtout en lisant la sortie.

Sources

Freitag, M., Foster, G., Grangier, D., Ratnakar, V., Tan, Q., & Macherey, W. (2021). Experts, Errors, and Context: A Large-Scale Study of Human Evaluation for Machine Translation. Transactions of the Association for Computational Linguistics, 9, 1460–1474. https://doi.org/10.1162/tacl_a_00437
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Kocmi, T., & Federmann, C. (2023a). GEMBA-MQM: Detecting Translation Quality Error Spans with GPT-4. Proceedings of the Eighth Conference on Machine Translation (WMT 2023), 768–775. https://doi.org/10.18653/v1/2023.wmt-1.64
Kocmi, T., Artemova, E., Avramidis, E., Bawden, R., Bojar, O., Dranch, K., et al. (2025). Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 355–413. https://doi.org/10.18653/v1/2025.wmt-1.22
Kocmi, T., Federmann, C., Grundkiewicz, R., Junczys-Dowmunt, M., Matsushita, H., & Menezes, A. (2021). To Ship or Not to Ship: An Extensive Evaluation of Automatic Metrics for Machine Translation. Proceedings of the Sixth Conference on Machine Translation (WMT 2021), 478–494. https://aclanthology.org/2021.wmt-1.57/
Kocmi, T., Zouhar, V., Avramidis, E., Grundkiewicz, R., Karpinska, M., Popović, M., et al. (2024a). Error Span Annotation: A Balanced Approach for Human Evaluation of Machine Translation. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1440–1453. https://doi.org/10.18653/v1/2024.wmt-1.131
Lavie, A., Hanneman, G., Agrawal, S., Kanojia, D., Lo, C., Zouhar, V., et al. (2025). Findings of the WMT25 Shared Task on Automated Translation Evaluation Systems: Linguistic Diversity is Challenging and References Still Help. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 436–483. https://doi.org/10.18653/v1/2025.wmt-1.24
Papineni, K., Roukos, S., Ward, T., & Zhu, W.-J. (2002). BLEU: a method for automatic evaluation of machine translation. Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL 2002), Philadelphia, 311–318. https://doi.org/10.3115/1073083.1073135
Popović, M. (2015). chrF: character n-gram F-score for automatic MT evaluation. Proceedings of the Tenth Workshop on Statistical Machine Translation (WMT 2015), Lisbon, 392–395. https://doi.org/10.18653/v1/W15-3049
Rei, R., Stewart, C., Farinha, A. C., & Lavie, A. (2020). COMET: A Neural Framework for MT Evaluation. Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP 2020), 2685–2702. https://doi.org/10.18653/v1/2020.emnlp-main.213
Zhang, T., Kishore, V., Wu, F., Weinberger, K. Q., & Artzi, Y. (2020). BERTScore: Evaluating Text Generation with BERT. Eighth International Conference on Learning Representations (ICLR 2020). http://arxiv.org/abs/1904.09675

BLEUBLEU

Counting shared n-grams

BLEU, for bilingual evaluation understudy, was proposed by Papineni et al. (2002) on one intuition: a good machine translation shares many words and phrases with a translation by a person. It counts the n-grams of the output, its single words, pairs of consecutive words, triples and quadruples, and asks what share of them also occur in the reference. That share is a precision, the same measure as for a system that extracts terms or names, with the reference in the role of the gold standard (see also the Precision, recall and F1 page) (voir aussi la page Précision, rappel et score F1): BLEU computes one for each length of n-gram. Figure 4figure 4 computes BLEU on a short pair.

Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.

Figure 4. BLEU computed by hand for one output against one reference.

The method has two further details (Papineni et al., 2002).

The counts are clipped. A word of the output counts only as many times as it occurs in the reference, which is why Papineni et al. (2002) speak of a modified n-gram precision. Without this, the output the the the the the the the would have a perfect single-word precision against The cat is on the mat; with it, the precision is 2/7, since the occurs twice in the reference.
A short output is penalized. Precision says nothing about what the output left out, so an output of four words that occur in the reference in the same order would have perfect precisions. Instead of recall, BLEU multiplies the score by a brevity penalty when the output is shorter than the reference. The penalty is e^{1 − r/c}, where r is the length of the reference and c that of the output: Le chat est sur has 4 words against 6 and scores 61 and not 100.

The geometric mean

Numbers can be averaged in more than one way:

the arithmetic mean, the usual average, adds them and divides by how many there are;
the geometric mean, which BLEU uses, multiplies them and takes the root, the fourth root for four numbers;
the harmonic mean, which the F1 score uses for precision and recall, divides how many there are by the sum of their inverses.

The three give the same result when the numbers are equal. When they are not, the geometric and the harmonic mean are pulled towards the smallest numbers, and both are zero as soon as one number is zero. The table below applies the three to the four precisions of Figure 4figure 4.

Mean	Computed as	Result
arithmetic	(5/6 + 3/5 + 2/4 + 1/3) / 4	0.57
geometric	⁴√(5/6 × 3/5 × 2/4 × 1/3)	0.54
harmonic	4 / (6/5 + 5/3 + 4/2 + 3/1)	0.51

Three means of the same four precisions.

Papineni et al. (2002) chose the geometric mean because the precisions fall steeply from single words to quadruples, and in their tests it agreed slightly better with human judgements than the arithmetic mean. They also note its cost: one precision of zero makes the whole score zero.

An output shorter than the reference

In Figure 5figure 5, the output differs from the reference in two places, un for le and the missing du salon, and it is shorter, so the brevity penalty applies.

Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.

Figure 5. BLEU computed by hand for an output shorter than its reference.

The missing du salon lowers none of the four precisions, since a precision only looks at what the output contains. The brevity penalty is the only part of BLEU that registers what the output leaves out.

BLEU on a test set and on a sentence

BLEU was designed for a whole test set: the n-gram counts are added up over all its sentences before the precisions are computed, and the brevity penalty compares the total lengths (Papineni et al., 2002). On a single sentence the method often breaks down, because one precision of zero makes the geometric mean zero (Chen & Cherry, 2014). The output Le félin se trouve sur le tapis shares four words and a few pairs with the reference, but not one quadruple, so its sentence BLEU is exactly 0.

To avoid this, tools that give a BLEU score per sentence apply a correction, called smoothing: a precision of zero gets a small value instead, so that a sentence with no shared quadruple no longer scores zero. Several such corrections exist, and they give different scores for the same sentence (Chen & Cherry, 2014), so a BLEU score for one sentence is only a rough indication.

Weaknesses of BLEU

BLEU compares the exact words of the output with those of the reference (Jurafsky & Martin, 2026), which has five consequences:

Synonyms and paraphrases. Félin for chat loses 46 points in the figure. A translation that says the same thing in other words is scored lower.
Errors of meaning. Le chien est sur le tapis names the wrong animal and scores 54, exactly like Le félin est sur le tapis: BLEU counts how many words differ from the reference, not what the difference does to the meaning.
Word order. Sur le tapis est le chat contains every word of the reference and scores 0 at sentence level: the order is only rewarded through the longer n-grams, which the new order has broken.
Inflection. Les chats sont sur le tapis shares three words of six with the reference and scores 0 for the same reason; BLEU works less well for languages with complex morphology (Jurafsky & Martin, 2026).
Tokenization. The score depends on how the text was split into words, so two BLEU scores computed with different tokenizers may not be comparable: Post (2018) measured differences of up to 1.8 points between common configurations on the same output. He proposed sacreBLEU, a tool that fixes the tokenization, and Jurafsky and Martin (2026) recommend such a tool whenever BLEU is used.

BLEU was long the common metric, and it is still sometimes reported, in particular for translation into English (Jurafsky & Martin, 2026). Kocmi et al. (2021) advise against using it at all: it is “inferior to other metrics, and it has been overused” (see also the Ways of evaluating a translation page) (voir aussi la page Les façons d'évaluer une traduction).

Interpreting a BLEU score

A BLEU score runs from 0 to 1 and is usually reported from 0 to 100. The higher the score, the more of its n-grams the output shares with the reference, so higher is better. The score is not a percentage of correct words, though, and there is no fixed scale on which a given value means good or bad:

A good translation scores far below 100. A translation by a person rarely matches a reference word for word, so it scores low as well: in the paper that introduced BLEU, one human translation of Chinese news into English scored 35 when compared with four reference translations, and 26 when compared with two (Papineni et al., 2002).
The number of references changes the score, as those two figures show: with more references, an n-gram of the output has more chances to occur in one of them.
Scores from different languages are not comparable. In a language with rich morphology, more of the words differ from the reference by their form alone.

A BLEU score can therefore be compared only with another BLEU score computed on the same test set, against the same references and with the same tool, and even then a small difference is uncertain (see also the Reading the scores page) (voir aussi la page Lire les scores).

Sources

Chen, B., & Cherry, C. (2014). A Systematic Comparison of Smoothing Techniques for Sentence-Level BLEU. Proceedings of the Ninth Workshop on Statistical Machine Translation, 362–367. https://doi.org/10.3115/v1/W14-3346
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Kocmi, T., Federmann, C., Grundkiewicz, R., Junczys-Dowmunt, M., Matsushita, H., & Menezes, A. (2021). To Ship or Not to Ship: An Extensive Evaluation of Automatic Metrics for Machine Translation. Proceedings of the Sixth Conference on Machine Translation (WMT 2021), 478–494. https://aclanthology.org/2021.wmt-1.57/
Papineni, K., Roukos, S., Ward, T., & Zhu, W.-J. (2002). BLEU: a method for automatic evaluation of machine translation. Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL 2002), Philadelphia, 311–318. https://doi.org/10.3115/1073083.1073135
Post, M. (2018). A Call for Clarity in Reporting BLEU Scores. Proceedings of the Third Conference on Machine Translation: Research Papers (WMT 2018), 186–191. https://doi.org/10.18653/v1/W18-6319

Le comptage des n-grammes partagés

BLEU, pour bilingual evaluation understudy, a été proposé par Papineni et al. (2002) à partir d’une intuition : une bonne traduction automatique partage beaucoup de mots et d’expressions avec une traduction faite par une personne. La métrique compte les n-grammes de la sortie, c’est-à-dire ses mots isolés, ses paires de mots consécutifs, ses triplets et ses quadruplets, et calcule la proportion de ceux qui figurent aussi dans la référence. Cette proportion est une précision, la même mesure que pour un système qui extrait des termes ou des noms, la référence tenant le rôle de l’étalon de référence (see also the Precision, recall and F1 page) (voir aussi la page Précision, rappel et score F1) : BLEU en calcule une pour chaque longueur de n-gramme. La Figure 4figure 4 calcule BLEU sur une courte paire de phrases.

Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.

Figure 4. BLEU calculé à la main pour une sortie par rapport à une référence.

La méthode comporte deux autres détails (Papineni et al., 2002).

Les comptes sont plafonnés. Un mot de la sortie ne compte qu’autant de fois qu’il apparaît dans la référence, d’où le nom de précision modifiée des n-grammes que lui donnent Papineni et al. (2002). Sans ce plafond, la sortie the the the the the the the aurait une précision parfaite pour les mots isolés par rapport à The cat is on the mat ; avec lui, la précision est de 2/7, puisque the apparaît deux fois dans la référence.
Une sortie courte est pénalisée. La précision ne dit rien de ce que la sortie a laissé de côté : une sortie de quatre mots qui figurent dans la référence, dans le même ordre, aurait des précisions parfaites. Au lieu du rappel, BLEU multiplie le score par une pénalité de brièveté quand la sortie est plus courte que la référence. La pénalité vaut e^{1 − r/c}, où r est la longueur de la référence et c celle de la sortie : Le chat est sur compte 4 mots contre 6 et obtient 61, et non 100.

La moyenne géométrique

Il y a plusieurs façons de faire la moyenne de nombres :

la moyenne arithmétique, la moyenne habituelle, les additionne et divise par leur nombre ;
la moyenne géométrique, celle de BLEU, les multiplie et en prend la racine, la racine quatrième pour quatre nombres ;
la moyenne harmonique, celle qu’emploie le score F1 pour la précision et le rappel, divise leur nombre par la somme de leurs inverses.

Les trois donnent le même résultat quand les nombres sont égaux. Sinon, la moyenne géométrique et la moyenne harmonique sont tirées vers les plus petits nombres, et toutes deux valent zéro dès qu’un des nombres vaut zéro. Le tableau ci-dessous applique les trois aux quatre précisions de la Figure 4figure 4.

Moyenne	Calcul	Résultat
arithmétique	(5/6 + 3/5 + 2/4 + 1/3) / 4	0,57
géométrique	⁴√(5/6 × 3/5 × 2/4 × 1/3)	0,54
harmonique	4 / (6/5 + 5/3 + 4/2 + 3/1)	0,51

Trois moyennes des mêmes quatre précisions.

Papineni et al. (2002) ont choisi la moyenne géométrique parce que les précisions chutent fortement des mots isolés aux quadruplets, et que, dans leurs essais, elle s’accordait un peu mieux avec les jugements humains que la moyenne arithmétique. Ils en notent aussi le prix : une seule précision nulle rend tout le score nul.

Une sortie plus courte que la référence

Dans la Figure 5figure 5, la sortie diffère de la référence en deux endroits, un pour le et l’absence de du salon, et elle est plus courte : la pénalité de brièveté s’applique.

Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.

Figure 5. BLEU calculé à la main pour une sortie plus courte que sa référence.

L’absence de du salon ne fait baisser aucune des quatre précisions, puisqu’une précision ne regarde que ce que contient la sortie. La pénalité de brièveté est la seule partie de BLEU qui enregistre ce que la sortie laisse de côté.

BLEU sur un jeu de test et sur une phrase

BLEU a été conçu pour tout un jeu de test : les comptes de n-grammes sont additionnés sur toutes ses phrases avant le calcul des précisions, et la pénalité de brièveté compare les longueurs totales (Papineni et al., 2002). Sur une phrase isolée, la méthode échoue souvent, parce qu’une seule précision nulle rend la moyenne géométrique nulle (Chen & Cherry, 2014). La sortie Le félin se trouve sur le tapis partage quatre mots et quelques paires avec la référence, mais pas un seul quadruplet : son BLEU de phrase vaut exactement 0.

Pour l’éviter, les outils qui donnent un score BLEU par phrase appliquent une correction, appelée lissage : une précision nulle reçoit à la place une petite valeur, si bien qu’une phrase sans quadruplet partagé n’obtient plus zéro. Il existe plusieurs corrections de ce type, et elles donnent des scores différents pour la même phrase (Chen & Cherry, 2014) : un score BLEU pour une seule phrase n’est donc qu’une indication approximative.

Les faiblesses de BLEU

BLEU compare les mots exacts de la sortie avec ceux de la référence (Jurafsky & Martin, 2026), ce qui a cinq conséquences :

Les synonymes et les paraphrases. Félin pour chat fait perdre 46 points dans la figure. Une traduction qui dit la même chose en d’autres mots obtient un score plus bas.
Les erreurs de sens. Le chien est sur le tapis nomme le mauvais animal et obtient 54, exactement comme Le félin est sur le tapis : BLEU compte combien de mots diffèrent de la référence, et non ce que la différence fait au sens.
L’ordre des mots. Sur le tapis est le chat contient tous les mots de la référence et obtient 0 au niveau de la phrase : l’ordre n’est récompensé que par les n-grammes plus longs, que le nouvel ordre a brisés.
La flexion. Les chats sont sur le tapis partage trois mots sur six avec la référence et obtient 0 pour la même raison ; BLEU fonctionne moins bien pour les langues à morphologie complexe (Jurafsky & Martin, 2026).
La segmentation en unités lexicales. Le score dépend de la façon dont le texte a été découpé en mots : deux scores BLEU calculés avec des segmenteurs différents ne sont pas forcément comparables. Post (2018) a mesuré des écarts allant jusqu’à 1,8 point entre des configurations courantes, sur la même sortie. Il a proposé sacreBLEU, un outil qui fixe la segmentation, et Jurafsky et Martin (2026) recommandent un tel outil chaque fois que BLEU est employé.

BLEU a longtemps été la métrique courante, et il est encore parfois présenté, en particulier pour la traduction vers l’anglais (Jurafsky & Martin, 2026). Kocmi et al. (2021) déconseillent de l’employer : « inferior to other metrics, and it has been overused » [ma traduction : « inférieur aux autres métriques, et surutilisé »] (see also the Ways of evaluating a translation page) (voir aussi la page Les façons d'évaluer une traduction).

Interpréter un score BLEU

Un score BLEU va de 0 à 1 et est habituellement présenté de 0 à 100. Plus le score est élevé, plus la sortie partage de n-grammes avec la référence : un score plus élevé est donc meilleur. Le score n’est cependant pas un pourcentage de mots corrects, et aucune échelle fixe ne dit qu’une valeur donnée est bonne ou mauvaise :

Une bonne traduction obtient bien moins de 100. Une traduction faite par une personne correspond rarement mot pour mot à une référence, si bien qu’elle obtient elle aussi un score bas : dans l’article qui a présenté BLEU, une traduction humaine d’actualités chinoises vers l’anglais obtenait 35 par rapport à quatre traductions de référence, et 26 par rapport à deux (Papineni et al., 2002).
Le nombre de références change le score, comme le montrent ces deux chiffres : avec plus de références, un n-gramme de la sortie a plus de chances de figurer dans l’une d’elles.
Les scores de langues différentes ne sont pas comparables. Dans une langue à morphologie riche, davantage de mots diffèrent de la référence par leur seule forme.

Un score BLEU ne peut donc être comparé qu’à un autre score BLEU calculé sur le même jeu de test, par rapport aux mêmes références et avec le même outil, et même alors une petite différence reste incertaine (see also the Reading the scores page) (voir aussi la page Lire les scores).

Sources

Chen, B., & Cherry, C. (2014). A Systematic Comparison of Smoothing Techniques for Sentence-Level BLEU. Proceedings of the Ninth Workshop on Statistical Machine Translation, 362–367. https://doi.org/10.3115/v1/W14-3346
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Kocmi, T., Federmann, C., Grundkiewicz, R., Junczys-Dowmunt, M., Matsushita, H., & Menezes, A. (2021). To Ship or Not to Ship: An Extensive Evaluation of Automatic Metrics for Machine Translation. Proceedings of the Sixth Conference on Machine Translation (WMT 2021), 478–494. https://aclanthology.org/2021.wmt-1.57/
Papineni, K., Roukos, S., Ward, T., & Zhu, W.-J. (2002). BLEU: a method for automatic evaluation of machine translation. Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL 2002), Philadelphia, 311–318. https://doi.org/10.3115/1073083.1073135
Post, M. (2018). A Call for Clarity in Reporting BLEU Scores. Proceedings of the Third Conference on Machine Translation: Research Papers (WMT 2018), 186–191. https://doi.org/10.18653/v1/W18-6319

chrFchrF

Counting shared characters

chrF, for character F-score, was proposed by Popović (2015) as a simple metric, independent of language and tokenization, that takes some morphological variation into account. It counts n-grams of characters rather than of words, from single characters up to sequences of six, with the spaces removed. And it counts in both directions. Precision is the share of the output’s character n-grams that are in the reference; recall is the share of the reference’s character n-grams that are in the output. The two are combined into an F-score, in which recall usually weighs twice as much as precision (Jurafsky & Martin, 2026). Figure 6figure 6 computes it on the pair of the BLEU page.

Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.

Figure 6. chrF computed by hand for the same output and reference as on the BLEU page.

The usual setting, written chrF2, uses character n-grams up to length 6 and the weight of 2 on recall. Of the lengths Popović (2015) tested (4, 6 and 10), 6 agreed best with human rankings; of the two weights she compared, 1 and 3, the weight of 3 agreed better, and she chose it as a preliminary value. Jurafsky and Martin (2026) give 2 as the common choice. A variant, chrF++, adds word unigrams and bigrams to the count (Popović, 2017).

The effect of counting characters

On the pair in the figure, chrF gives 65 where BLEU gave 54: a synonym still costs points, since félin and chat share no characters, but the rest of the sentence still matches. In the table below, the difference between the two metrics is largest when the words differ only slightly, or only in their order.

Output	Difference	BLEU	chrF
Le félin est sur le tapis	one synonym	54	65
Les chats sont sur le tapis	plural	0	63
Sur le tapis est le chat	word order	0	71
Le félin se trouve sur le tapis	synonym and a paraphrase	0	48

Sentence-level BLEU and chrF for outputs against the reference Le chat est sur le tapis. Computed by hand on lowercased text; sentence BLEU without smoothing.

A plural, a verb ending or a compound written as one word changes a whole word for BLEU and a few characters for chrF, and BLEU works less well for languages with complex morphology (Jurafsky & Martin, 2026). Kocmi et al. (2021) also found chrF ranking relatively better among the metrics when the target language uses a non-Latin script, such as Arabic, Russian or Chinese, though they call for more analysis. Counting characters also makes chrF much less dependent on tokenization, so two chrF scores computed with the same settings are comparable where two BLEU scores may not be (Popović, 2015).

In other respects chrF has the limits of BLEU. It is a surface metric: it compares sequences of characters, not meanings, so a correct translation in other words still scores low, and “a large phrase that is moved around might barely change the chrF score” (Jurafsky & Martin, 2026), even when the move changes the meaning. It also needs a reference, with the limits that a single reference brings (see also the Many correct translations page) (voir aussi la page De nombreuses traductions correctes).

chrF in current use

Among the metrics that count words or characters, chrF agreed best with human judgements in the comparison of Kocmi et al. (2021), who recommend it where a trained metric cannot be used. The WMT organizers still rely on it in exactly that case: for the two lowest-resource languages of the 2025 task, Bhojpuri and Maasai, where the reliability of the main metrics had not been established, the automatic ranking used chrF++ alone (Kocmi et al., 2025). It is also easy to compute and to check by hand. At the 2025 metrics task, it was in the top three rank clusters for scoring single sentences, with other simple metrics that compare the output with a reference, ahead of most trained metrics (Lavie et al., 2025).

Sources

Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Kocmi, T., Artemova, E., Avramidis, E., Bawden, R., Bojar, O., Dranch, K., et al. (2025). Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 355–413. https://doi.org/10.18653/v1/2025.wmt-1.22
Kocmi, T., Federmann, C., Grundkiewicz, R., Junczys-Dowmunt, M., Matsushita, H., & Menezes, A. (2021). To Ship or Not to Ship: An Extensive Evaluation of Automatic Metrics for Machine Translation. Proceedings of the Sixth Conference on Machine Translation (WMT 2021), 478–494. https://aclanthology.org/2021.wmt-1.57/
Lavie, A., Hanneman, G., Agrawal, S., Kanojia, D., Lo, C., Zouhar, V., et al. (2025). Findings of the WMT25 Shared Task on Automated Translation Evaluation Systems: Linguistic Diversity is Challenging and References Still Help. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 436–483. https://doi.org/10.18653/v1/2025.wmt-1.24
Popović, M. (2015). chrF: character n-gram F-score for automatic MT evaluation. Proceedings of the Tenth Workshop on Statistical Machine Translation (WMT 2015), Lisbon, 392–395. https://doi.org/10.18653/v1/W15-3049
Popović, M. (2017). chrF++: words helping character n-grams. Proceedings of the Second Conference on Machine Translation (WMT 2017), Copenhagen, 612–618. https://doi.org/10.18653/v1/W17-4770

Le comptage des caractères partagés

chrF, pour character F-score, a été proposé par Popović (2015) comme une métrique simple, indépendante de la langue et de la segmentation en mots, qui tient compte d’une partie de la variation morphologique. Elle compte des n-grammes de caractères plutôt que de mots, des caractères isolés jusqu’aux suites de six, les espaces étant retirées. Et elle compte dans les deux sens. La précision est la proportion des n-grammes de caractères de la sortie qui figurent dans la référence ; le rappel est la proportion des n-grammes de caractères de la référence qui figurent dans la sortie. Les deux sont combinés en un score F, dans lequel le rappel pèse habituellement deux fois plus que la précision (Jurafsky & Martin, 2026). La Figure 6figure 6 le calcule sur la paire de phrases de la page sur BLEU.

Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.

Figure 6. chrF calculé à la main pour la même sortie et la même référence que sur la page sur BLEU.

Le réglage habituel, noté chrF2, emploie des n-grammes de caractères allant jusqu’à 6 et un poids de 2 pour le rappel. Des longueurs que Popović (2015) a testées (4, 6 et 10), 6 s’accordait le mieux avec les classements humains ; des deux poids qu’elle a comparés, 1 et 3, le poids de 3 s’accordait mieux, et elle l’a retenu comme valeur provisoire. Jurafsky et Martin (2026) donnent 2 comme le choix courant. Une variante, chrF++, ajoute au comptage les mots isolés et les paires de mots (Popović, 2017).

L’effet du comptage des caractères

Sur la paire de la figure, chrF donne 65 là où BLEU donnait 54 : un synonyme coûte encore des points, puisque félin et chat n’ont aucun caractère en commun, mais le reste de la phrase correspond toujours. Dans le tableau ci-dessous, l’écart entre les deux métriques est le plus grand quand les mots ne diffèrent que légèrement, ou seulement par leur ordre.

Sortie	Différence	BLEU	chrF
Le félin est sur le tapis	un synonyme	54	65
Les chats sont sur le tapis	le pluriel	0	63
Sur le tapis est le chat	l’ordre des mots	0	71
Le félin se trouve sur le tapis	un synonyme et une paraphrase	0	48

BLEU et chrF de phrase pour des sorties comparées avec la référence Le chat est sur le tapis. Calculés à la main sur le texte en minuscules ; BLEU de phrase sans lissage.

Un pluriel, une terminaison verbale ou un mot composé écrit d’un seul tenant change un mot entier pour BLEU et quelques caractères pour chrF, et BLEU fonctionne moins bien pour les langues à morphologie complexe (Jurafsky & Martin, 2026). Kocmi et al. (2021) ont aussi constaté que chrF se classait relativement mieux parmi les métriques quand la langue cible emploie une écriture non latine, comme l’arabe, le russe ou le chinois, tout en appelant à une analyse plus poussée. Compter des caractères rend aussi chrF beaucoup moins dépendant de la segmentation en unités lexicales : deux scores chrF calculés avec les mêmes réglages sont comparables là où deux scores BLEU peuvent ne pas l’être (Popović, 2015).

Pour le reste, chrF a les limites de BLEU. C’est une métrique de surface : elle compare des suites de caractères, et non des sens, si bien qu’une traduction correcte formulée autrement obtient toujours un score bas, et « a large phrase that is moved around might barely change the chrF score » [ma traduction : « un long segment déplacé peut à peine modifier le score chrF »] (Jurafsky & Martin, 2026), même quand le déplacement change le sens. Elle exige aussi une référence, avec les limites qu’apporte une référence unique (see also the Many correct translations page) (voir aussi la page De nombreuses traductions correctes).

chrF dans l’usage actuel

Parmi les métriques qui comptent des mots ou des caractères, chrF s’accordait le mieux avec les jugements humains dans la comparaison de Kocmi et al. (2021), qui le recommandent quand une métrique entraînée ne peut pas être employée. Les organisateurs de WMT y recourent encore précisément dans ce cas : pour les deux langues les moins dotées de la tâche de 2025, le bhojpuri et le massaï, pour lesquelles la fiabilité des métriques principales n’avait pas été établie, le classement automatique a employé chrF++ seul (Kocmi et al., 2025). chrF est aussi facile à calculer et à vérifier à la main. À la tâche d’évaluation des métriques de 2025, il figurait dans les trois premiers groupes de rangs pour noter des phrases isolées, avec d’autres métriques simples qui comparent la sortie avec une référence, devant la plupart des métriques entraînées (Lavie et al., 2025).

Sources

Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Kocmi, T., Artemova, E., Avramidis, E., Bawden, R., Bojar, O., Dranch, K., et al. (2025). Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 355–413. https://doi.org/10.18653/v1/2025.wmt-1.22
Kocmi, T., Federmann, C., Grundkiewicz, R., Junczys-Dowmunt, M., Matsushita, H., & Menezes, A. (2021). To Ship or Not to Ship: An Extensive Evaluation of Automatic Metrics for Machine Translation. Proceedings of the Sixth Conference on Machine Translation (WMT 2021), 478–494. https://aclanthology.org/2021.wmt-1.57/
Lavie, A., Hanneman, G., Agrawal, S., Kanojia, D., Lo, C., Zouhar, V., et al. (2025). Findings of the WMT25 Shared Task on Automated Translation Evaluation Systems: Linguistic Diversity is Challenging and References Still Help. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 436–483. https://doi.org/10.18653/v1/2025.wmt-1.24
Popović, M. (2015). chrF: character n-gram F-score for automatic MT evaluation. Proceedings of the Tenth Workshop on Statistical Machine Translation (WMT 2015), Lisbon, 392–395. https://doi.org/10.18653/v1/W15-3049
Popović, M. (2017). chrF++: words helping character n-grams. Proceedings of the Second Conference on Machine Translation (WMT 2017), Copenhagen, 612–618. https://doi.org/10.18653/v1/W17-4770

BLEU and chrF: demoBLEU et chrF : démonstration

The demonstration below counts the n-grams that a translation shares with a reference, in words as BLEU does and in characters as chrF does. It counts as the BLEU and chrF pages do (see also the BLEU page) (voir aussi la page BLEU): letters in lower case, punctuation as a word of its own, spaces removed for characters, and each n-gram counted only as many times as it occurs in the other text. The example is a French sentence with two reference translations of my own and eight machine translations of it, collected in 2026; any of the texts can also be edited.

SourceSource Le gouvernement a annoncé des mesures importantes concernant le télétravail, avec effet immédiat.

ReferenceRéférence OutputSortie

OutputSortie

ReferenceRéférence

a also in the other textaussi dans l'autre texte a not in the other textabsent de l'autre texte Hover over an n-gram to find it in the other text.Survolez un n-gramme pour le retrouver dans l'autre texte.

n	Precision (output)Précision (sortie)	Recall (reference)Rappel (référence)

Three comparisons are worth making:

Words against characters. Against reference A, Google Translate shares no sequence of four words, so its sentence BLEU is 0, but it shares many characters, so its chrF stays well above that.
Longer n-grams. Raising n in words shows how quickly the shared sequences run out, and why a sentence that shares no sequence of four words with the reference gets a BLEU of zero.
The other reference. A translation that matches reference A word for word scores much lower against reference B on both metrics, although both references are correct.

Sources

Papineni, K., Roukos, S., Ward, T., & Zhu, W.-J. (2002). BLEU: a method for automatic evaluation of machine translation. Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL 2002), Philadelphia, 311–318. https://doi.org/10.3115/1073083.1073135
Popović, M. (2015). chrF: character n-gram F-score for automatic MT evaluation. Proceedings of the Tenth Workshop on Statistical Machine Translation (WMT 2015), Lisbon, 392–395. https://doi.org/10.18653/v1/W15-3049

La démonstration ci-dessous compte les n-grammes qu’une traduction partage avec une traduction de référence, en mots comme le fait BLEU et en caractères comme le fait chrF. Elle compte comme les pages sur BLEU et chrF (see also the BLEU page) (voir aussi la page BLEU) : les lettres en minuscules, la ponctuation comme un mot à part entière, les espaces retirées pour les caractères, et chaque n-gramme compté au plus autant de fois qu’il apparaît dans l’autre texte. L’exemple est une phrase française avec deux traductions de référence que j’ai faites moi-même et huit traductions automatiques recueillies en 2026 ; chacun des textes peut aussi être modifié.

SourceSource Le gouvernement a annoncé des mesures importantes concernant le télétravail, avec effet immédiat.

ReferenceRéférence OutputSortie

OutputSortie

ReferenceRéférence

n	Precision (output)Précision (sortie)	Recall (reference)Rappel (référence)

Trois comparaisons valent la peine d’être faites :

Les mots ou les caractères. Par rapport à la référence A, Google Translate ne partage aucune suite de quatre mots : son BLEU de phrase vaut donc 0, mais il partage beaucoup de caractères, et son chrF reste nettement au-dessus.
Les n-grammes plus longs. En augmentant n pour les mots, vous voyez à quelle vitesse les suites partagées s’épuisent, et pourquoi une phrase qui ne partage aucune suite de quatre mots avec la référence obtient un BLEU de zéro.
L’autre référence. Une traduction qui correspond mot pour mot à la référence A obtient un score bien plus bas par rapport à la référence B, avec les deux métriques, bien que les deux références soient correctes.

Sources

Papineni, K., Roukos, S., Ward, T., & Zhu, W.-J. (2002). BLEU: a method for automatic evaluation of machine translation. Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL 2002), Philadelphia, 311–318. https://doi.org/10.3115/1073083.1073135
Popović, M. (2015). chrF: character n-gram F-score for automatic MT evaluation. Proceedings of the Tenth Workshop on Statistical Machine Translation (WMT 2015), Lisbon, 392–395. https://doi.org/10.18653/v1/W15-3049

Practice: BLEU and chrFPratique : BLEU et chrF

The exercises below use one reference translation and one output. Count the n-grams yourself before answering; the table gives the two sentences.

	Sentence	Words
Reference	The meeting starts at nine tomorrow morning	7
Output	The meeting begins at nine tomorrow morning	7

The reference and the output for the exercises.

ExerciseExercice 1 · word precisionla précision des mots not startedà faire solvedréussi keep tryingà retravailler

What is the precision of the single words (1-grams) of the output against the reference? Give a fraction or a number rounded to two decimals.

Quelle est la précision des mots isolés (1-grammes) de la sortie par rapport à la référence ? Donnez une fraction ou un nombre arrondi à deux décimales.

Show the explanationVoir l'explication

Six of the seven words of the output are in the reference; only begins is not. The 1-gram precision is therefore 6 / 7 = 0.86.

Six des sept mots de la sortie figurent dans la référence ; seul begins n'y est pas. La précision des 1-grammes est donc 6 / 7 = 0,86.

ExerciseExercice 2 · shared word pairsles paires de mots partagées not startedà faire solvedréussi keep tryingà retravailler

How many pairs of consecutive words (2-grams) of the output also occur in the reference?

Combien de paires de mots consécutifs (2-grammes) de la sortie se retrouvent dans la référence ?

Show the explanationVoir l'explication

The output has six pairs: the meeting, meeting begins, begins at, at nine, nine tomorrow, tomorrow morning. The two that contain begins are not in the reference; the other four are, a 2-gram precision of 4 / 6. One changed word costs two pairs, three triples and three quadruples: that is how BLEU punishes a synonym.

La sortie compte six paires : the meeting, meeting begins, begins at, at nine, nine tomorrow, tomorrow morning. Les deux qui contiennent begins ne sont pas dans la référence ; les quatre autres y sont, soit une précision des 2-grammes de 4 / 6. Un seul mot changé coûte deux paires, trois triplets et trois quadruplets : c'est ainsi que BLEU punit un synonyme.

ExerciseExercice 3 not startedà faire solvedréussi keep tryingà retravailler

A third output, The meeting starts at nine, matches the reference word for word but stops after five words. What does BLEU do with it?

Une troisième sortie, The meeting starts at nine, reprend la référence mot pour mot mais s'arrête après cinq mots. Que fait BLEU de cette sortie ?

a) It scores it 100: every one of its n-grams is in the reference.Il lui donne 100 : tous ses n-grammes sont dans la référence. b) It multiplies its score by a brevity penalty, because it is shorter than the reference.Il multiplie son score par une pénalité de brièveté, parce qu'elle est plus courte que la référence. c) It scores it 0: words are missing.Il lui donne 0 : il manque des mots. d) It cannot be computed for an output shorter than the reference.Il ne peut pas être calculé pour une sortie plus courte que la référence.

Show the solutionVoir la solution

All four precisions are 1, since every n-gram of the output is in the reference. But the output has 5 words against 7, and BLEU then multiplies the score by e^{(1 − 7/5)} ≈ 0.67: the output scores 67, not 100. The brevity penalty stands in for recall, which BLEU does not compute.

Les quatre précisions valent 1, puisque chaque n-gramme de la sortie est dans la référence. Mais la sortie compte 5 mots contre 7, et BLEU multiplie alors le score par e^{(1 − 7/5)} ≈ 0,67 : la sortie obtient 67, pas 100. La pénalité de brièveté remplace le rappel, que BLEU ne calcule pas.

ExerciseExercice 4 not startedà faire solvedréussi keep tryingà retravailler

The output The meeting begins at nine tomorrow morning scores 49 on BLEU and 78 on chrF. Which of the following outputs scores lower on BLEU and higher on chrF than it does?

La sortie The meeting begins at nine tomorrow morning obtient 49 en BLEU et 78 en chrF. Laquelle des sorties suivantes obtient un BLEU plus bas et un chrF plus haut qu'elle ?

a) Tomorrow morning the meeting starts at nineTomorrow morning the meeting starts at nine b) The meetings start at nine tomorrow morningThe meetings start at nine tomorrow morning c) The meeting starts at nineThe meeting starts at nine d) The meeting starts at nine tomorrowThe meeting starts at nine tomorrow

Show the solutionVoir la solution

In The meetings start at nine tomorrow morning, two of the seven words differ from the reference (meetings, start), which costs BLEU more than a single synonym did: 43 against 49. For chrF only a few characters change (one s moves): 85 against 78. The three other outputs use only words of the reference, so their BLEU goes up (71, 67 and 85).

Dans The meetings start at nine tomorrow morning, deux mots sur sept diffèrent de la référence (meetings, start), ce qui coûte à BLEU plus qu'un seul synonyme : 43 contre 49. Pour chrF, seuls quelques caractères changent (un s déplacé) : 85 contre 78. Les trois autres propositions n'emploient que des mots de la référence, donc leur BLEU monte (71, 67 et 85).

Sources

Papineni, K., Roukos, S., Ward, T., & Zhu, W.-J. (2002). BLEU: a method for automatic evaluation of machine translation. Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL 2002), Philadelphia, 311–318. https://doi.org/10.3115/1073083.1073135
Popović, M. (2015). chrF: character n-gram F-score for automatic MT evaluation. Proceedings of the Tenth Workshop on Statistical Machine Translation (WMT 2015), Lisbon, 392–395. https://doi.org/10.18653/v1/W15-3049

Les exercices ci-dessous portent sur une traduction de référence et une sortie, toutes deux en anglais. Comptez vous-même les n-grammes avant de répondre ; le tableau donne les deux phrases.

	Phrase	Mots
Référence	The meeting starts at nine tomorrow morning	7
Sortie	The meeting begins at nine tomorrow morning	7

La référence et la sortie des exercices.

ExerciseExercice 1 · word precisionla précision des mots not startedà faire solvedréussi keep tryingà retravailler

What is the precision of the single words (1-grams) of the output against the reference? Give a fraction or a number rounded to two decimals.

Quelle est la précision des mots isolés (1-grammes) de la sortie par rapport à la référence ? Donnez une fraction ou un nombre arrondi à deux décimales.

Show the explanationVoir l'explication

Six of the seven words of the output are in the reference; only begins is not. The 1-gram precision is therefore 6 / 7 = 0.86.

Six des sept mots de la sortie figurent dans la référence ; seul begins n'y est pas. La précision des 1-grammes est donc 6 / 7 = 0,86.

ExerciseExercice 2 · shared word pairsles paires de mots partagées not startedà faire solvedréussi keep tryingà retravailler

How many pairs of consecutive words (2-grams) of the output also occur in the reference?

Combien de paires de mots consécutifs (2-grammes) de la sortie se retrouvent dans la référence ?

Show the explanationVoir l'explication

ExerciseExercice 3 not startedà faire solvedréussi keep tryingà retravailler

A third output, The meeting starts at nine, matches the reference word for word but stops after five words. What does BLEU do with it?

Une troisième sortie, The meeting starts at nine, reprend la référence mot pour mot mais s'arrête après cinq mots. Que fait BLEU de cette sortie ?

Show the solutionVoir la solution

ExerciseExercice 4 not startedà faire solvedréussi keep tryingà retravailler

The output The meeting begins at nine tomorrow morning scores 49 on BLEU and 78 on chrF. Which of the following outputs scores lower on BLEU and higher on chrF than it does?

La sortie The meeting begins at nine tomorrow morning obtient 49 en BLEU et 78 en chrF. Laquelle des sorties suivantes obtient un BLEU plus bas et un chrF plus haut qu'elle ?

Show the solutionVoir la solution

Sources

Papineni, K., Roukos, S., Ward, T., & Zhu, W.-J. (2002). BLEU: a method for automatic evaluation of machine translation. Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL 2002), Philadelphia, 311–318. https://doi.org/10.3115/1073083.1073135
Popović, M. (2015). chrF: character n-gram F-score for automatic MT evaluation. Proceedings of the Tenth Workshop on Statistical Machine Translation (WMT 2015), Lisbon, 392–395. https://doi.org/10.18653/v1/W15-3049

Semantic and learned metricsLes métriques sémantiques et apprises

Semantic metrics

For a surface metric, enfant and gamin are simply different words. In a contextual embedding they are neighbours: words used in the same sense in similar sentences have vectors that lie close together (see also the Contextual embeddings chapter, in the Language as numbers module) (voir aussi le chapitre Plongements contextuels, dans le module Le langage en nombres). BERTScore (Zhang et al., 2020) builds on this. It matches each word of the output to the most similar word of the reference and each word of the reference to the most similar word of the output, and combines the two into an F-score (Jurafsky & Martin, 2026), as Figure 7figure 7 shows.

Two rows of word boxes: the reference, un enfant joue dans le jardin, and the output, un gamin joue dans le jardin. Lines join each reference word to its most similar output word, each line labelled with a similarity: un to un 1.0, enfant to gamin 0.8, joue to joue 1.0, dans to dans 1.0, le to le 1.0, jardin to jardin 1.0. — Figure 7. The matching behind BERTScore, for an output that differs from the reference by one synonym. The similarities are illustrative.

Against the reference people like foreign cars, BLEU prefers people like visiting places abroad, which shares two words with it, to consumers prefer imported cars, which shares none; BERTScore ranks them the other way round (Zhang et al., 2020).

A high similarity shows that the output is about the same thing as the reference; it does not show that the output says the same thing. BERTScore is less sensitive to small errors when the output is close to the reference in its words and style (Hanna & Bojar, 2021). Surface metrics share this weakness, and in the same study BLEU did worse than BERTScore. A not added to an output, for instance, reverses its meaning while leaving almost every word and character shared with the reference.

Metrics trained on human judgements

A learned metric is trained on translations that people rated, to predict the rating a person would give. COMET (Rei et al., 2020) reads the source, the output and the reference. Two variants are common:

without a reference, from the source and the output alone, which is called quality estimation, for instance CometKiwi (Rei et al., 2022);
with error spans, marking the words rated as errors with a severity, so that the score comes with a reason, for instance xCOMET (Guerreiro et al., 2024).

At WMT 2025, metrics of this kind ranked the systems automatically, beside large language models used as judges (Kocmi et al., 2025).

The main metrics compared

Metrics multiply, and their details change from one version to the next. Reading a score therefore starts with checking which kind of metric produced it and how it was used: what it compares, whether it learned from human ratings, and whether it needed a reference. Figure 8figure 8 shows what each kind of metric reads, and the table below sets out the main metrics of this chapter by these differences.

Figure 8. What each kind of automatic metric reads, and what it does with it.

Metric	Kind	Compares	Reference needed
BLEU (Papineni et al., 2002)	surface	shared words	yes
chrF (Popović, 2015)	surface	shared characters	yes
BERTScore (Zhang et al., 2020)	semantic	contextual embeddings	yes
COMET (Rei et al., 2020)	learned	predicts a human rating from the source, the output and the reference	usually; versions without a reference exist
BLEURT (Sellam et al., 2020)	learned	predicts a human rating from the output and the reference	yes
xCOMET (Guerreiro et al., 2024)	learned	predicts a rating and marks error spans	optional
CometKiwi (Rei et al., 2022)	learned, quality estimation	predicts a rating from the source and the output	no

The main automatic metrics for translation, by what they compare and what they need.

Strengths and weaknesses of learned metrics

In 2021, learned metrics ranked systems more like people than surface metrics did, above all between good systems (Kocmi et al., 2021; Rei et al., 2020). The advantage is not fixed: at the 2025 metrics task, simple metrics such as chrF and BERTScore came ahead of most of them on single sentences (Lavie et al., 2025) (see also the Ways of evaluating a translation page) (voir aussi la page Les façons d'évaluer une traduction). Their costs:

A score you cannot check. A BLEU count can be redone by hand; the output of a trained model cannot, unless the metric marks error spans.
Languages. A learned metric is only as good as the languages it was trained on: WMT 2025 fell back on chrF++ for two languages for which the reliability of its main metrics had not been established (see also the chrF page) (voir aussi la page chrF).
Tuning to the metric. A system can generate several candidate translations and keep the one the metric prefers (Figure 9figure 9). In 2024 the system that led the automatic ranking had chosen among its candidates with COMET, the metric used for that ranking; people did not rank it first in every language pair, a gap the organizers attribute, probably, to metric bias (Kocmi et al., 2024b) (see also the Reading a leaderboard page, in the Using LLMs module) (voir aussi la page Lire un classement, dans le module Utiliser les GML).

Four boxes. The system generates many candidate translations; the metric scores them and the system keeps the one the metric prefers; the same metric ranks the system first in the automatic ranking; people do not rank it first everywhere. — Figure 9. Metric bias: a system comes first on the metric but not everywhere with people.

Sources

Guerreiro, N. M., Rei, R., van Stigt, D., Coheur, L., Colombo, P., & Martins, A. F. T. (2024). xCOMET: Transparent Machine Translation Evaluation through Fine-grained Error Detection. Transactions of the Association for Computational Linguistics, 12, 979–995. https://doi.org/10.1162/tacl_a_00683
Hanna, M., & Bojar, O. (2021). A Fine-Grained Analysis of BERTScore. Proceedings of the Sixth Conference on Machine Translation, 507–517. https://aclanthology.org/2021.wmt-1.59/
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Kocmi, T., Artemova, E., Avramidis, E., Bawden, R., Bojar, O., Dranch, K., et al. (2025). Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 355–413. https://doi.org/10.18653/v1/2025.wmt-1.22
Kocmi, T., Avramidis, E., Bawden, R., Bojar, O., Dvorkovich, A., Federmann, C., et al. (2024b). Findings of the WMT24 General Machine Translation Shared Task: The LLM Era Is Here but MT Is Not Solved Yet. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1–46. https://doi.org/10.18653/v1/2024.wmt-1.1
Kocmi, T., Federmann, C., Grundkiewicz, R., Junczys-Dowmunt, M., Matsushita, H., & Menezes, A. (2021). To Ship or Not to Ship: An Extensive Evaluation of Automatic Metrics for Machine Translation. Proceedings of the Sixth Conference on Machine Translation (WMT 2021), 478–494. https://aclanthology.org/2021.wmt-1.57/
Lavie, A., Hanneman, G., Agrawal, S., Kanojia, D., Lo, C., Zouhar, V., et al. (2025). Findings of the WMT25 Shared Task on Automated Translation Evaluation Systems: Linguistic Diversity is Challenging and References Still Help. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 436–483. https://doi.org/10.18653/v1/2025.wmt-1.24
Papineni, K., Roukos, S., Ward, T., & Zhu, W.-J. (2002). BLEU: a method for automatic evaluation of machine translation. Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL 2002), Philadelphia, 311–318. https://doi.org/10.3115/1073083.1073135
Popović, M. (2015). chrF: character n-gram F-score for automatic MT evaluation. Proceedings of the Tenth Workshop on Statistical Machine Translation (WMT 2015), Lisbon, 392–395. https://doi.org/10.18653/v1/W15-3049
Rei, R., Stewart, C., Farinha, A. C., & Lavie, A. (2020). COMET: A Neural Framework for MT Evaluation. Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP 2020), 2685–2702. https://doi.org/10.18653/v1/2020.emnlp-main.213
Rei, R., Treviso, M., Guerreiro, N. M., Zerva, C., Farinha, A. C., Maroti, C., de Souza, J. G. C., Glushkova, T., Alves, D., Lavie, A., Coheur, L., & Martins, A. F. T. (2022). CometKiwi: IST-Unbabel 2022 Submission for the Quality Estimation Shared Task. Proceedings of the Seventh Conference on Machine Translation (WMT 2022), Abu Dhabi, 634–645. https://doi.org/10.18653/v1/2022.wmt-1.60
Sellam, T., Das, D., & Parikh, A. P. (2020). BLEURT: Learning Robust Metrics for Text Generation. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL 2020), 7881–7892. https://doi.org/10.18653/v1/2020.acl-main.704
Zhang, T., Kishore, V., Wu, F., Weinberger, K. Q., & Artzi, Y. (2020). BERTScore: Evaluating Text Generation with BERT. Eighth International Conference on Learning Representations (ICLR 2020). http://arxiv.org/abs/1904.09675

Les métriques sémantiques

Pour une métrique de surface, enfant et gamin sont simplement deux mots différents. Dans un plongement contextuel, ils sont voisins : des mots employés dans le même sens dans des phrases semblables ont des vecteurs proches les uns des autres (see also the Contextual embeddings chapter, in the Language as numbers module) (voir aussi le chapitre Plongements contextuels, dans le module Le langage en nombres). BERTScore (Zhang et al., 2020) repose sur cette propriété. La métrique associe chaque mot de la sortie au mot le plus semblable de la référence et chaque mot de la référence au mot le plus semblable de la sortie, puis combine les deux en un score F (Jurafsky & Martin, 2026), comme le montre la Figure 7figure 7.

Deux rangées de cases de mots : la référence, un enfant joue dans le jardin, et la sortie, un gamin joue dans le jardin. Des traits relient chaque mot de la référence au mot le plus semblable de la sortie, chaque trait portant une similarité : un et un 1,0, enfant et gamin 0,8, joue et joue 1,0, dans et dans 1,0, le et le 1,0, jardin et jardin 1,0. — Figure 7. L'appariement sur lequel repose BERTScore, pour une sortie qui diffère de la référence par un synonyme. Les similarités sont données à titre d'illustration.

Par rapport à la référence anglaise people like foreign cars, BLEU préfère people like visiting places abroad, qui partage deux mots avec elle, à consumers prefer imported cars, qui n’en partage aucun ; BERTScore les classe dans l’ordre inverse (Zhang et al., 2020).

Une similarité élevée montre que la sortie parle de la même chose que la référence ; elle ne montre pas que la sortie dit la même chose. BERTScore est moins sensible aux petites erreurs quand la sortie est proche de la référence par ses mots et son style (Hanna & Bojar, 2021). Les métriques de surface ont la même faiblesse, et dans la même étude, BLEU faisait moins bien que BERTScore. Une négation ajoutée à une sortie, par exemple, en inverse le sens tout en laissant presque tous les mots et les caractères en commun avec la référence.

Les métriques entraînées sur des jugements humains

Une métrique apprise est entraînée sur des traductions que des personnes ont notées, pour prédire la note qu’une personne donnerait. COMET (Rei et al., 2020) lit la source, la sortie et la référence. Deux variantes sont courantes :

sans référence, à partir de la source et de la sortie seules, ce qu’on appelle l’estimation de la qualité, par exemple CometKiwi (Rei et al., 2022) ;
avec des passages erronés, qui marquent les mots jugés erronés avec une gravité, si bien que le score s’accompagne d’une raison, par exemple xCOMET (Guerreiro et al., 2024).

À WMT 2025, des métriques de ce type ont classé les systèmes de façon automatique, aux côtés de grands modèles de langue employés comme juges (Kocmi et al., 2025).

Les principales métriques comparées

Les métriques se multiplient, et leurs détails changent d’une version à l’autre. Lire un score commence donc par vérifier quel type de métrique l’a produit et comment elle a été employée : ce qu’elle compare, si elle a appris à partir de notes humaines, et si elle avait besoin d’une référence. La Figure 8figure 8 montre ce que lit chaque type de métrique, et le tableau ci-dessous présente les principales métriques du chapitre selon ces différences.

Une grille de quatre lignes, une par type de métrique automatique, et de trois colonnes, la source, la sortie et la référence, chaque case indiquant lue, habituellement lue ou non lue, avec dans une dernière colonne ce que fait la métrique. Les métriques de surface lisent la sortie et la référence et comptent les mots ou les caractères qu'elles partagent. Les métriques sémantiques lisent la sortie et la référence et comparent leur sens au moyen de plongements contextuels. Les métriques apprises lisent la sortie et la référence, et habituellement la source, et un modèle entraîné sur des notes humaines prédit la note qu'une personne donnerait. L'estimation de la qualité lit la source et la sortie et fait la même prédiction sans référence. — Figure 8. Ce que lit chaque type de métrique automatique, et ce qu'elle en fait.

Métrique	Type	Compare	Référence nécessaire
BLEU (Papineni et al., 2002)	surface	les mots partagés	oui
chrF (Popović, 2015)	surface	les caractères partagés	oui
BERTScore (Zhang et al., 2020)	sémantique	des plongements contextuels	oui
COMET (Rei et al., 2020)	apprise	prédit une note humaine à partir de la source, de la sortie et de la référence	habituellement ; des versions sans référence existent
BLEURT (Sellam et al., 2020)	apprise	prédit une note humaine à partir de la sortie et de la référence	oui
xCOMET (Guerreiro et al., 2024)	apprise	prédit une note et marque les passages erronés	facultative
CometKiwi (Rei et al., 2022)	apprise, estimation de la qualité	prédit une note à partir de la source et de la sortie	non

Les principales métriques automatiques pour la traduction, selon ce qu'elles comparent et ce dont elles ont besoin.

Les forces et les faiblesses des métriques apprises

En 2021, les métriques apprises classaient les systèmes plus comme les personnes que les métriques de surface, surtout entre de bons systèmes (Kocmi et al., 2021 ; Rei et al., 2020). Cet avantage n’est pas acquis : à la tâche d’évaluation des métriques de 2025, des métriques simples comme chrF et BERTScore passaient devant la plupart d’entre elles sur des phrases isolées (Lavie et al., 2025) (see also the Ways of evaluating a translation page) (voir aussi la page Les façons d'évaluer une traduction). Leurs coûts :

Un score impossible à vérifier. Un comptage BLEU peut être refait à la main ; la sortie d’un modèle entraîné ne le peut pas, sauf si la métrique marque les passages erronés.
Les langues. Une métrique apprise ne vaut que pour les langues sur lesquelles elle a été entraînée : WMT 2025 s’est rabattu sur chrF++ pour deux langues pour lesquelles la fiabilité de ses métriques principales n’avait pas été établie (see also the chrF page) (voir aussi la page chrF).
Le réglage sur la métrique. Un système peut produire plusieurs traductions candidates et garder celle que préfère la métrique (Figure 9figure 9). En 2024, le système en tête du classement automatique avait choisi parmi ses candidates avec COMET, la métrique employée pour ce classement ; les personnes ne l’ont pas placé en tête pour toutes les paires de langues, un écart que les organisateurs attribuent, probablement, à un biais de la métrique (Kocmi et al., 2024b) (see also the Reading a leaderboard page, in the Using LLMs module) (voir aussi la page Lire un classement, dans le module Utiliser les GML).

Quatre cases. Le système produit de nombreuses traductions candidates ; la métrique les note et le système garde celle que la métrique préfère ; la même métrique place le système en tête du classement automatique ; les personnes ne le placent pas partout en tête. — Figure 9. Le biais de la métrique : un système arrive en tête selon la métrique, mais pas partout selon les personnes.

Sources

Guerreiro, N. M., Rei, R., van Stigt, D., Coheur, L., Colombo, P., & Martins, A. F. T. (2024). xCOMET: Transparent Machine Translation Evaluation through Fine-grained Error Detection. Transactions of the Association for Computational Linguistics, 12, 979–995. https://doi.org/10.1162/tacl_a_00683
Hanna, M., & Bojar, O. (2021). A Fine-Grained Analysis of BERTScore. Proceedings of the Sixth Conference on Machine Translation, 507–517. https://aclanthology.org/2021.wmt-1.59/
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Kocmi, T., Artemova, E., Avramidis, E., Bawden, R., Bojar, O., Dranch, K., et al. (2025). Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 355–413. https://doi.org/10.18653/v1/2025.wmt-1.22
Kocmi, T., Avramidis, E., Bawden, R., Bojar, O., Dvorkovich, A., Federmann, C., et al. (2024b). Findings of the WMT24 General Machine Translation Shared Task: The LLM Era Is Here but MT Is Not Solved Yet. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1–46. https://doi.org/10.18653/v1/2024.wmt-1.1
Kocmi, T., Federmann, C., Grundkiewicz, R., Junczys-Dowmunt, M., Matsushita, H., & Menezes, A. (2021). To Ship or Not to Ship: An Extensive Evaluation of Automatic Metrics for Machine Translation. Proceedings of the Sixth Conference on Machine Translation (WMT 2021), 478–494. https://aclanthology.org/2021.wmt-1.57/
Lavie, A., Hanneman, G., Agrawal, S., Kanojia, D., Lo, C., Zouhar, V., et al. (2025). Findings of the WMT25 Shared Task on Automated Translation Evaluation Systems: Linguistic Diversity is Challenging and References Still Help. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 436–483. https://doi.org/10.18653/v1/2025.wmt-1.24
Papineni, K., Roukos, S., Ward, T., & Zhu, W.-J. (2002). BLEU: a method for automatic evaluation of machine translation. Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL 2002), Philadelphia, 311–318. https://doi.org/10.3115/1073083.1073135
Popović, M. (2015). chrF: character n-gram F-score for automatic MT evaluation. Proceedings of the Tenth Workshop on Statistical Machine Translation (WMT 2015), Lisbon, 392–395. https://doi.org/10.18653/v1/W15-3049
Rei, R., Stewart, C., Farinha, A. C., & Lavie, A. (2020). COMET: A Neural Framework for MT Evaluation. Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP 2020), 2685–2702. https://doi.org/10.18653/v1/2020.emnlp-main.213
Rei, R., Treviso, M., Guerreiro, N. M., Zerva, C., Farinha, A. C., Maroti, C., de Souza, J. G. C., Glushkova, T., Alves, D., Lavie, A., Coheur, L., & Martins, A. F. T. (2022). CometKiwi: IST-Unbabel 2022 Submission for the Quality Estimation Shared Task. Proceedings of the Seventh Conference on Machine Translation (WMT 2022), Abu Dhabi, 634–645. https://doi.org/10.18653/v1/2022.wmt-1.60
Sellam, T., Das, D., & Parikh, A. P. (2020). BLEURT: Learning Robust Metrics for Text Generation. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL 2020), 7881–7892. https://doi.org/10.18653/v1/2020.acl-main.704
Zhang, T., Kishore, V., Wu, F., Weinberger, K. Q., & Artzi, Y. (2020). BERTScore: Evaluating Text Generation with BERT. Eighth International Conference on Learning Representations (ICLR 2020). http://arxiv.org/abs/1904.09675

A large language model as judgeUn grand modèle de langue comme juge

Asking a model to judge

A large language model can be asked to evaluate a translation: the task is described in a prompt, and the model answers. Zheng et al. (2023) named the approach LLM-as-a-judge: GPT-4, asked to compare two answers from chatbots, agreed with people about as often as people agreed with each other.

For translation, the prompt contains:

the texts: the source, the output to judge and, if there is one, the reference;
the criteria: what to rate, and on what scale;
the form of the answer: a single score, a list of errors with a category and a severity as a human annotator would give, or both.

Judges in translation evaluation

The table below sets out three uses of a large language model as judge of translations, two of them at WMT, the Conference on Machine Translation. The first, GEMBA, appeared a few months before Zheng et al. (2023) named the approach.

Method	What the model was asked	Result
GEMBA (Kocmi & Federmann, 2023b)	a score per segment, with or without a reference	the best system-level accuracy on the WMT 2022 data, with GPT-3.5 and larger models only
GEMBA-MQM (Kocmi & Federmann, 2023a)	error spans with category and severity, from a prompt with three examples, without a reference	state-of-the-art system ranking with GPT-4; the authors advise caution, the model being proprietary and changing
WMT 2025 (Kocmi et al., 2025)	GPT-4.1 and Command A: error spans as in ESA (Kocmi et al., 2024a), without a reference	the scores entered the automatic ranking; some participants had used the same judge as a reward model in training

Three uses of a large language model as judge of translations.

A prompt and its variant

The prompt below is one I wrote for an evaluation of English-to-French translations of medical abstracts, with a reference translation; its variant works without one. They ask for a score from 0 to 100 and for a short list of errors with a category and a severity, which is the shape of the human protocols (see also the Human evaluation: DA, MQM and ESA page) (voir aussi la page L'évaluation humaine : DA, MQM et ESA). The placeholders in square brackets are replaced by the texts.

You are an impartial MQM rater for English>French (Canada) translations of medical abstracts.
# Task
- Read the English source (SOURCE_EN), the human reference (REF_FR), and the translation to evaluate (TGT_FR).
- Judge quality only. Do not rewrite the translation.
# How to rate (basics)
- General score: 0–100
  • 0 = broken/poor
  • 33 = flawed with significant issues
  • 66 = good with only minor issues
  • 100 = perfect in meaning and grammar
- Error categories: Accuracy, Fluency, Terminology, Punctuation, Numbers/Units, Named entities, Style, Other.
- Severity levels: minor, major, critical (critical if meaning changes in safety-relevant content like dosage, units, indications, contraindications).
# What to output
1) Overall judgment: score 0–100 + one short sentence of justification.
2) Errors (keep concise; up to 5): for each, give [Category] – [Severity] – [ERROR] - very short note.
# Inputs
SOURCE_EN:
[ADD SOURCE]
REF_FR:
[ADD REFERENCE]
TGT_FR:
[ADD TRANSLATION]

The version without a reference drops the reference and tells the model what to judge the output against instead:

- Read the English source (SOURCE_EN) and the translation to evaluate (TGT_FR). No reference is provided.
- Judge adequacy against the source and fluency in the target language. Do not rewrite the translation.

Examples in the prompt

Adding a few examples to the prompt, as in few-shot prompting, shows the judge the form its answer should take. Without them, the lists of errors produced by the models tested were often uninformative or difficult to parse, and judges that annotate errors are usually given a few, as GEMBA-MQM is (Fernandes et al., 2023; Kocmi & Federmann, 2023a). For a score, examples almost never helped: they did not make the scores agree better with people, and they pulled the scores towards those in the examples (Fernandes et al., 2023).Measured on Google’s PaLM and PaLM-2 models of 2023, on WMT 2022 data for English–German, Chinese–English and English–Russian; the effect on today’s models has to be measured again.

Strengths of a judge

No reference is needed. The judge reads the source, so a text with no reference translation can be scored. The score then depends on the model’s own processing of the source, with no reference to anchor it.
The verdict comes with reasons. The errors are named and located, in plain language.
The criteria are set in the prompt. It can ask about terminology, register, a client’s style guide, and any other criterion a scale or a scheme can express.

Limits of a judge

At the WMT 2025 evaluation of metrics, the large language models used as judges were among the best methods for ranking systems, but most of them were beaten at the level of single segments by simple metrics that compare the output with a reference (Lavie et al., 2025).
The reasons are generated like the rest, so a named error can be no error at all (see also the Hallucinations chapter, in the Critical issues with LLMs module) (voir aussi le chapitre Les fabulations de l'IA, dans le module Enjeux critiques des GML). A variant of GEMBA-MQM marked Admission to the monument is 16.50 Euros, a correct translation from Czech, as a currency error (Kocmi & Federmann, 2023a).
Even a reasonable-looking explanation need not be the reason for the score: language models have been shown to give explanations that leave out what actually swayed their answer (Turpin et al., 2023; Chen et al., 2025b).Measured on general tasks rather than on translation, with the models of 2023 and the reasoning models of 2025.
Zheng et al. (2023) found biases in the judgements of the models they tested: they tended to rate the first answer higher, to rate longer answers higher and, to some extent, to rate their own answers higher.Measured on the models of 2023 (GPT-4, Claude and others of that year); the biases of today’s models have to be measured again.
A different wording of the prompt gives different scores (see also the Prompting chapter, in the Using LLMs module) (voir aussi le chapitre Formulation de requêtes, dans le module Utiliser les GML), and the same model asked twice can answer differently, since its output is sampled (see also the LLMs are non-deterministic page, in the LLM lifecycle module) (voir aussi la page Les GML ne sont pas déterministes, dans le module Cycle de vie des GML).
A judge used to train a system is no longer independent of it: at WMT 2025, some participants had used the judge of the automatic ranking as a reward model (Kocmi et al., 2025).

At WMT, the organizers therefore keep human evaluation as the final arbiter (Kocmi et al., 2025) (see also the Reading the scores page) (voir aussi la page Lire les scores).

Verification rules

A judge is asked for every error at once. A verification rule names the failure to look for, so the model only has to check whether it occurs. The Last Translation Benchmark evaluates this way (Zouhar et al., 2026): every example comes with rules written by the person who contributed it, and a model checks each translation against each rule (Figure 10figure 10).

One Czech translation in which the word for nurse is feminine although the nurses are men. On the left, a model prompted as a judge rates it 87, fluent and accurate. On the right, the same model prompted as a verifier, asked whether the word for nurse is masculine as the context requires, answers no: the rule fails. — Figure 10. The same model as judge and as verifier of one translation. After Zouhar et al. (2026); the judge's score is illustrative.

A score that can be read directly. The score of a system is the share of examples whose translation passes every rule, such as 42 of 100; a judge’s 87 has no such reading.
Less dependent on the model. Rankings produced with the rules were stable across the models used to check them, where the rankings of generic judges and of trained metrics changed with the model chosen; and the tendency of a model to rate its own output higher, measurable with a generic judge, was much smaller with the rules (Zouhar et al., 2026).
Writing the rules takes expertise. A verification rule takes a person who can see where the translation goes wrong. Rules written by models were mostly too generic, and models that translated with rules they had written themselves improved only slightly (Zouhar et al., 2026) (see also the Remaining failures page, in the Machine translation module) (voir aussi la page Les échecs qui subsistent, dans le module Traduction automatique).

Sources

Chen, Y., Benton, J., Radhakrishnan, A., Uesato, J., Denison, C., Schulman, J., et al. (2025b). Reasoning Models Don't Always Say What They Think. arXiv preprint arXiv:2505.05410. https://doi.org/10.48550/arXiv.2505.05410
Fernandes, P., Deutsch, D., Finkelstein, M., Riley, P., Martins, A. F. T., Neubig, G., et al. (2023). The Devil Is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation. Proceedings of the Eighth Conference on Machine Translation (WMT 2023), 1066–1083. https://doi.org/10.18653/v1/2023.wmt-1.100
Kocmi, T., & Federmann, C. (2023a). GEMBA-MQM: Detecting Translation Quality Error Spans with GPT-4. Proceedings of the Eighth Conference on Machine Translation (WMT 2023), 768–775. https://doi.org/10.18653/v1/2023.wmt-1.64
Kocmi, T., & Federmann, C. (2023b). Large Language Models Are State-of-the-Art Evaluators of Translation Quality. Proceedings of the 24th Annual Conference of the European Association for Machine Translation, 193–203. https://aclanthology.org/2023.eamt-1.19/
Kocmi, T., Artemova, E., Avramidis, E., Bawden, R., Bojar, O., Dranch, K., et al. (2025). Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 355–413. https://doi.org/10.18653/v1/2025.wmt-1.22
Kocmi, T., Avramidis, E., Bawden, R., Bojar, O., Dvorkovich, A., Federmann, C., et al. (2024b). Findings of the WMT24 General Machine Translation Shared Task: The LLM Era Is Here but MT Is Not Solved Yet. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1–46. https://doi.org/10.18653/v1/2024.wmt-1.1
Kocmi, T., Zouhar, V., Avramidis, E., Grundkiewicz, R., Karpinska, M., Popović, M., et al. (2024a). Error Span Annotation: A Balanced Approach for Human Evaluation of Machine Translation. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1440–1453. https://doi.org/10.18653/v1/2024.wmt-1.131
Lavie, A., Hanneman, G., Agrawal, S., Kanojia, D., Lo, C., Zouhar, V., et al. (2025). Findings of the WMT25 Shared Task on Automated Translation Evaluation Systems: Linguistic Diversity is Challenging and References Still Help. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 436–483. https://doi.org/10.18653/v1/2025.wmt-1.24
Turpin, M., Michael, J., Perez, E., & Bowman, S. R. (2023). Language Models Don't Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting. Advances in Neural Information Processing Systems 36 (NeurIPS 2023). https://openreview.net/forum?id=bzs4uPLXvi
Zheng, L., Chiang, W.-L., Sheng, Y., Zhuang, S., Wu, Z., Zhuang, Y., et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. Advances in Neural Information Processing Systems 36 (NeurIPS 2023), Datasets and Benchmarks Track. https://proceedings.neurips.cc/paper_files/paper/2023/hash/91f18a1287b398d378ef22505bf41832-Abstract-Datasets_and_Benchmarks.html
Zouhar, V., Bafna, N., Choudhary, M., Züfle, M., Rajaee, S., Chen, P., et al. (2026). Last Translation Benchmark. Preprint, arXiv:2609.04173. http://arxiv.org/abs/2609.04173

Demander à un modèle de juger

Un grand modèle de langue peut être chargé d’évaluer une traduction : la tâche est décrite dans une requête, et le modèle répond. Zheng et al. (2023) ont nommé l’approche LLM-as-a-judge : GPT-4, chargé de comparer deux réponses d’agents conversationnels, était d’accord avec les personnes à peu près aussi souvent que les personnes entre elles.

Pour la traduction, la requête contient :

les textes : la source, la sortie à juger et, s’il y en a une, la référence ;
les critères : ce qu’il faut noter, et sur quelle échelle ;
la forme de la réponse : un seul score, une liste d’erreurs avec une catégorie et une gravité comme les donnerait une annotatrice ou un annotateur humain, ou les deux.

Les juges dans l’évaluation de la traduction

Le tableau ci-dessous présente trois usages d’un grand modèle de langue comme juge de traductions, dont deux à WMT, la Conference on Machine Translation. Le premier, GEMBA, est paru quelques mois avant que Zheng et al. (2023) ne nomment l’approche.

Méthode	Ce qui était demandé au modèle	Résultat
GEMBA (Kocmi & Federmann, 2023b)	un score par segment, avec ou sans référence	la meilleure exactitude au niveau des systèmes sur les données de WMT 2022, avec GPT-3.5 et des modèles plus grands seulement
GEMBA-MQM (Kocmi & Federmann, 2023a)	des passages erronés avec catégorie et gravité, à partir d’une requête comportant trois exemples, sans référence	un classement des systèmes au niveau de l’état de l’art avec GPT-4 ; les auteurs appellent à la prudence, le modèle étant propriétaire et changeant
WMT 2025 (Kocmi et al., 2025)	GPT-4.1 et Command A : des passages erronés comme dans ESA (Kocmi et al., 2024a), sans référence	les scores sont entrés dans le classement automatique ; certains participants avaient employé le même juge comme modèle de récompense pendant l’entraînement

Trois usages d'un grand modèle de langue comme juge de traductions.

Une requête et sa variante

La requête ci-dessous est l’une de celles que j’ai rédigées pour une évaluation de traductions de l’anglais vers le français de résumés médicaux, avec une traduction de référence ; sa variante fonctionne sans référence. Elles demandent un score de 0 à 100 et une courte liste d’erreurs avec une catégorie et une gravité, ce qui est la forme des protocoles humains (see also the Human evaluation: DA, MQM and ESA page) (voir aussi la page L'évaluation humaine : DA, MQM et ESA). Les éléments entre crochets sont remplacés par les textes.

You are an impartial MQM rater for English>French (Canada) translations of medical abstracts.
# Task
- Read the English source (SOURCE_EN), the human reference (REF_FR), and the translation to evaluate (TGT_FR).
- Judge quality only. Do not rewrite the translation.
# How to rate (basics)
- General score: 0–100
  • 0 = broken/poor
  • 33 = flawed with significant issues
  • 66 = good with only minor issues
  • 100 = perfect in meaning and grammar
- Error categories: Accuracy, Fluency, Terminology, Punctuation, Numbers/Units, Named entities, Style, Other.
- Severity levels: minor, major, critical (critical if meaning changes in safety-relevant content like dosage, units, indications, contraindications).
# What to output
1) Overall judgment: score 0–100 + one short sentence of justification.
2) Errors (keep concise; up to 5): for each, give [Category] – [Severity] – [ERROR] - very short note.
# Inputs
SOURCE_EN:
[ADD SOURCE]
REF_FR:
[ADD REFERENCE]
TGT_FR:
[ADD TRANSLATION]

La version sans référence retire la référence et indique au modèle par rapport à quoi juger la sortie :

- Read the English source (SOURCE_EN) and the translation to evaluate (TGT_FR). No reference is provided.
- Judge adequacy against the source and fluency in the target language. Do not rewrite the translation.

Des exemples dans la requête

Ajouter quelques exemples à la requête, comme dans la formulation de requête avec quelques exemples, montre au juge la forme que doit prendre sa réponse. Sans exemples, les listes d’erreurs produites par les modèles testés étaient souvent peu informatives ou difficiles à analyser, et les juges qui annotent les erreurs en reçoivent habituellement quelques-uns, comme GEMBA-MQM (Fernandes et al., 2023 ; Kocmi & Federmann, 2023a). Pour un score, les exemples n’ont presque jamais aidé : ils n’ont pas rapproché les scores du jugement des personnes, et ils ont tiré les scores vers ceux des exemples (Fernandes et al., 2023).Mesuré sur les modèles PaLM et PaLM-2 de Google en 2023, sur les données de WMT 2022 pour l’anglais–allemand, le chinois–anglais et l’anglais–russe ; l’effet sur les modèles actuels est à mesurer de nouveau.

Les forces d’un juge

Aucune référence n’est nécessaire. Le juge lit la source, si bien qu’un texte sans traduction de référence peut être noté. Le score dépend alors du traitement que le modèle fait de la source, sans référence pour l’ancrer.
Le verdict s’accompagne de raisons. Les erreurs sont nommées et situées, en langage courant.
Les critères sont fixés dans la requête. Celle-ci peut porter sur la terminologie, le registre, le guide de rédaction d’un client et tout autre critère qu’une échelle ou un système de classement peut exprimer.

Les limites d’un juge

À l’évaluation des métriques de WMT 2025, les grands modèles de langue employés comme juges comptaient parmi les meilleures méthodes pour classer des systèmes, mais la plupart d’entre eux étaient dépassés au niveau des segments isolés par des métriques simples qui comparent la sortie avec une référence (Lavie et al., 2025).
Les raisons sont générées comme le reste, si bien qu’une erreur nommée peut ne pas en être une (see also the Hallucinations chapter, in the Critical issues with LLMs module) (voir aussi le chapitre Les fabulations de l'IA, dans le module Enjeux critiques des GML). Une variante de GEMBA-MQM a marqué Admission to the monument is 16.50 Euros, une traduction correcte du tchèque, comme une erreur de devise (Kocmi & Federmann, 2023a).
Même une explication d’apparence raisonnable n’est pas forcément la raison du score : il a été montré que des modèles de langue donnent des explications qui passent sous silence ce qui a réellement orienté leur réponse (Turpin et al., 2023 ; Chen et al., 2025b).Mesuré sur des tâches générales plutôt que sur la traduction, avec les modèles de 2023 et les modèles de raisonnement de 2025.
Zheng et al. (2023) ont relevé des biais dans les jugements des modèles testés : ils avaient tendance à mieux noter la première réponse, à mieux noter les réponses longues et, dans une certaine mesure, à mieux noter leurs propres réponses.Mesuré sur les modèles de 2023 (GPT-4, Claude et d’autres de la même année) ; les biais des modèles actuels sont à mesurer de nouveau.
Une autre formulation de la requête donne d’autres scores (see also the Prompting chapter, in the Using LLMs module) (voir aussi le chapitre Formulation de requêtes, dans le module Utiliser les GML), et un même modèle interrogé deux fois peut répondre différemment, puisque sa sortie est obtenue par échantillonnage (see also the LLMs are non-deterministic page, in the LLM lifecycle module) (voir aussi la page Les GML ne sont pas déterministes, dans le module Cycle de vie des GML).
Un juge qui sert à entraîner un système n’en est plus indépendant : à WMT 2025, certains participants avaient employé le juge du classement automatique comme modèle de récompense (Kocmi et al., 2025).

À WMT, les organisateurs gardent donc l’évaluation humaine comme arbitre final (Kocmi et al., 2025) (see also the Reading the scores page) (voir aussi la page Lire les scores).

Les règles de vérification

On demande à un juge toutes les erreurs à la fois. Une règle de vérification nomme l’échec à rechercher, si bien que le modèle n’a qu’à vérifier s’il se produit. Le Last Translation Benchmark évalue de cette façon (Zouhar et al., 2026) : chaque exemple s’accompagne de règles rédigées par la personne qui l’a fourni, et un modèle vérifie chaque traduction par rapport à chaque règle (Figure 10figure 10).

Une traduction tchèque dans laquelle le mot pour infirmier est au féminin alors que les infirmiers sont des hommes. À gauche, un modèle employé comme juge lui donne 87, fluide et exacte. À droite, le même modèle employé comme vérificateur, à qui l'on demande si le mot pour infirmier est au masculin comme l'exige le contexte, répond non : la règle échoue. — Figure 10. Le même modèle comme juge et comme vérificateur d'une même traduction. D'après Zouhar et al. (2026) ; le score du juge est donné à titre d'illustration.

Un score qui se lit directement. Le score d’un système est la proportion d’exemples dont la traduction respecte toutes les règles, par exemple 42 sur 100 ; le 87 d’un juge n’a pas de lecture de ce genre.
Moins dépendant du modèle. Les classements obtenus avec les règles étaient stables quel que soit le modèle employé pour les vérifier, alors que les classements des juges génériques et des métriques entraînées changeaient avec le modèle choisi ; et la tendance d’un modèle à mieux noter sa propre sortie, mesurable avec un juge générique, était bien plus faible avec les règles (Zouhar et al., 2026).
Rédiger les règles demande de l’expertise. Une règle de vérification demande une personne capable de voir où la traduction se trompe. Les règles rédigées par des modèles étaient pour la plupart trop générales, et les modèles qui traduisaient avec des règles rédigées par eux-mêmes ne s’amélioraient que légèrement (Zouhar et al., 2026) (see also the Remaining failures page, in the Machine translation module) (voir aussi la page Les échecs qui subsistent, dans le module Traduction automatique).

Sources

Chen, Y., Benton, J., Radhakrishnan, A., Uesato, J., Denison, C., Schulman, J., et al. (2025b). Reasoning Models Don't Always Say What They Think. arXiv preprint arXiv:2505.05410. https://doi.org/10.48550/arXiv.2505.05410
Fernandes, P., Deutsch, D., Finkelstein, M., Riley, P., Martins, A. F. T., Neubig, G., et al. (2023). The Devil Is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation. Proceedings of the Eighth Conference on Machine Translation (WMT 2023), 1066–1083. https://doi.org/10.18653/v1/2023.wmt-1.100
Kocmi, T., & Federmann, C. (2023a). GEMBA-MQM: Detecting Translation Quality Error Spans with GPT-4. Proceedings of the Eighth Conference on Machine Translation (WMT 2023), 768–775. https://doi.org/10.18653/v1/2023.wmt-1.64
Kocmi, T., & Federmann, C. (2023b). Large Language Models Are State-of-the-Art Evaluators of Translation Quality. Proceedings of the 24th Annual Conference of the European Association for Machine Translation, 193–203. https://aclanthology.org/2023.eamt-1.19/
Kocmi, T., Artemova, E., Avramidis, E., Bawden, R., Bojar, O., Dranch, K., et al. (2025). Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 355–413. https://doi.org/10.18653/v1/2025.wmt-1.22
Kocmi, T., Avramidis, E., Bawden, R., Bojar, O., Dvorkovich, A., Federmann, C., et al. (2024b). Findings of the WMT24 General Machine Translation Shared Task: The LLM Era Is Here but MT Is Not Solved Yet. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1–46. https://doi.org/10.18653/v1/2024.wmt-1.1
Kocmi, T., Zouhar, V., Avramidis, E., Grundkiewicz, R., Karpinska, M., Popović, M., et al. (2024a). Error Span Annotation: A Balanced Approach for Human Evaluation of Machine Translation. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1440–1453. https://doi.org/10.18653/v1/2024.wmt-1.131
Lavie, A., Hanneman, G., Agrawal, S., Kanojia, D., Lo, C., Zouhar, V., et al. (2025). Findings of the WMT25 Shared Task on Automated Translation Evaluation Systems: Linguistic Diversity is Challenging and References Still Help. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 436–483. https://doi.org/10.18653/v1/2025.wmt-1.24
Turpin, M., Michael, J., Perez, E., & Bowman, S. R. (2023). Language Models Don't Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting. Advances in Neural Information Processing Systems 36 (NeurIPS 2023). https://openreview.net/forum?id=bzs4uPLXvi
Zheng, L., Chiang, W.-L., Sheng, Y., Zhuang, S., Wu, Z., Zhuang, Y., et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. Advances in Neural Information Processing Systems 36 (NeurIPS 2023), Datasets and Benchmarks Track. https://proceedings.neurips.cc/paper_files/paper/2023/hash/91f18a1287b398d378ef22505bf41832-Abstract-Datasets_and_Benchmarks.html
Zouhar, V., Bafna, N., Choudhary, M., Züfle, M., Rajaee, S., Chen, P., et al. (2026). Last Translation Benchmark. Preprint, arXiv:2609.04173. http://arxiv.org/abs/2609.04173

Human evaluation: DA, MQM and ESAL'évaluation humaine : DA, MQM et ESA

Three levels of detail

The automatic methods of this chapter involve people only indirectly, through a reference translation or the human judgements a metric was trained on. Human evaluation is often out of reach because of its cost, but it remains the best evaluation available, for machine translation too: WMT keeps it as the final arbiter of its rankings (Kocmi et al., 2025). People can judge a translation at three levels of detail:

a score per segment, with direct assessment (DA);
the errors located, each marked as minor or major, and a score for the segment, with Error Span Annotation (ESA);
the errors located and classified, each with a category and a severity, with Multidimensional Quality Metrics (MQM).

This page takes these three methods as examples; there are many others. Figure 11figure 11 shows one translation under the three.

The source The client called back this morning about the contract and its translation Le client a rappelé ce matin au sujet du contact, under three protocols. Direct assessment: the sentence unmarked and a score of 45 out of 100. MQM: contact marked as accuracy, mistranslation, major, weight 5, and the missing full stop as fluency, punctuation, minor, weight 0.1, for a penalty of 5.1. ESA: contact marked major and the missing full stop minor, with no category, and a score of 40 out of 100. — Figure 11. One translation under three human protocols. The scores are illustrative.

The unit people judge can change the result. Some errors only show across sentences, so a translation judged sentence by sentence can look better than the same translation judged as a whole document (Läubli et al., 2018) (see also the Comparing machine and human translation page) (voir aussi la page Comparer la traduction automatique et la traduction humaine).

Direct assessment

In direct assessment, a rater reads a segment and gives it a score on a scale, for instance from 0 to 100. A rater who knows both languages compares the translation with the source; a rater who knows only the target language compares it with a reference translation (Jurafsky & Martin, 2026). Direct assessment was the human evaluation of WMT from 2016 until ESA replaced it in 2024 (Kocmi et al., 2024a).

Fast and cheap. One score per segment, and the raters need no training in an error scheme.
Noisy. Raters use the scale differently, so their scores are usually normalized per rater and outlier raters removed (Jurafsky & Martin, 2026). The scores vary so much that each system needs many annotations, and the system rankings were less reliable than with MQM or ESA (Kocmi et al., 2024a).
No explanation. The score says how good a translation is, not what is wrong with it.

MQM

Multidimensional Quality Metrics, MQM, is a framework for annotating the errors of a translation (Lommel et al., 2014). It offers a catalogue of error types from which each evaluation picks the ones it needs, and the errors found are weighted into a score. The sections below follow the version that Freitag et al. (2021) established for the evaluation of machine translation.

Annotating the errors

The annotator reads each segment of the translation in the context of its whole document, and records up to five errors per segment. For each error, the annotator (Figure 12figure 12):

highlights the span, that is, the stretch of text that contains the error;
chooses a category, from the table below;
assigns a severity: major for an actual error of translation or grammar, minor for a smaller imperfection, neutral for a subjective remark that does not count as an error (Freitag et al., 2021).

A source sentence, The client called back this morning about the contract, and its machine translation, Le client a rappelé ce matin au sujet du contact, with two spans highlighted. The span contact is labelled accuracy, mistranslation, major, weight 5. A missing full stop at the end is labelled fluency, punctuation, minor, weight 0.1. A line under the sentence gives the penalty, 5.1. — Figure 12. One sentence annotated in the MQM scheme of Freitag et al. (2021): each error has a span, a category, a severity and a weight.

Category	Errors it covers	Example
Accuracy	an addition, an omission, a mistranslation, untranslated text	contact for contract
Fluency	punctuation, spelling, grammar, register, inconsistency	a missing full stop; Le client ont rappelé
Terminology	a term that does not fit the context, or is used inconsistently	entente where the client’s termbase prescribes contrat
Style	awkward wording	en ce qui concerne la question du contrat
Locale conventions	the format of addresses, currencies, dates, names, telephone numbers and times	10/13/2026 in a text for French readers
Non-translation	a segment too garbled, or too unrelated to the source, for separate errors to be identified	an output about something else entirely

The error categories of MQM in the version of Freitag et al. (2021), with an example of each.

The scheme also has a category for an error in the source, annotated separately, and one for any other problem.

From errors to a score

Each error gets a weight according to its severity and its category, and the weights of a segment are added up: the lower the total, the better the translation. The segment in the figure has a penalty of 5.1.

Severity	Category	Weight
major	non-translation	25
major	any other	5
minor	punctuation	0.1
minor	any other	1
neutral	any	0

The weights of the MQM scheme of Freitag et al. (2021).

Minor punctuation errors weigh little because they are frequent and easy to correct automatically (Freitag et al., 2021). Other versions of the framework differ in two ways:

a critical severity, worse than major, which Freitag et al. (2021) left out because the line between major and critical depends too much on context;
a quality score expressed as a percentage, from which the penalties are subtracted (Lommel et al., 2014); ISO 5060:2024 likewise turns penalty points into an error score and a quality rating (International Organization for Standardization, 2024).

Limits of MQM

It depends on the annotators. When professional translators annotated the output of the systems of a WMT edition with this scheme, their ranking of the systems differed substantially from the ranking that crowd workers had produced by rating the same output (Freitag et al., 2021).
It is the most expensive of the three protocols on this page. It takes time, and it takes experts, who are not available for every language (Kocmi et al., 2024a).
Terminology checks can penalize valid variation. Automatic measures of terminological consistency assume that every occurrence of a term should get the same translation, and an annotator applying the inconsistency subcategory of MQM can do the same, but translators sometimes vary their terms on purpose. On English-French scientific texts, systems varied less than people, and forcing a system to follow a glossary improved accuracy and consistency but suppressed valid variation (Dahan et al., 2026).

ESA

Error Span Annotation, ESA, keeps most of what MQM gives at a lower cost (Kocmi et al., 2024a). The annotator marks each error span as minor or major, without a category, then scores the whole segment from 0 to 100, as in the last panel of Figure 11figure 11.

Marking the errors first makes the score more consistent than a score given directly, because the annotator has the errors in view (Kocmi et al., 2024a). WMT adopted ESA in 2024; in 2025 its annotators, many of them professional translators or linguists and not experts in this kind of annotation, marked and scored whole paragraphs (Kocmi et al., 2025).

Choosing a protocol

	Direct assessment (a score per segment)	MQM	ESA
The annotator’s task	reads the segment, gives a score	marks every error span, with a category and a severity	marks every error span as minor or major, then gives a score from 0 to 100
The result	a score	the errors, located and classified; a weighted score	the errors located; a score
Annotators	anyone fluent	trained annotators, ideally translators	translators, without MQM training
Cost	lowest	highest: a median of 38 seconds per paragraph against 29 for ESA, and experts paid twice the hourly wage	between the two
Use	a quick ranking, though a noisy one	diagnosis: what is wrong and how often	ranking many systems at a quality close to MQM; WMT’s main protocol since 2024

Three human protocols for translation, compared (Kocmi et al., 2024a).

All three depend on their annotators, so an evaluation reports who annotated, with what instructions, and how well they agreed with each other.

Sources

Dahan, N., Peng, Z., Yvon, F., & Bawden, R. (2026). Improving Term Evaluation in Machine Translation: Variation Matters. Proceedings of the 17th Conference of the Association for Machine Translation in the Americas (Research Track). https://aclanthology.org/2026.amta-research.7/
Freitag, M., Foster, G., Grangier, D., Ratnakar, V., Tan, Q., & Macherey, W. (2021). Experts, Errors, and Context: A Large-Scale Study of Human Evaluation for Machine Translation. Transactions of the Association for Computational Linguistics, 9, 1460–1474. https://doi.org/10.1162/tacl_a_00437
International Organization for Standardization (2024). ISO 5060:2024: Translation services — Evaluation of translation output — General guidance. International Organization for Standardization, Geneva. https://www.iso.org/standard/80701.html
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Kocmi, T., Artemova, E., Avramidis, E., Bawden, R., Bojar, O., Dranch, K., et al. (2025). Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 355–413. https://doi.org/10.18653/v1/2025.wmt-1.22
Kocmi, T., Zouhar, V., Avramidis, E., Grundkiewicz, R., Karpinska, M., Popović, M., et al. (2024a). Error Span Annotation: A Balanced Approach for Human Evaluation of Machine Translation. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1440–1453. https://doi.org/10.18653/v1/2024.wmt-1.131
Läubli, S., Sennrich, R., & Volk, M. (2018). Has machine translation achieved human parity? A case for document-level evaluation. Proceedings of EMNLP 2018, 4791–4796. https://aclanthology.org/D18-1512/
Lommel, A., Uszkoreit, H., & Burchardt, A. (2014). Multidimensional Quality Metrics (MQM): A Framework for Declaring and Describing Translation Quality Metrics. Tradumàtica: tecnologies de la traducció, 12, 455–463. https://doi.org/10.5565/rev/tradumatica.77

Trois niveaux de détail

Les méthodes automatiques de ce chapitre ne font intervenir des personnes qu’indirectement, par une traduction de référence ou par les jugements humains sur lesquels une métrique a été entraînée. L’évaluation humaine est souvent hors de portée à cause de son coût, mais elle reste la meilleure évaluation disponible, pour la traduction automatique aussi : WMT la garde comme arbitre final de ses classements (Kocmi et al., 2025). Les personnes peuvent juger une traduction à trois niveaux de détail :

un score par segment, avec l’évaluation directe (en anglais direct assessment, DA) ;
les erreurs situées, chacune marquée comme mineure ou majeure, et un score pour le segment, avec l’annotation des passages erronés (en anglais Error Span Annotation, ESA) ;
les erreurs situées et classées, chacune avec une catégorie et une gravité, avec MQM (Multidimensional Quality Metrics).

Cette page prend ces trois méthodes comme exemples ; il en existe beaucoup d’autres. La Figure 11figure 11 montre une même traduction selon les trois.

La source The client called back this morning about the contract et sa traduction Le client a rappelé ce matin au sujet du contact, selon trois protocoles. Évaluation directe : la phrase sans marque et une note de 45 sur 100. MQM : contact marqué comme exactitude, erreur de sens, majeure, poids 5, et le point final manquant comme fluidité, ponctuation, mineure, poids 0,1, pour une pénalité de 5,1. ESA : contact marqué comme majeure et le point final manquant comme mineure, sans catégorie, et une note de 40 sur 100. — Figure 11. Une même traduction selon trois protocoles humains. Les scores sont donnés à titre d'illustration.

L’unité que jugent les personnes peut changer le résultat. Certaines erreurs n’apparaissent que d’une phrase à l’autre, si bien qu’une traduction jugée phrase par phrase peut paraître meilleure que la même traduction jugée comme un document entier (Läubli et al., 2018) (see also the Comparing machine and human translation page) (voir aussi la page Comparer la traduction automatique et la traduction humaine).

L’évaluation directe

Dans l’évaluation directe, un évaluateur lit un segment et lui donne un score sur une échelle, par exemple de 0 à 100. Un évaluateur qui connaît les deux langues compare la traduction avec la source ; un évaluateur qui ne connaît que la langue cible la compare avec une traduction de référence (Jurafsky & Martin, 2026). L’évaluation directe a été l’évaluation humaine de WMT de 2016 jusqu’à ce qu’ESA la remplace en 2024 (Kocmi et al., 2024a).

Rapide et peu coûteuse. Un score par segment, et les évaluateurs n’ont pas besoin d’être formés à un système d’erreurs.
Bruitée. Les évaluateurs n’utilisent pas l’échelle de la même façon : leurs scores sont donc habituellement normalisés par évaluateur, et les évaluateurs aberrants sont écartés (Jurafsky & Martin, 2026). Les scores varient tant que chaque système demande de nombreuses annotations, et les classements des systèmes étaient moins fiables qu’avec MQM ou ESA (Kocmi et al., 2024a).
Aucune explication. Le score dit si une traduction est bonne, et non ce qui ne va pas.

MQM

MQM, pour Multidimensional Quality Metrics, est un cadre pour annoter les erreurs d’une traduction (Lommel et al., 2014). Il propose un catalogue de types d’erreurs dans lequel chaque évaluation choisit ceux dont elle a besoin, et les erreurs trouvées sont pondérées pour donner un score. Les sections ci-dessous suivent la version que Freitag et al. (2021) ont établie pour l’évaluation de la traduction automatique.

L’annotation des erreurs

L’annotatrice ou l’annotateur lit chaque segment de la traduction dans le contexte de tout son document, et note jusqu’à cinq erreurs par segment. Pour chaque erreur, la personne (Figure 12figure 12) :

surligne le passage, c’est-à-dire la portion de texte qui contient l’erreur ;
choisit une catégorie, dans le tableau ci-dessous ;
attribue une gravité : majeure pour une véritable erreur de traduction ou de grammaire, mineure pour une imperfection plus légère, neutre pour une remarque subjective qui ne compte pas comme une erreur (Freitag et al., 2021).

Une phrase source, The client called back this morning about the contract, et sa traduction automatique, Le client a rappelé ce matin au sujet du contact, avec deux passages surlignés. Le passage contact porte l'étiquette exactitude, erreur de sens, majeure, poids 5. Un point final manquant porte l'étiquette fluidité, ponctuation, mineure, poids 0,1. Une ligne sous la phrase donne la pénalité, 5,1. — Figure 12. Une phrase annotée selon le système MQM de Freitag et al. (2021) : chaque erreur a un passage, une catégorie, une gravité et un poids.

Catégorie	Erreurs couvertes	Exemple
Exactitude	un ajout, une omission, une erreur de sens, un passage non traduit	contact pour contract
Fluidité	la ponctuation, l’orthographe, la grammaire, le registre, l’incohérence	un point final manquant ; Le client ont rappelé
Terminologie	un terme qui ne convient pas au contexte, ou employé de façon incohérente	entente là où la base terminologique du client prescrit contrat
Style	une tournure maladroite	en ce qui concerne la question du contrat
Conventions locales	le format des adresses, des devises, des dates, des noms, des numéros de téléphone et des heures	10/13/2026 dans un texte destiné à des lecteurs francophones
Non-traduction	un segment trop confus, ou trop éloigné de la source, pour qu’on puisse y relever des erreurs distinctes	une sortie qui parle de tout autre chose

Les catégories d'erreurs de MQM dans la version de Freitag et al. (2021), avec un exemple de chacune.

Le système prévoit aussi une catégorie pour une erreur dans la source, annotée à part, et une autre pour tout autre problème.

Des erreurs au score

Chaque erreur reçoit un poids selon sa gravité et sa catégorie, et les poids d’un segment sont additionnés : plus le total est bas, meilleure est la traduction. Le segment de la figure a une pénalité de 5,1.

Gravité	Catégorie	Poids
majeure	non-traduction	25
majeure	toute autre	5
mineure	ponctuation	0,1
mineure	toute autre	1
neutre	toute catégorie	0

Les poids du système MQM de Freitag et al. (2021).

Les erreurs mineures de ponctuation pèsent peu parce qu’elles sont fréquentes et faciles à corriger automatiquement (Freitag et al., 2021). D’autres versions du cadre diffèrent sur deux points :

une gravité critique, plus grave que majeure, que Freitag et al. (2021) ont écartée parce que la limite entre majeure et critique dépend trop du contexte ;
un score de qualité exprimé en pourcentage, dont on soustrait les pénalités (Lommel et al., 2014) ; la norme ISO 5060:2024 transforme elle aussi les points de pénalité en un score d’erreurs et une note de qualité (International Organization for Standardization, 2024).

Les limites de MQM

Le résultat dépend des annotateurs. Quand des traducteurs professionnels ont annoté avec ce système la sortie des systèmes d’une édition de WMT, leur classement des systèmes différait nettement de celui que des travailleurs recrutés sur une plateforme de production participative avaient établi en notant la même sortie (Freitag et al., 2021).
C’est le plus coûteux des trois protocoles de cette page. Il demande du temps, et il demande des experts, qui ne sont pas disponibles pour toutes les langues (Kocmi et al., 2024a).
Les vérifications terminologiques peuvent pénaliser une variation légitime. Les mesures automatiques de cohérence terminologique supposent que chaque occurrence d’un terme doit recevoir la même traduction, et une personne qui applique la sous-catégorie d’incohérence de MQM peut faire de même, mais il arrive que les traducteurs varient leurs termes à dessein. Sur des textes scientifiques anglais-français, les systèmes variaient moins que les personnes, et imposer un glossaire à un système améliorait l’exactitude et la cohérence, mais supprimait une variation légitime (Dahan et al., 2026).

ESA

ESA, pour Error Span Annotation, conserve l’essentiel de ce que donne MQM pour un coût moindre (Kocmi et al., 2024a). L’annotatrice ou l’annotateur marque chaque passage erroné comme mineur ou majeur, sans catégorie, puis note le segment entier de 0 à 100, comme dans le dernier panneau de la Figure 11figure 11.

Marquer d’abord les erreurs rend le score plus cohérent qu’un score donné directement, parce que la personne a les erreurs sous les yeux (Kocmi et al., 2024a). WMT a adopté ESA en 2024 ; en 2025, ses annotateurs, dont beaucoup de traducteurs professionnels ou de linguistes qui n’étaient pas spécialistes de ce type d’annotation, ont marqué et noté des paragraphes entiers (Kocmi et al., 2025).

Choisir un protocole

	Évaluation directe (un score par segment)	MQM	ESA
La tâche de l’annotateur	lit le segment, donne un score	marque chaque passage erroné, avec une catégorie et une gravité	marque chaque passage erroné comme mineur ou majeur, puis donne un score de 0 à 100
Le résultat	un score	les erreurs, situées et classées ; un score pondéré	les erreurs situées ; un score
Les annotateurs	toute personne qui maîtrise la langue	des annotateurs formés, idéalement des traducteurs	des traducteurs, sans formation à MQM
Le coût	le plus bas	le plus élevé : une médiane de 38 secondes par paragraphe contre 29 pour ESA, et des experts payés deux fois le salaire horaire	entre les deux
L’usage	un classement rapide, mais bruité	le diagnostic : ce qui ne va pas, et à quelle fréquence	classer de nombreux systèmes avec une qualité proche de MQM ; principal protocole de WMT depuis 2024

Trois protocoles humains pour la traduction, comparés (Kocmi et al., 2024a).

Les trois dépendent de leurs annotateurs : une évaluation précise donc qui a annoté, avec quelles consignes, et dans quelle mesure les annotateurs s’accordaient entre eux.

Sources

Dahan, N., Peng, Z., Yvon, F., & Bawden, R. (2026). Improving Term Evaluation in Machine Translation: Variation Matters. Proceedings of the 17th Conference of the Association for Machine Translation in the Americas (Research Track). https://aclanthology.org/2026.amta-research.7/
Freitag, M., Foster, G., Grangier, D., Ratnakar, V., Tan, Q., & Macherey, W. (2021). Experts, Errors, and Context: A Large-Scale Study of Human Evaluation for Machine Translation. Transactions of the Association for Computational Linguistics, 9, 1460–1474. https://doi.org/10.1162/tacl_a_00437
International Organization for Standardization (2024). ISO 5060:2024: Translation services — Evaluation of translation output — General guidance. International Organization for Standardization, Geneva. https://www.iso.org/standard/80701.html
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Kocmi, T., Artemova, E., Avramidis, E., Bawden, R., Bojar, O., Dranch, K., et al. (2025). Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 355–413. https://doi.org/10.18653/v1/2025.wmt-1.22
Kocmi, T., Zouhar, V., Avramidis, E., Grundkiewicz, R., Karpinska, M., Popović, M., et al. (2024a). Error Span Annotation: A Balanced Approach for Human Evaluation of Machine Translation. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1440–1453. https://doi.org/10.18653/v1/2024.wmt-1.131
Läubli, S., Sennrich, R., & Volk, M. (2018). Has machine translation achieved human parity? A case for document-level evaluation. Proceedings of EMNLP 2018, 4791–4796. https://aclanthology.org/D18-1512/
Lommel, A., Uszkoreit, H., & Burchardt, A. (2014). Multidimensional Quality Metrics (MQM): A Framework for Declaring and Describing Translation Quality Metrics. Tradumàtica: tecnologies de la traducció, 12, 455–463. https://doi.org/10.5565/rev/tradumatica.77

Comparing machine and human translationComparer la traduction automatique et la traduction humaine

Human parity

In 2018, Microsoft reported that its system translated Chinese news into English “at human parity when compared to professional human translations” (Hassan et al., 2018). Toral et al. (2018) and Läubli et al. (2018, 2020) re-examined the claim and found that the outcome changed with four factors.

Factors in the comparison

Factor	Effect on the comparison
Who judges	professional translators agreed with each other more than non-experts did, and saw a wider gap between human and machine translations
How much context	judged as whole documents rather than isolated sentences, the human translations were preferred more clearly
The source texts	on the texts originally written in Chinese, rather than translated into Chinese, the difference was significant and parity was not reached
The human translation	the result depends on how the human translation used for comparison was produced

What changed the outcome when the 2018 claim was re-examined (Toral et al., 2018; Läubli et al., 2018, 2020).

With these taken into account, “the professional human translations contained significantly fewer errors” (Läubli et al., 2020). The paper ends with recommendations for any such comparison: professional translators as raters, whole documents, fluency evaluated as well as adequacy, reference translations not heavily edited for fluency, and original source texts; Toral et al. (2018) add human translations made from scratch by experienced professionals.Measured on the neural systems of 2017 and 2018, for Chinese to English news.

Results since

Meaning against fluency. In a blind evaluation with context, an English-to-Czech neural system preserved meaning better than professional-agency translations of news, while the human translations were still rated more fluent, and most participants of a “Translation Turing test” struggled to tell the two apart (Popel et al., 2020).Named after Alan Turing’s test, in which a judge tries to tell a machine from a person. Here each participant saw 100 separate sentences, each with its source and a single translation, and said whether a machine or a person had translated it; 15 participants (5 professional translators, 6 MT researchers and 4 others) judged the system’s translations mixed with human ones.
WMT 2024. The human translations were in the winning cluster for 7 of 11 language pairs (Kocmi et al., 2024b).
WMT 2025. Gemini 2.5 Pro was on par with or better than the human translation in 10 of 16 language pairs, and of the 15 pairs in which a human translation was ranked, it reached the top group in only 6 (Kocmi et al., 2025).

The WMT organizers add two caveats to their own results: their human translations, made by professionals, “are not necessarily free of errors or undergo the same level of post-editing” as sworn or published translations, and the ranking “could also reflect the stylistic or lexical preferences of the annotators” (Kocmi et al., 2025).

Literary translation

Literary translation is a hard case for the comparison, and the results divide according to who judges and how:

Experts mostly prefer the human translation. Expert literary translators preferred the published human translation to the output of Google Translate 84 % of the time (Thai et al., 2022), and over a larger evaluation, published human translations consistently outperformed large language model (LLM) translations, which were “considerably more literal and less diverse” (Zhang et al., 2025a).
Avid readers often cannot tell the two apart, and their guess follows their preference. Fifteen avid readers of recent novels found the machine translations “fine” but preferred the human ones, and could not reliably say which was which. In 28 of 30 comparisons, they took the version they preferred to be the human one: in all 11 where they preferred the machine translation and in 17 of the 19 where they preferred the human one. The study cannot say whether the belief shaped the preference or the preference the belief, but the two could not be separated, which is why such comparisons are run blind (Ferstler et al., 2026).A preprint accepted at Findings of EMNLP 2026; the machine translations came from two coding agents, Claude Code with Claude Opus 4.6 and Codex with GPT-5.4.
Judgements on fluency favour the machine. Raters who read only the translations preferred a multi-agent LLM system to the human references (Wu et al., 2025a), and in blind evaluations, LLM translations were frequently preferred “particularly in terms of fluency” (Wang et al., 2026b).
Metrics follow neither the experts nor the readers. Automatic metrics did not correlate with the experts’ preferences (Thai et al., 2022), and automatic metrics and LLM judges favoured the machine translations that readers liked less (Ferstler et al., 2026).

Fluency and expertise

The position of machine translation against human translation has changed with each generation of systems. A neural system of 2018 was judged less fluent than human translators even where it preserved meaning better (Popel et al., 2020), and raters who judged the fluency of the 2017 and 2018 systems without the source preferred the human translations more clearly than raters who saw it (Läubli et al., 2020). GPT-3.5 translated whole paragraphs with fewer mistranslations, grammar errors and stylistic inconsistencies than sentence by sentence, although critical errors such as omissions remained (Karpinska & Iyyer, 2023).Tested on literary paragraphs, in 18 language pairs. In the recent literary comparisons above, LLM translations were preferred for their fluency. These studies differ in their languages, texts and raters, so the contrast is a pattern across studies rather than a measured change.

The better machine translation gets, the less its errors show on the surface. In rule-based and statistical output, an omission usually came with a fluency error around it; in neural output, “the fluency is no indicator that all the source content is being transferred into the target” (Van Brussel et al., 2018). With recent systems, a rater who reads only the translation, or who lacks the expertise to weigh it, is therefore likely to judge mainly on fluency.

With student evaluators and a detailed error scheme, nearly 60 % of the human literary translations were “misjudged as indistinguishable or inferior to machine translations”, but evaluations by professionals were more adequate than those by students (Zhang et al., 2025a); professional translators also ranked news systems differently from crowd workers, with a clearer preference for the human translations (Freitag et al., 2021). I know of no study that has tested directly whether the expertise needed grows as the systems improve. The same question arises for generated text in general.

Reading a parity claim

A claim that a system translates as well as people, or better, says little until it is clear:

which human translation it was compared with, by whom, and how carefully it was checked;
who judged: professional translators or not, with the source or only the target;
what they saw: isolated sentences or whole documents;
which texts: written in the source language or themselves translated;
what was measured: meaning, fluency, a preference or errors.

Sources

Ferstler, Y., Podoxin, A., Brassington, T., Laperrière, G., Grundkiewicz, R., Meurs, M.-J., et al. (2026). AI translation of literary texts is "fine", but readers still prefer human translations. arXiv preprint arXiv:2606.26040; accepted at Findings of EMNLP 2026. https://doi.org/10.48550/arXiv.2606.26040
Freitag, M., Foster, G., Grangier, D., Ratnakar, V., Tan, Q., & Macherey, W. (2021). Experts, Errors, and Context: A Large-Scale Study of Human Evaluation for Machine Translation. Transactions of the Association for Computational Linguistics, 9, 1460–1474. https://doi.org/10.1162/tacl_a_00437
Hassan, H., Aue, A., Chen, C., Chowdhary, V., Clark, J., Federmann, C., et al. (2018). Achieving Human Parity on Automatic Chinese to English News Translation. arXiv preprint arXiv:1803.05567. https://doi.org/10.48550/arXiv.1803.05567
Karpinska, M., & Iyyer, M. (2023). Large language models effectively leverage document-level context for literary translation, but critical errors persist. Proceedings of the Eighth Conference on Machine Translation (WMT 2023). https://aclanthology.org/2023.wmt-1.41/
Kocmi, T., Artemova, E., Avramidis, E., Bawden, R., Bojar, O., Dranch, K., et al. (2025). Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 355–413. https://doi.org/10.18653/v1/2025.wmt-1.22
Kocmi, T., Avramidis, E., Bawden, R., Bojar, O., Dvorkovich, A., Federmann, C., et al. (2024b). Findings of the WMT24 General Machine Translation Shared Task: The LLM Era Is Here but MT Is Not Solved Yet. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1–46. https://doi.org/10.18653/v1/2024.wmt-1.1
Läubli, S., Castilho, S., Neubig, G., Sennrich, R., Shen, Q., & Toral, A. (2020). A Set of Recommendations for Assessing Human–Machine Parity in Language Translation. Journal of Artificial Intelligence Research, 67. https://doi.org/10.1613/jair.1.11371
Läubli, S., Sennrich, R., & Volk, M. (2018). Has machine translation achieved human parity? A case for document-level evaluation. Proceedings of EMNLP 2018, 4791–4796. https://aclanthology.org/D18-1512/
Popel, M., Tomkova, M., Tomek, J., Kaiser, Ł., Uszkoreit, J., Bojar, O., & Žabokrtský, Z. (2020). Transforming machine translation: a deep learning system reaches news translation quality comparable to human professionals. Nature Communications, 11, 4381. https://doi.org/10.1038/s41467-020-18073-9
Thai, K., Karpinska, M., Krishna, K., Ray, B., Inghilleri, M., Wieting, J., & Iyyer, M. (2022). Exploring Document-Level Literary Machine Translation with Parallel Paragraphs from World Literature. Proceedings of EMNLP 2022, 9882–9902. https://doi.org/10.18653/v1/2022.emnlp-main.672
Toral, A., Castilho, S., Hu, K., & Way, A. (2018). Attaining the Unattainable? Reassessing Claims of Human Parity in Neural Machine Translation. Proceedings of the Third Conference on Machine Translation: Research Papers, 113–123. https://doi.org/10.18653/v1/W18-6312
Van Brussel, L., Tezcan, A., & Macken, L. (2018). A fine-grained error analysis of NMT, SMT and RBMT output for English-to-Dutch. Proceedings of LREC 2018. https://aclanthology.org/L18-1600/
Wang, L., Sun, S., Wang, X., Gu, J., & Liu, K. (2026b). Workflow matters: Comparing human translators and multi-agent LLMs in literary translation. Target. International Journal of Translation Studies, 38(3), 422–453. https://doi.org/10.1075/target.25081.wan
Wu, M., Xu, J., Yuan, Y., Haffari, G., Wang, L., Luo, W., & Zhang, K. (2025a). (Perhaps) Beyond Human Translation: Harnessing Multi-Agent Collaboration for Translating Ultra-Long Literary Texts. Transactions of the Association for Computational Linguistics, 13, 901–922. https://doi.org/10.1162/TACL.a.25
Zhang, R., Zhao, W., & Eger, S. (2025a). How Good Are LLMs for Literary Translation, Really? Literary Translation Evaluation with Humans and LLMs. Proceedings of NAACL 2025 (Long Papers), 10961–10988. https://doi.org/10.18653/v1/2025.naacl-long.548

La parité avec l’humain

En 2018, Microsoft a annoncé que son système traduisait des actualités chinoises vers l’anglais « at human parity when compared to professional human translations » [ma traduction : « à parité avec l’humain par rapport à des traductions humaines professionnelles »] (Hassan et al., 2018). Toral et al. (2018) et Läubli et al. (2018, 2020) ont réexaminé cette affirmation et constaté que le résultat changeait selon quatre facteurs.

Les facteurs de la comparaison

Facteur	Effet sur la comparaison
Qui juge	les traducteurs professionnels s’accordaient davantage entre eux que les non-spécialistes, et voyaient un écart plus grand entre les traductions humaines et les traductions automatiques
La part de contexte	jugées comme des documents entiers plutôt que comme des phrases isolées, les traductions humaines étaient préférées plus nettement
Les textes sources	sur les textes écrits à l’origine en chinois, plutôt que traduits vers le chinois, l’écart était significatif et la parité n’était pas atteinte
La traduction humaine	le résultat dépend de la façon dont la traduction humaine employée pour la comparaison a été produite

Ce qui a changé le résultat quand l'affirmation de 2018 a été réexaminée (Toral et al., 2018 ; Läubli et al., 2018, 2020).

Une fois ces facteurs pris en compte, « the professional human translations contained significantly fewer errors » [ma traduction : « les traductions humaines professionnelles contenaient significativement moins d’erreurs »] (Läubli et al., 2020). L’article se termine par des recommandations pour toute comparaison de ce genre : des traducteurs professionnels comme évaluateurs, des documents entiers, une évaluation de la fluidité en plus de l’adéquation, des traductions de référence qui n’ont pas été fortement retouchées pour la fluidité, et des textes sources originaux ; Toral et al. (2018) y ajoutent des traductions humaines faites de zéro par des professionnels expérimentés.Mesuré sur les systèmes neuronaux de 2017 et 2018, pour des actualités traduites du chinois vers l’anglais.

Les résultats depuis

Le sens contre la fluidité. Dans une évaluation à l’aveugle avec contexte, un système neuronal de l’anglais vers le tchèque rendait mieux le sens que des traductions d’actualités faites par des agences professionnelles, alors que les traductions humaines étaient encore jugées plus fluides, et la plupart des participants d’un « test de Turing de la traduction » avaient du mal à distinguer les deux (Popel et al., 2020).D’après le test d’Alan Turing, où un juge tente de distinguer une machine d’une personne. Ici, chaque participant voyait 100 phrases séparées, chacune avec sa source et une seule traduction, et disait si une machine ou une personne l’avait traduite ; 15 participants (5 traducteurs professionnels, 6 chercheurs en traduction automatique et 4 autres personnes) ont jugé les traductions du système mêlées à des traductions humaines.
WMT 2024. Les traductions humaines figuraient dans le groupe gagnant pour 7 paires de langues sur 11 (Kocmi et al., 2024b).
WMT 2025. Gemini 2.5 Pro égalait ou dépassait la traduction humaine pour 10 paires de langues sur 16, et sur les 15 paires pour lesquelles une traduction humaine a été classée, celle-ci n’a atteint le groupe de tête que pour 6 (Kocmi et al., 2025).

Les organisateurs de WMT assortissent leurs propres résultats de deux réserves : leurs traductions humaines, faites par des professionnels, « are not necessarily free of errors or undergo the same level of post-editing » [ma traduction : « ne sont pas forcément exemptes d’erreurs ni révisées au même degré »] que des traductions assermentées ou publiées, et le classement « could also reflect the stylistic or lexical preferences of the annotators » [ma traduction : « pourrait aussi refléter les préférences stylistiques ou lexicales des annotateurs »] (Kocmi et al., 2025).

La traduction littéraire

La traduction littéraire est un cas difficile pour la comparaison, et les résultats divergent selon qui juge et comment :

Les experts préfèrent le plus souvent la traduction humaine. Des traducteurs littéraires experts préféraient la traduction humaine publiée à la sortie de Google Translate dans 84 % des cas (Thai et al., 2022), et sur une évaluation plus vaste, les traductions humaines publiées surpassaient de façon constante celles des grands modèles de langue (GML), qui étaient « considerably more literal and less diverse » [ma traduction : « nettement plus littérales et moins variées »] (Zhang et al., 2025a).
Les lecteurs assidus ne distinguent souvent pas les deux, et leur hypothèse suit leur préférence. Quinze grands lecteurs de romans récents trouvaient les traductions automatiques « fine » [ma traduction : « correctes »], mais préféraient les traductions humaines, et ne savaient pas dire de façon fiable laquelle était laquelle. Dans 28 comparaisons sur 30, ils ont pris la version qu’ils préféraient pour la version humaine : dans les 11 où ils préféraient la traduction automatique, et dans 17 des 19 où ils préféraient la traduction humaine. L’étude ne peut pas dire si la croyance a façonné la préférence ou la préférence la croyance, mais les deux n’ont pas pu être séparées, ce qui explique que de telles comparaisons se fassent à l’aveugle (Ferstler et al., 2026).Prépublication acceptée aux Findings of EMNLP 2026 ; les traductions automatiques venaient de deux agents de programmation, Claude Code avec Claude Opus 4.6 et Codex avec GPT-5.4.
Les jugements sur la fluidité avantagent la machine. Des évaluateurs qui ne lisaient que les traductions préféraient un système de GML à plusieurs agents aux traductions humaines de référence (Wu et al., 2025a), et dans des évaluations à l’aveugle, les traductions des GML étaient souvent préférées « particularly in terms of fluency » [ma traduction : « en particulier pour la fluidité »] (Wang et al., 2026b).
Les métriques ne suivent ni les experts ni les lecteurs. Les métriques automatiques n’étaient pas corrélées aux préférences des experts (Thai et al., 2022), et les métriques automatiques et les GML employés comme juges favorisaient les traductions automatiques que les lecteurs aimaient moins (Ferstler et al., 2026).

La fluidité et l’expertise

La position de la traduction automatique par rapport à la traduction humaine a changé à chaque génération de systèmes. Un système neuronal de 2018 était jugé moins fluide que des traducteurs humains, même là où il rendait mieux le sens (Popel et al., 2020), et les évaluateurs qui jugeaient la fluidité des systèmes de 2017 et 2018 sans la source préféraient les traductions humaines plus nettement que ceux qui la voyaient (Läubli et al., 2020). GPT-3.5 traduisait des paragraphes entiers avec moins d’erreurs de sens, de fautes de grammaire et d’incohérences de style que phrase par phrase, même si des erreurs critiques comme les omissions subsistaient (Karpinska & Iyyer, 2023).Testé sur des paragraphes littéraires, dans 18 paires de langues. Dans les comparaisons littéraires récentes présentées plus haut, les traductions des GML étaient préférées pour leur fluidité. Ces études diffèrent par leurs langues, leurs textes et leurs évaluateurs : le contraste est donc une tendance d’une étude à l’autre plutôt qu’un changement mesuré.

Plus la traduction automatique s’améliore, moins ses erreurs se voient en surface. Dans la sortie des systèmes à base de règles et des systèmes statistiques, une omission s’accompagnait d’ordinaire d’une erreur de fluidité autour d’elle ; dans la sortie neuronale, « the fluency is no indicator that all the source content is being transferred into the target » [ma traduction : « la fluidité n’indique pas que tout le contenu de la source a été transféré dans la cible »] (Van Brussel et al., 2018). Avec les systèmes récents, un évaluateur qui ne lit que la traduction, ou qui n’a pas l’expertise pour la juger, risque donc de juger surtout sur la fluidité.

Avec des évaluateurs étudiants et un système d’erreurs détaillé, près de 60 % des traductions littéraires humaines ont été « misjudged as indistinguishable or inferior to machine translations » [ma traduction : « jugées à tort impossibles à distinguer des traductions automatiques, ou inférieures à celles-ci »], mais les évaluations faites par des professionnels étaient plus justes que celles des étudiants (Zhang et al., 2025a) ; des traducteurs professionnels ont aussi classé des systèmes de traduction d’actualités autrement que des travailleurs recrutés sur une plateforme de production participative, avec une préférence plus nette pour les traductions humaines (Freitag et al., 2021). Je ne connais aucune étude qui ait vérifié directement si l’expertise nécessaire augmente à mesure que les systèmes s’améliorent. La même question se pose pour les textes générés en général.

Lire une affirmation de parité

Une affirmation selon laquelle un système traduit aussi bien que des personnes, ou mieux, ne dit pas grand-chose tant qu’on ne sait pas clairement :

à quelle traduction humaine il a été comparé, faite par qui, et vérifiée avec quel soin ;
qui a jugé : des traducteurs professionnels ou non, avec la source ou seulement le texte cible ;
ce que les évaluateurs ont vu : des phrases isolées ou des documents entiers ;
quels textes : écrits dans la langue source ou eux-mêmes traduits ;
ce qui a été mesuré : le sens, la fluidité, une préférence ou des erreurs.

Sources

Ferstler, Y., Podoxin, A., Brassington, T., Laperrière, G., Grundkiewicz, R., Meurs, M.-J., et al. (2026). AI translation of literary texts is "fine", but readers still prefer human translations. arXiv preprint arXiv:2606.26040; accepted at Findings of EMNLP 2026. https://doi.org/10.48550/arXiv.2606.26040
Freitag, M., Foster, G., Grangier, D., Ratnakar, V., Tan, Q., & Macherey, W. (2021). Experts, Errors, and Context: A Large-Scale Study of Human Evaluation for Machine Translation. Transactions of the Association for Computational Linguistics, 9, 1460–1474. https://doi.org/10.1162/tacl_a_00437
Hassan, H., Aue, A., Chen, C., Chowdhary, V., Clark, J., Federmann, C., et al. (2018). Achieving Human Parity on Automatic Chinese to English News Translation. arXiv preprint arXiv:1803.05567. https://doi.org/10.48550/arXiv.1803.05567
Karpinska, M., & Iyyer, M. (2023). Large language models effectively leverage document-level context for literary translation, but critical errors persist. Proceedings of the Eighth Conference on Machine Translation (WMT 2023). https://aclanthology.org/2023.wmt-1.41/
Kocmi, T., Artemova, E., Avramidis, E., Bawden, R., Bojar, O., Dranch, K., et al. (2025). Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 355–413. https://doi.org/10.18653/v1/2025.wmt-1.22
Kocmi, T., Avramidis, E., Bawden, R., Bojar, O., Dvorkovich, A., Federmann, C., et al. (2024b). Findings of the WMT24 General Machine Translation Shared Task: The LLM Era Is Here but MT Is Not Solved Yet. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1–46. https://doi.org/10.18653/v1/2024.wmt-1.1
Läubli, S., Castilho, S., Neubig, G., Sennrich, R., Shen, Q., & Toral, A. (2020). A Set of Recommendations for Assessing Human–Machine Parity in Language Translation. Journal of Artificial Intelligence Research, 67. https://doi.org/10.1613/jair.1.11371
Läubli, S., Sennrich, R., & Volk, M. (2018). Has machine translation achieved human parity? A case for document-level evaluation. Proceedings of EMNLP 2018, 4791–4796. https://aclanthology.org/D18-1512/
Popel, M., Tomkova, M., Tomek, J., Kaiser, Ł., Uszkoreit, J., Bojar, O., & Žabokrtský, Z. (2020). Transforming machine translation: a deep learning system reaches news translation quality comparable to human professionals. Nature Communications, 11, 4381. https://doi.org/10.1038/s41467-020-18073-9
Thai, K., Karpinska, M., Krishna, K., Ray, B., Inghilleri, M., Wieting, J., & Iyyer, M. (2022). Exploring Document-Level Literary Machine Translation with Parallel Paragraphs from World Literature. Proceedings of EMNLP 2022, 9882–9902. https://doi.org/10.18653/v1/2022.emnlp-main.672
Toral, A., Castilho, S., Hu, K., & Way, A. (2018). Attaining the Unattainable? Reassessing Claims of Human Parity in Neural Machine Translation. Proceedings of the Third Conference on Machine Translation: Research Papers, 113–123. https://doi.org/10.18653/v1/W18-6312
Van Brussel, L., Tezcan, A., & Macken, L. (2018). A fine-grained error analysis of NMT, SMT and RBMT output for English-to-Dutch. Proceedings of LREC 2018. https://aclanthology.org/L18-1600/
Wang, L., Sun, S., Wang, X., Gu, J., & Liu, K. (2026b). Workflow matters: Comparing human translators and multi-agent LLMs in literary translation. Target. International Journal of Translation Studies, 38(3), 422–453. https://doi.org/10.1075/target.25081.wan
Wu, M., Xu, J., Yuan, Y., Haffari, G., Wang, L., Luo, W., & Zhang, K. (2025a). (Perhaps) Beyond Human Translation: Harnessing Multi-Agent Collaboration for Translating Ultra-Long Literary Texts. Transactions of the Association for Computational Linguistics, 13, 901–922. https://doi.org/10.1162/TACL.a.25
Zhang, R., Zhao, W., & Eger, S. (2025a). How Good Are LLMs for Literary Translation, Really? Literary Translation Evaluation with Humans and LLMs. Proceedings of NAACL 2025 (Long Papers), 10961–10988. https://doi.org/10.18653/v1/2025.naacl-long.548

Reading the scoresLire les scores

Comparing like with like

Scores from different metrics, test sets, references or tools cannot be compared directly (Figure 13figure 13).

Three rulers of different scales, one under the other: BLEU from 0 to 100 with a mark at 32, chrF from 0 to 100 with a mark at 58, COMET from 0 to 1 with a mark at 0.85. — Figure 13. The same output scored by three metrics. The scores are illustrative.

A score depends on	Consequence
the metric	a BLEU of 32 and a chrF of 58 for the same output are not two measurements of one thing, and neither is a percentage of anything
the language pair	some trained metrics, such as COMET and BLEURT, have different ranges of values for different language pairs, so their scores cannot be assumed to share one scale (Kocmi et al., 2021)
the test set	a harder test set gives lower scores for the same system; WMT made its 2025 test sets harder on purpose (Kocmi et al., 2025)
the reference	a second reference translation gives a different score (see also the Many correct translations page) (voir aussi la page De nombreuses traductions correctes)
the tokenization, for BLEU	two BLEU scores computed with different tools can differ by up to 1.8 points on the same output (Post, 2018)

The things a score depends on.

When all of these are the same, the difference between two scores can be read, with caution. A small difference may be noise: a BLEU difference of one or two points corresponded to a real difference in human judgement only about half the time on the WMT 2019 data Mathur et al. (2020) re-examined. Resampling the test set shows whether a difference is significant (Kocmi et al., 2021; Jurafsky & Martin, 2026) (see also the Interpreting a score page) (voir aussi la page Interpréter un score).

Eight translations of one sentence

The demonstration below scores eight translations of one French sentence, collected in 2026: Google Translate, DeepL, and ChatGPT, Claude and Gemini each with a simple and an elaborate prompt. The simple prompt said only to translate into English; the elaborate one asked for natural, fluent American English with consistent terminology. The two reference translations are my own. The ranking changes with the reference and with the metric as well as with the systems. Every text can be edited, and translations can be added, so the same comparison can be made on other sentences.

Source (not used by BLEU or chrF)Source (ni BLEU ni chrF ne la lisent)

TranslationsTraductions

Scored againstNotées par rapport à

TranslationTraduction	BLEU	chrF

Rank of each translation, by reference and metricRang de chaque traduction, par référence et par métrique

Rank 1 is the highest score; equal scores share a rank. Hover over a translation to follow it.Le rang 1 est le meilleur score ; des scores égaux partagent un rang. Survolez une traduction pour la suivre.

The demonstration uses only the simplest metrics, BLEU and chrF, because the others need a trained model that is much harder to run on a web page. The lesson is the same for them: a score depends on the reference, for every metric that compares the output with one, and on the method, since different metrics can rank the same translations differently (see also the Ways of evaluating a translation page) (voir aussi la page Les façons d'évaluer une traduction).

From the score to the sentences

A score for a whole test set ranks the systems; the scores per segment show where they differ. Two kinds of sentence are worth reading:

where two systems are far apart, which shows the kind of error each system makes;
where two metrics disagree about the same output, which shows the kind of error each metric misses.

A segment score points to a sentence worth reading, and the sentence still has to be read. MATEO gives the scores per sentence for metrics such as COMET (see also the Computing scores with MATEO page) (voir aussi la page Calculer des scores avec MATEO).

Combining methods

No single metric is enough: in one company, relying on BLEU alone held back improved models and led to bad deployment decisions (Kocmi et al., 2021). At WMT, an automatic ranking decides which systems people evaluate, and human evaluation is the final arbiter (Kocmi et al., 2025) (see also the WMT general translation task page, in the Machine translation module) (voir aussi la page La tâche générale de traduction de WMT, dans le module Traduction automatique). The same division works on a smaller scale: an automatic score for every system, then a human reading of the leading systems and of the sentences on which the scores disagree.

Sources

Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Kocmi, T., Artemova, E., Avramidis, E., Bawden, R., Bojar, O., Dranch, K., et al. (2025). Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 355–413. https://doi.org/10.18653/v1/2025.wmt-1.22
Kocmi, T., Federmann, C., Grundkiewicz, R., Junczys-Dowmunt, M., Matsushita, H., & Menezes, A. (2021). To Ship or Not to Ship: An Extensive Evaluation of Automatic Metrics for Machine Translation. Proceedings of the Sixth Conference on Machine Translation (WMT 2021), 478–494. https://aclanthology.org/2021.wmt-1.57/
Mathur, N., Baldwin, T., & Cohn, T. (2020). Tangled up in BLEU: Reevaluating the Evaluation of Automatic Machine Translation Evaluation Metrics. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 4984–4997. https://doi.org/10.18653/v1/2020.acl-main.448
Post, M. (2018). A Call for Clarity in Reporting BLEU Scores. Proceedings of the Third Conference on Machine Translation: Research Papers (WMT 2018), 186–191. https://doi.org/10.18653/v1/W18-6319

Comparer ce qui est comparable

Les scores de métriques, de jeux de test, de références ou d’outils différents ne peuvent pas être comparés directement (Figure 13figure 13).

Trois règles d'échelles différentes, l'une sous l'autre : BLEU de 0 à 100 avec une marque à 32, chrF de 0 à 100 avec une marque à 58, COMET de 0 à 1 avec une marque à 0,85. — Figure 13. La même sortie notée par trois métriques. Les scores sont donnés à titre d'illustration.

Un score dépend de	Conséquence
la métrique	un BLEU de 32 et un chrF de 58 pour la même sortie ne sont pas deux mesures d’une même chose, et aucun n’est un pourcentage de quoi que ce soit
la paire de langues	certaines métriques entraînées, comme COMET et BLEURT, ont des plages de valeurs différentes selon les paires de langues, si bien qu’on ne peut pas supposer que leurs scores partagent une même échelle (Kocmi et al., 2021)
le jeu de test	un jeu de test plus difficile donne des scores plus bas pour un même système ; WMT a rendu ses jeux de test de 2025 plus difficiles à dessein (Kocmi et al., 2025)
la référence	une deuxième traduction de référence donne un autre score (see also the Many correct translations page) (voir aussi la page De nombreuses traductions correctes)
la segmentation en unités lexicales, pour BLEU	deux scores BLEU calculés avec des outils différents peuvent présenter un écart allant jusqu’à 1,8 point sur la même sortie (Post, 2018)

Ce dont dépend un score.

Quand tous ces éléments sont identiques, la différence entre deux scores peut être lue, avec prudence. Une petite différence peut n’être que du bruit : une différence BLEU d’un ou deux points ne correspondait à une différence réelle dans le jugement humain qu’environ une fois sur deux, sur les données de WMT 2019 que Mathur et al. (2020) ont réexaminées. Un rééchantillonnage du jeu de test montre si une différence est significative (Kocmi et al., 2021 ; Jurafsky & Martin, 2026) (see also the Interpreting a score page) (voir aussi la page Interpréter un score).

Huit traductions d’une même phrase

La démonstration ci-dessous note huit traductions d’une phrase française, recueillies en 2026 : Google Translate, DeepL, ainsi que ChatGPT, Claude et Gemini, chacun avec une requête simple et une requête élaborée. La requête simple demandait seulement de traduire vers l’anglais ; la requête élaborée demandait un anglais américain naturel et fluide, avec une terminologie cohérente. Les deux traductions de référence sont les miennes. Le classement change avec la référence et avec la métrique autant qu’avec les systèmes. Chaque texte peut être modifié, et des traductions peuvent être ajoutées, si bien que la même comparaison peut être faite sur d’autres phrases.

Source (not used by BLEU or chrF)Source (ni BLEU ni chrF ne la lisent)

TranslationsTraductions

Scored againstNotées par rapport à

TranslationTraduction	BLEU	chrF

Rank of each translation, by reference and metricRang de chaque traduction, par référence et par métrique

La démonstration n’emploie que les métriques les plus simples, BLEU et chrF, parce que les autres demandent un modèle entraîné, beaucoup plus difficile à faire tourner dans une page Web. La leçon vaut aussi pour elles : un score dépend de la référence, pour toute métrique qui compare la sortie avec une référence, et de la méthode, puisque des métriques différentes peuvent classer les mêmes traductions différemment (see also the Ways of evaluating a translation page) (voir aussi la page Les façons d'évaluer une traduction).

Du score aux phrases

Un score pour tout un jeu de test classe les systèmes ; les scores par segment montrent où ils diffèrent. Deux types de phrases valent la peine d’être lues :

celles où deux systèmes sont très éloignés, qui montrent le type d’erreur que fait chaque système ;
celles où deux métriques sont en désaccord sur une même sortie, qui montrent le type d’erreur qui échappe à chaque métrique.

Un score de segment désigne une phrase à lire, et la phrase doit encore être lue. MATEO donne les scores par phrase pour des métriques comme COMET (see also the Computing scores with MATEO page) (voir aussi la page Calculer des scores avec MATEO).

Combiner les méthodes

Aucune métrique ne suffit à elle seule : dans une entreprise, s’en remettre à BLEU seul a freiné l’adoption de modèles améliorés et conduit à de mauvaises décisions de déploiement (Kocmi et al., 2021). À WMT, un classement automatique décide des systèmes que des personnes évaluent, et l’évaluation humaine est l’arbitre final (Kocmi et al., 2025) (see also the WMT general translation task page, in the Machine translation module) (voir aussi la page La tâche générale de traduction de WMT, dans le module Traduction automatique). La même répartition fonctionne à plus petite échelle : un score automatique pour chaque système, puis une lecture humaine des systèmes de tête et des phrases sur lesquelles les scores ne concordent pas.

Sources

Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Kocmi, T., Artemova, E., Avramidis, E., Bawden, R., Bojar, O., Dranch, K., et al. (2025). Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 355–413. https://doi.org/10.18653/v1/2025.wmt-1.22
Kocmi, T., Federmann, C., Grundkiewicz, R., Junczys-Dowmunt, M., Matsushita, H., & Menezes, A. (2021). To Ship or Not to Ship: An Extensive Evaluation of Automatic Metrics for Machine Translation. Proceedings of the Sixth Conference on Machine Translation (WMT 2021), 478–494. https://aclanthology.org/2021.wmt-1.57/
Mathur, N., Baldwin, T., & Cohn, T. (2020). Tangled up in BLEU: Reevaluating the Evaluation of Automatic Machine Translation Evaluation Metrics. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 4984–4997. https://doi.org/10.18653/v1/2020.acl-main.448
Post, M. (2018). A Call for Clarity in Reporting BLEU Scores. Proceedings of the Third Conference on Machine Translation: Research Papers (WMT 2018), 186–191. https://doi.org/10.18653/v1/W18-6319

Computing scores with MATEOCalculer des scores avec MATEO

A tool that computes metrics

MATEO, for MAchine Translation Evaluation Online, is a web interface that computes the main automatic metrics for machine translation without any programming, built for students, translators and researchers in the humanities as well as for experts (Vanroy et al., 2023).

Each score MATEO shows comes from one of the metrics you select, such as chrF or COMET, with that metric’s own scale (see also the Reading the scores page) (voir aussi la page Lire les scores). MATEO does not store the files you upload: they are processed in memory and removed once the processing is done.As stated on MATEO’s home page, read on 13 October 2026.

Preparing the files

MATEO compares the files line by line: line 1 of a translation is scored against line 1 of the reference, and so on. Each file must be:

plain text (.txt), in UTF-8;
one segment per line, with no empty line: usually a sentence, but a paragraph or a whole document also works, as long as every file uses the same unit, and the scores per line are then scores per paragraph or per document;
the same number of lines as the other files, so that each line of every file corresponds to the same segment of the source;
1 MB at most.

File	Contains	Needed
Reference file	the reference translation	always
Source file	the source text	for COMET; optional for the other metrics
System file	the translation to evaluate, one file per system	at least one, at most four in one run

The files MATEO takes for one evaluation.

MATEO names each system after its file, without the extension, so a file called deepl.txt appears as deepl in the results. A translation copied from a chatbot or a web page does not always come out one segment per line: a line that wraps on screen is not necessarily a line break (see also the Plain text and its lines page, in the Exchange formats in translation module) (voir aussi la page Le texte brut et ses lignes, dans le module Les formats d'échange en traduction).

MATEO checks the files as they are uploaded. When a file is missing, or has a different number of lines from the reference, a message under the upload boxes says so, and the button that starts the evaluation does not appear until the problem is solved (Figure 14figure 14). In that message, Reference file #1 is the first system file.

A yellow message box in MATEO: Make sure that the following requirements are met, followed by one item, Reference file #1 must contain the same number of lines as the reference file. — Figure 14. MATEO's message when a system file has a different number of lines from the reference.

Running an evaluation

On the Evaluate page of MATEO:

Choose the metrics under Metric selection (Figure 15figure 15). BLEU, chrF and COMET are ticked by default; BERTScore, BLEURT and TER are not. Each metric has a panel of options; the default options are the usual settings.
Upload the files under Input data (Figure 16figure 16): the reference in Reference file, the source in Source file, and each translation in a System box. Set How many systems do you wish to compare? first, to get one box per system; the first system is marked as the baseline. Each file is dragged onto its box or chosen with Browse files; text cannot be pasted.
Click Evaluate MT. The button appears once the files listed under the boxes are in place: a reference, at least one system, and a source if COMET is selected.

MATEO's Metric selection section: BERTScore, BLEURT, BLEU and TER unticked, chrF and COMET ticked. The COMET options panel shows the model Unbabel/wmt22-comet-da and a batch size of 4; the chrF options panel shows a character order of 6, a word order of 0, a beta of 2 and three unticked boxes, lowercase, whitespace and eps_smoothing. — Figure 15. Choosing the metrics: chrF and COMET ticked, with their default options.

MATEO's Input data section: reference.txt in the Reference file box, source.txt in the Source file box, the number of systems set to 2, system-a.txt in the box labelled System #1 (serves as baseline) and system-b.txt in System #2, and the Evaluate MT button under them. — Figure 16. Uploading the files: a reference, a source and two systems, the first of which serves as the baseline.

When the evaluation shown here was run on six sentences with chrF, BLEU and COMET on 13 October 2026, the results appeared within a few seconds. The site is shared, so a longer text, or many people using it at the same time, takes longer.

Reading the results

The whole text

Under Evaluation results (corpus), MATEO gives a bar plot and a radar plot of the scores (Figure 17figure 17), which can be downloaded with the camera icon that appears when the pointer is over them, and a table with one row per system and one column per metric (Figure 18figure 18). In the captures, system-a is a translation worded differently from the reference, and system-b a literal translation with several errors.

MATEO's bar plot for two systems and two metrics: for chrF, system-a at about 64 and system-b at about 75; for COMET, both systems at about 92. — Figure 17. The bar plot of the scores for the whole text, one group of bars per metric.

In the table, each cell gives:

the score of the metric for the whole text, before the brackets. This is the number to report.
in brackets, a mean and a 95 % confidence interval, computed by drawing 1,000 resampled versions of the text: a range in which the score would probably fall with other sentences of the same kind. It can be left aside for a first comparison.
for every system but the first, a p-value, with an asterisk when the system differs significantly from the first one, which MATEO calls the baseline and highlights. The order in which the systems are uploaded therefore decides which system the others are tested against.

The best score of each metric is in bold. The table can be downloaded with or without the confidence intervals and p-values, as an Excel file or a tab-separated file. Under the table, the Signatures line records the settings of each metric, the information another person needs to compute the same scores.

MATEO's table for the whole text. Baseline system-a: COMET 92.6, with 92.5 plus or minus 0.7 in brackets, and chrF2 64.2, with 64.3 plus or minus 4.6. System-b: COMET 91.9 (92.0 plus or minus 2.5), p equal to 0.2058; chrF2 74.8 (74.8 plus or minus 2.6), p equal to 0.0010 with an asterisk. Under the table, links to download it with or without confidence intervals, as an Excel or a tab-separated file, the signatures of chrF2 and COMET, and the same table in LaTeX. — Figure 18. The table for the whole text, with the download links, the signatures and a LaTeX version under it.

In these results, system-b, the literal translation with errors, has the higher chrF, by a significant margin, because it keeps more of the reference’s character sequences. The COMET difference between the two systems is small and not significant.

COMET appears in MATEO on a scale up to 100, which makes it look like a percentage. It is not one, and neither is any other score in the table.

Sentence by sentence

Under Evaluation results (sentences), MATEO gives a plot with one point per sentence and per system (Figure 19figure 19), and a table with the source and the reference of every sentence, followed by each system’s translation and its score, in a column named after the system (Figure 20figure 20). The table scrolls sideways to show the systems, and it can be downloaded as an Excel file, with one sheet per metric.

These scores exist only for metrics whose score for the whole text is the mean of their scores per sentence, such as COMET. BLEU and chrF are computed over the whole text at once, so MATEO gives them no score per sentence, as its note About sentence-level scores explains.

MATEO's section Evaluation results (sentences): the open note About sentence-level scores, then a COMET plot with one point per sentence for system-a and system-b, all between about 87 and 96. — Figure 19. The note on scores per sentence, and the COMET score of each sentence for the two systems.

MATEO's table per sentence, COMET tab: six rows numbered 0 to 5, with the English source and the start of the French reference of each sentence; the systems' columns are further to the right. — Figure 20. The start of the table per sentence: the source and the reference, with the systems' translations and scores further to the right.

The sentences with the lowest scores, and those on which two systems are far apart, are the ones to read (see also the Reading the scores page) (voir aussi la page Lire les scores).

Writing about the scores

Name the metric and the tool. For instance: “COMET 91.9 (model Unbabel/wmt22-comet-da, COMET 2.2.6), computed with MATEO 1.8.4”, with the Signatures line in a note. The same metric with other settings or another version gives another score (see also the BLEU page) (voir aussi la page BLEU). The metric is BERTScore, not BERT, which is one of the models BERTScore can use.
Compare within one metric. A difference between two systems on the same metric can be read; a chrF score set against a COMET score cannot (see also the Reading the scores page) (voir aussi la page Lire les scores).
Keep “significant” for the test. A difference is significant in the statistical sense only when the test says so, and a small difference may be noise.
Describe what the metric does. A metric counts shared words or characters, compares vectors or predicts a human score; it does not understand the translation.

Running MATEO once

Sources

Vanroy, B., Tezcan, A., & Macken, L. (2023). MATEO: MAchine Translation Evaluation Online. Proceedings of the 24th Annual Conference of the European Association for Machine Translation (EAMT 2023), Tampere, 499–500. https://aclanthology.org/2023.eamt-1.52/

Un outil qui calcule des métriques

MATEO, pour MAchine Translation Evaluation Online, est une interface Web qui calcule les principales métriques automatiques de la traduction automatique sans aucune programmation, conçue pour les étudiants, les traducteurs et les chercheurs en sciences humaines autant que pour les spécialistes (Vanroy et al., 2023).

Chaque score que montre MATEO vient de l’une des métriques que vous sélectionnez, comme chrF ou COMET, avec l’échelle propre à cette métrique (see also the Reading the scores page) (voir aussi la page Lire les scores). MATEO ne conserve pas les fichiers que vous téléversez : ils sont traités en mémoire et supprimés une fois le traitement terminé.Selon la page d’accueil de MATEO, consultée le 13 octobre 2026.

Préparer les fichiers

MATEO compare les fichiers ligne par ligne : la ligne 1 d’une traduction est notée par rapport à la ligne 1 de la référence, et ainsi de suite. Chaque fichier doit être :

en texte brut (.txt), encodé en UTF-8 ;
à raison d’un segment par ligne, sans ligne vide : habituellement une phrase, mais un paragraphe ou un document entier convient aussi, à condition que tous les fichiers emploient la même unité, les scores par ligne étant alors des scores par paragraphe ou par document ;
du même nombre de lignes que les autres fichiers, de sorte que chaque ligne de chaque fichier corresponde au même segment de la source ;
d’au plus 1 Mo.

Fichier	Contenu	Nécessaire
Fichier de référence	la traduction de référence	toujours
Fichier source	le texte source	pour COMET ; facultatif pour les autres métriques
Fichier de système	la traduction à évaluer, un fichier par système	au moins un, au plus quatre par exécution

Les fichiers que MATEO prend pour une évaluation.

MATEO nomme chaque système d’après son fichier, sans l’extension : un fichier nommé deepl.txt apparaît comme deepl dans les résultats. Une traduction copiée depuis un agent conversationnel ou une page Web ne sort pas toujours à raison d’un segment par ligne : une ligne qui passe à la ligne à l’écran n’est pas forcément un saut de ligne (see also the Plain text and its lines page, in the Exchange formats in translation module) (voir aussi la page Le texte brut et ses lignes, dans le module Les formats d'échange en traduction).

MATEO vérifie les fichiers au moment du téléversement. Quand un fichier manque, ou qu’il n’a pas le même nombre de lignes que la référence, un message sous les zones de téléversement le signale, et le bouton qui lance l’évaluation n’apparaît pas tant que le problème n’est pas réglé (Figure 14figure 14). Dans ce message, Reference file #1 désigne le premier fichier de système.

Une boîte de message jaune dans MATEO : Make sure that the following requirements are met, suivie d'un élément, Reference file #1 must contain the same number of lines as the reference file. — Figure 14. Le message de MATEO quand un fichier de système n'a pas le même nombre de lignes que la référence.

Lancer une évaluation

Sur la page Evaluate de MATEO :

Choisissez les métriques sous Metric selection (Figure 15figure 15). BLEU, chrF et COMET sont cochées par défaut ; BERTScore, BLEURT et TER ne le sont pas. Chaque métrique a un panneau d’options ; les options par défaut correspondent aux réglages habituels.
Téléversez les fichiers sous Input data (Figure 16figure 16) : la référence dans Reference file, la source dans Source file, et chaque traduction dans une zone System. Réglez d’abord How many systems do you wish to compare?, pour obtenir une zone par système ; le premier système est marqué comme système de comparaison, que MATEO appelle baseline. Chaque fichier est glissé sur sa zone ou choisi avec Browse files ; il n’est pas possible de coller du texte.
Cliquez sur Evaluate MT. Le bouton apparaît une fois que les fichiers indiqués sous les zones sont en place : une référence, au moins un système, et une source si COMET est sélectionnée.

La section Metric selection de MATEO : BERTScore, BLEURT, BLEU et TER décochées, chrF et COMET cochées. Le panneau d'options de COMET montre le modèle Unbabel/wmt22-comet-da et une taille de lot de 4 ; le panneau d'options de chrF montre un ordre de caractères de 6, un ordre de mots de 0, un bêta de 2 et trois cases décochées, lowercase, whitespace et eps_smoothing. — Figure 15. Le choix des métriques : chrF et COMET cochées, avec leurs options par défaut.

La section Input data de MATEO : reference.txt dans la zone Reference file, source.txt dans la zone Source file, le nombre de systèmes réglé à 2, system-a.txt dans la zone System #1 (serves as baseline) et system-b.txt dans System #2, et le bouton Evaluate MT au-dessous. — Figure 16. Le téléversement des fichiers : une référence, une source et deux systèmes, dont le premier sert de système de comparaison.

Quand l’évaluation présentée ici a été lancée sur six phrases avec chrF, BLEU et COMET le 13 octobre 2026, les résultats sont apparus en quelques secondes. Le site est partagé : un texte plus long, ou de nombreuses personnes qui l’emploient en même temps, demande plus de temps.

Lire les résultats

Le texte entier

Sous Evaluation results (corpus), MATEO donne un diagramme à barres et un diagramme en radar des scores (Figure 17figure 17), qui peuvent être téléchargés avec l’icône d’appareil photo qui apparaît quand le pointeur les survole, ainsi qu’un tableau avec une ligne par système et une colonne par métrique (Figure 18figure 18). Dans les captures, system-a est une traduction formulée autrement que la référence, et system-b une traduction littérale qui comporte plusieurs erreurs.

Le diagramme à barres de MATEO pour deux systèmes et deux métriques : pour chrF, system-a à environ 64 et system-b à environ 75 ; pour COMET, les deux systèmes à environ 92. — Figure 17. Le diagramme à barres des scores pour tout le texte, un groupe de barres par métrique.

Dans le tableau, chaque case donne :

le score de la métrique pour tout le texte, avant les parenthèses. C’est le nombre à présenter.
entre parenthèses, une moyenne et un intervalle de confiance à 95 %, calculés en tirant 1 000 versions rééchantillonnées du texte : une plage dans laquelle le score tomberait probablement avec d’autres phrases du même genre. Il peut être laissé de côté pour une première comparaison.
pour chaque système sauf le premier, une valeur p, avec un astérisque quand le système diffère significativement du premier, que MATEO appelle baseline et met en évidence. L’ordre dans lequel les systèmes sont téléversés décide donc du système auquel les autres sont comparés.

Le meilleur score de chaque métrique est en gras. Le tableau peut être téléchargé avec ou sans les intervalles de confiance et les valeurs p, en fichier Excel ou en fichier à valeurs séparées par des tabulations. Sous le tableau, la ligne Signatures consigne les réglages de chaque métrique, l’information dont une autre personne a besoin pour calculer les mêmes scores.

Le tableau de MATEO pour tout le texte. Système de comparaison system-a : COMET 92,6, avec 92,5 plus ou moins 0,7 entre parenthèses, et chrF2 64,2, avec 64,3 plus ou moins 4,6. System-b : COMET 91,9 (92,0 plus ou moins 2,5), p égal à 0,2058 ; chrF2 74,8 (74,8 plus ou moins 2,6), p égal à 0,0010 avec un astérisque. Sous le tableau, des liens pour le télécharger avec ou sans intervalles de confiance, en fichier Excel ou à valeurs séparées par des tabulations, les signatures de chrF2 et de COMET, et le même tableau en LaTeX. — Figure 18. Le tableau pour tout le texte, avec les liens de téléchargement, les signatures et une version LaTeX au-dessous.

Dans ces résultats, system-b, la traduction littérale qui comporte des erreurs, a le chrF le plus élevé, avec un écart significatif, parce qu’elle reprend davantage de suites de caractères de la référence. L’écart de COMET entre les deux systèmes est faible et non significatif.

COMET apparaît dans MATEO sur une échelle allant jusqu’à 100, ce qui le fait ressembler à un pourcentage. Ce n’en est pas un, pas plus qu’aucun autre score du tableau.

Phrase par phrase

Sous Evaluation results (sentences), MATEO donne un graphique avec un point par phrase et par système (Figure 19figure 19), et un tableau avec la source et la référence de chaque phrase, suivies de la traduction de chaque système et de son score, dans une colonne qui porte le nom du système (Figure 20figure 20). Le tableau défile horizontalement pour montrer les systèmes, et il peut être téléchargé en fichier Excel, avec une feuille par métrique.

Ces scores n’existent que pour les métriques dont le score pour tout le texte est la moyenne de leurs scores par phrase, comme COMET. BLEU et chrF sont calculés sur tout le texte d’un coup : MATEO ne leur donne donc pas de score par phrase, comme l’explique sa note About sentence-level scores.

La section Evaluation results (sentences) de MATEO : la note About sentence-level scores ouverte, puis un graphique COMET avec un point par phrase pour system-a et system-b, tous entre environ 87 et 96. — Figure 19. La note sur les scores par phrase, et le score COMET de chaque phrase pour les deux systèmes.

Le tableau par phrase de MATEO, onglet COMET : six lignes numérotées de 0 à 5, avec la source anglaise et le début de la référence française de chaque phrase ; les colonnes des systèmes sont plus à droite. — Figure 20. Le début du tableau par phrase : la source et la référence, avec les traductions et les scores des systèmes plus à droite.

Les phrases qui obtiennent les scores les plus bas, et celles sur lesquelles deux systèmes sont très éloignés, sont celles à lire (see also the Reading the scores page) (voir aussi la page Lire les scores).

Rendre compte des scores

Nommez la métrique et l’outil. Par exemple : « COMET 91,9 (modèle Unbabel/wmt22-comet-da, COMET 2.2.6), calculé avec MATEO 1.8.4 », avec la ligne Signatures en note. La même métrique avec d’autres réglages ou une autre version donne un autre score (see also the BLEU page) (voir aussi la page BLEU). La métrique est BERTScore, et non BERT, qui n’est que l’un des modèles que BERTScore peut employer.
Comparez à l’intérieur d’une même métrique. Une différence entre deux systèmes sur la même métrique peut être lue ; un score chrF mis en regard d’un score COMET ne le peut pas (see also the Reading the scores page) (voir aussi la page Lire les scores).
Réservez « significatif » au test. Une différence n’est significative au sens statistique que si le test le dit, et une petite différence peut n’être que du bruit.
Décrivez ce que fait la métrique. Une métrique compte des mots ou des caractères partagés, compare des vecteurs ou prédit un score humain ; elle ne comprend pas la traduction.

Essayer MATEO une fois

Sources

Vanroy, B., Tezcan, A., & Macken, L. (2023). MATEO: MAchine Translation Evaluation Online. Proceedings of the 24th Annual Conference of the European Association for Machine Translation (EAMT 2023), Tampere, 499–500. https://aclanthology.org/2023.eamt-1.52/