Human evaluation: DA, MQM and ESAL'évaluation humaine : DA, MQM et ESA

TRA6008 To read for S8À lire pour la S8

Three levels of detail

The automatic methods of this chapter involve people only indirectly, through a reference translation or the human judgements a metric was trained on. Human evaluation is often out of reach because of its cost, but it remains the best evaluation available, for machine translation too: WMT keeps it as the final arbiter of its rankings (Kocmi et al., 2025). People can judge a translation at three levels of detail:

• a score per segment, with direct assessment (DA);
• the errors located, each marked as minor or major, and a score for the segment, with Error Span Annotation (ESA);
• the errors located and classified, each with a category and a severity, with Multidimensional Quality Metrics (MQM).

This page takes these three methods as examples; there are many others. Figure 11figure 11 shows one translation under the three.

The unit people judge can change the result. Some errors only show across sentences, so a translation judged sentence by sentence can look better than the same translation judged as a whole document (Läubli et al., 2018) (see also the Comparing machine and human translation page) (voir aussi la page Comparer la traduction automatique et la traduction humaine).

Direct assessment

In direct assessment, a rater reads a segment and gives it a score on a scale, for instance from 0 to 100. A rater who knows both languages compares the translation with the source; a rater who knows only the target language compares it with a reference translation (Jurafsky & Martin, 2026). Direct assessment was the human evaluation of WMT from 2016 until ESA replaced it in 2024 (Kocmi et al., 2024a).

• Fast and cheap. One score per segment, and the raters need no training in an error scheme.
• Noisy. Raters use the scale differently, so their scores are usually normalized per rater and outlier raters removed (Jurafsky & Martin, 2026). The scores vary so much that each system needs many annotations, and the system rankings were less reliable than with MQM or ESA (Kocmi et al., 2024a).
• No explanation. The score says how good a translation is, not what is wrong with it.

MQM

Multidimensional Quality Metrics, MQM, is a framework for annotating data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. the errors of a translation (Lommel et al., 2014). It offers a catalogue of error types from which each evaluation picks the ones it needs, and the errors found are weighted into a score. The sections below follow the version that Freitag et al. (2021) established for the evaluation of machine translation.

Annotating the errors

The annotator reads each segment of the translation in the context of its whole document, and records up to five errors per segment. For each error, the annotator (Figure 12figure 12):

1. highlights the span, that is, the stretch of text that contains the error;
2. chooses a category, from the table below;
3. assigns a severity: major for an actual error of translation or grammar, minor for a smaller imperfection, neutral for a subjective remark that does not count as an error (Freitag et al., 2021).

Category	Errors it covers	Example
Accuracy	an addition, an omission, a mistranslation, untranslated text	contact for contract
Fluency	punctuation, spelling, grammar, register, inconsistency	a missing full stop; Le client ont rappelé
Terminology	a term that does not fit the context, or is used inconsistently	entente where the client’s termbase termbasebase terminologique terminologyterminologie A database of terminological entries organized by concept, grouping the terms of several languages with metadata such as definitions, domains and usage status.Base de données d'entrées terminologiques organisée par concept, contenant les termes de plusieurs langues et des métadonnées comme des définitions, des domaines et des marques d'usage. prescribes contrat
Style	awkward wording	en ce qui concerne la question du contrat
Locale conventions	the format of addresses, currencies, dates, names, telephone numbers and times	10/13/2026 in a text for French readers
Non-translation	a segment too garbled, or too unrelated to the source, for separate errors to be identified	an output about something else entirely

The scheme also has a category for an error in the source, annotated separately, and one for any other problem.

From errors to a score

Each error gets a weight according to its severity and its category, and the weights of a segment are added up: the lower the total, the better the translation. The segment in the figure has a penalty of 5.1.

Severity	Category	Weight
major	non-translation	25
major	any other	5
minor	punctuation	0.1
minor	any other	1
neutral	any	0

Minor punctuation errors weigh little because they are frequent and easy to correct automatically (Freitag et al., 2021). Other versions of the framework differ in two ways:

• a critical severity, worse than major, which Freitag et al. (2021) left out because the line between major and critical depends too much on context;
• a quality score expressed as a percentage, from which the penalties are subtracted (Lommel et al., 2014); ISO 5060:2024 likewise turns penalty points into an error score and a quality rating (International Organization for Standardization, 2024).

Limits of MQM

• It depends on the annotators. When professional translators annotated the output of the systems of a WMT edition with this scheme, their ranking of the systems differed substantially from the ranking that crowd workers had produced by rating the same output (Freitag et al., 2021).
• It is the most expensive of the three protocols on this page. It takes time, and it takes experts, who are not available for every language (Kocmi et al., 2024a).
• Terminology checks can penalize valid variation. Automatic measures of terminological consistency assume that every occurrence of a term should get the same translation, and an annotator applying the inconsistency subcategory of MQM can do the same, but translators sometimes vary their terms on purpose. On English-French scientific texts, systems varied less than people, and forcing a system to follow a glossary improved accuracy and consistency but suppressed valid variation (Dahan et al., 2026).

ESA

Error Span Annotation, ESA, keeps most of what MQM gives at a lower cost (Kocmi et al., 2024a). The annotator marks each error span as minor or major, without a category, then scores the whole segment from 0 to 100, as in the last panel of Figure 11figure 11.

Marking the errors first makes the score more consistent than a score given directly, because the annotator has the errors in view (Kocmi et al., 2024a). WMT adopted ESA in 2024; in 2025 its annotators, many of them professional translators or linguists and not experts in this kind of annotation, marked and scored whole paragraphs (Kocmi et al., 2025).

Choosing a protocol

	Direct assessment (a score per segment)	MQM	ESA
The annotator’s task	reads the segment, gives a score	marks every error span, with a category and a severity	marks every error span as minor or major, then gives a score from 0 to 100
The result	a score	the errors, located and classified; a weighted score	the errors located; a score
Annotators	anyone fluent	trained annotators, ideally translators	translators, without MQM training
Cost	lowest	highest: a median of 38 seconds per paragraph against 29 for ESA, and experts paid twice the hourly wage	between the two
Use	a quick ranking, though a noisy one	diagnosis: what is wrong and how often	ranking many systems at a quality close to MQM; WMT’s main protocol since 2024

All three depend on their annotators, so an evaluation reports who annotated, with what instructions, and how well they agreed with each other.

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Updated 14 October 2026

Trois niveaux de détail

Les méthodes automatiques de ce chapitre ne font intervenir des personnes qu’indirectement, par une traduction de référence ou par les jugements humains sur lesquels une métrique a été entraînée. L’évaluation humaine est souvent hors de portée à cause de son coût, mais elle reste la meilleure évaluation disponible, pour la traduction automatique aussi : WMT la garde comme arbitre final de ses classements (Kocmi et al., 2025). Les personnes peuvent juger une traduction à trois niveaux de détail :

• un score par segment, avec l’évaluation directe (en anglais direct assessment, DA) ;
• les erreurs situées, chacune marquée comme mineure ou majeure, et un score pour le segment, avec l’annotation des passages erronés (en anglais Error Span Annotation, ESA) ;
• les erreurs situées et classées, chacune avec une catégorie et une gravité, avec MQM (Multidimensional Quality Metrics).

Cette page prend ces trois méthodes comme exemples ; il en existe beaucoup d’autres. La Figure 11figure 11 montre une même traduction selon les trois.

L’unité que jugent les personnes peut changer le résultat. Certaines erreurs n’apparaissent que d’une phrase à l’autre, si bien qu’une traduction jugée phrase par phrase peut paraître meilleure que la même traduction jugée comme un document entier (Läubli et al., 2018) (see also the Comparing machine and human translation page) (voir aussi la page Comparer la traduction automatique et la traduction humaine).

L’évaluation directe

Dans l’évaluation directe, un évaluateur lit un segment et lui donne un score sur une échelle, par exemple de 0 à 100. Un évaluateur qui connaît les deux langues compare la traduction avec la source ; un évaluateur qui ne connaît que la langue cible la compare avec une traduction de référence (Jurafsky & Martin, 2026). L’évaluation directe a été l’évaluation humaine de WMT de 2016 jusqu’à ce qu’ESA la remplace en 2024 (Kocmi et al., 2024a).

• Rapide et peu coûteuse. Un score par segment, et les évaluateurs n’ont pas besoin d’être formés à un système d’erreurs.
• Bruitée. Les évaluateurs n’utilisent pas l’échelle de la même façon : leurs scores sont donc habituellement normalisés par évaluateur, et les évaluateurs aberrants sont écartés (Jurafsky & Martin, 2026). Les scores varient tant que chaque système demande de nombreuses annotations, et les classements des systèmes étaient moins fiables qu’avec MQM ou ESA (Kocmi et al., 2024a).
• Aucune explication. Le score dit si une traduction est bonne, et non ce qui ne va pas.

MQM

MQM, pour Multidimensional Quality Metrics, est un cadre pour annoter data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. les erreurs d’une traduction (Lommel et al., 2014). Il propose un catalogue de types d’erreurs dans lequel chaque évaluation choisit ceux dont elle a besoin, et les erreurs trouvées sont pondérées pour donner un score. Les sections ci-dessous suivent la version que Freitag et al. (2021) ont établie pour l’évaluation de la traduction automatique.

L’annotation des erreurs

L’annotatrice ou l’annotateur lit chaque segment de la traduction dans le contexte de tout son document, et note jusqu’à cinq erreurs par segment. Pour chaque erreur, la personne (Figure 12figure 12) :

1. surligne le passage, c’est-à-dire la portion de texte qui contient l’erreur ;
2. choisit une catégorie, dans le tableau ci-dessous ;
3. attribue une gravité : majeure pour une véritable erreur de traduction ou de grammaire, mineure pour une imperfection plus légère, neutre pour une remarque subjective qui ne compte pas comme une erreur (Freitag et al., 2021).

Catégorie	Erreurs couvertes	Exemple
Exactitude	un ajout, une omission, une erreur de sens, un passage non traduit	contact pour contract
Fluidité	la ponctuation, l’orthographe, la grammaire, le registre, l’incohérence	un point final manquant ; Le client ont rappelé
Terminologie	un terme qui ne convient pas au contexte, ou employé de façon incohérente	entente là où la base terminologique termbasebase terminologique terminologyterminologie A database of terminological entries organized by concept, grouping the terms of several languages with metadata such as definitions, domains and usage status.Base de données d'entrées terminologiques organisée par concept, contenant les termes de plusieurs langues et des métadonnées comme des définitions, des domaines et des marques d'usage. du client prescrit contrat
Style	une tournure maladroite	en ce qui concerne la question du contrat
Conventions locales	le format des adresses, des devises, des dates, des noms, des numéros de téléphone et des heures	10/13/2026 dans un texte destiné à des lecteurs francophones
Non-traduction	un segment trop confus, ou trop éloigné de la source, pour qu’on puisse y relever des erreurs distinctes	une sortie qui parle de tout autre chose

Le système prévoit aussi une catégorie pour une erreur dans la source, annotée à part, et une autre pour tout autre problème.

Des erreurs au score

Chaque erreur reçoit un poids selon sa gravité et sa catégorie, et les poids d’un segment sont additionnés : plus le total est bas, meilleure est la traduction. Le segment de la figure a une pénalité de 5,1.

Gravité	Catégorie	Poids
majeure	non-traduction	25
majeure	toute autre	5
mineure	ponctuation	0,1
mineure	toute autre	1
neutre	toute catégorie	0

Les erreurs mineures de ponctuation pèsent peu parce qu’elles sont fréquentes et faciles à corriger automatiquement (Freitag et al., 2021). D’autres versions du cadre diffèrent sur deux points :

• une gravité critique, plus grave que majeure, que Freitag et al. (2021) ont écartée parce que la limite entre majeure et critique dépend trop du contexte ;
• un score de qualité exprimé en pourcentage, dont on soustrait les pénalités (Lommel et al., 2014) ; la norme ISO 5060:2024 transforme elle aussi les points de pénalité en un score d’erreurs et une note de qualité (International Organization for Standardization, 2024).

Les limites de MQM

• Le résultat dépend des annotateurs. Quand des traducteurs professionnels ont annoté avec ce système la sortie des systèmes d’une édition de WMT, leur classement des systèmes différait nettement de celui que des travailleurs recrutés sur une plateforme de production participative avaient établi en notant la même sortie (Freitag et al., 2021).
• C’est le plus coûteux des trois protocoles de cette page. Il demande du temps, et il demande des experts, qui ne sont pas disponibles pour toutes les langues (Kocmi et al., 2024a).
• Les vérifications terminologiques peuvent pénaliser une variation légitime. Les mesures automatiques de cohérence terminologique supposent que chaque occurrence d’un terme doit recevoir la même traduction, et une personne qui applique la sous-catégorie d’incohérence de MQM peut faire de même, mais il arrive que les traducteurs varient leurs termes à dessein. Sur des textes scientifiques anglais-français, les systèmes variaient moins que les personnes, et imposer un glossaire à un système améliorait l’exactitude et la cohérence, mais supprimait une variation légitime (Dahan et al., 2026).

ESA

ESA, pour Error Span Annotation, conserve l’essentiel de ce que donne MQM pour un coût moindre (Kocmi et al., 2024a). L’annotatrice ou l’annotateur marque chaque passage erroné comme mineur ou majeur, sans catégorie, puis note le segment entier de 0 à 100, comme dans le dernier panneau de la Figure 11figure 11.

Marquer d’abord les erreurs rend le score plus cohérent qu’un score donné directement, parce que la personne a les erreurs sous les yeux (Kocmi et al., 2024a). WMT a adopté ESA en 2024 ; en 2025, ses annotateurs, dont beaucoup de traducteurs professionnels ou de linguistes qui n’étaient pas spécialistes de ce type d’annotation, ont marqué et noté des paragraphes entiers (Kocmi et al., 2025).

Choisir un protocole

	Évaluation directe (un score par segment)	MQM	ESA
La tâche de l’annotateur	lit le segment, donne un score	marque chaque passage erroné, avec une catégorie et une gravité	marque chaque passage erroné comme mineur ou majeur, puis donne un score de 0 à 100
Le résultat	un score	les erreurs, situées et classées ; un score pondéré	les erreurs situées ; un score
Les annotateurs	toute personne qui maîtrise la langue	des annotateurs formés, idéalement des traducteurs	des traducteurs, sans formation à MQM
Le coût	le plus bas	le plus élevé : une médiane de 38 secondes par paragraphe contre 29 pour ESA, et des experts payés deux fois le salaire horaire	entre les deux
L’usage	un classement rapide, mais bruité	le diagnostic : ce qui ne va pas, et à quelle fréquence	classer de nombreux systèmes avec une qualité proche de MQM ; principal protocole de WMT depuis 2024

Les trois dépendent de leurs annotateurs : une évaluation précise donc qui a annoté, avec quelles consignes, et dans quelle mesure les annotateurs s’accordaient entre eux.

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Mise à jour 14 octobre 2026