Teach · Evaluating machine translation · Ayla's learning materials

Evaluating language technologyL'évaluation des technologies langagières

Evaluating machine translationÉvaluation de la traduction automatique

Evaluating language technologyL'évaluation des technologies langagières

Evaluating machine translationÉvaluation de la traduction automatique

Many correct translationsDe nombreuses traductions correctes
Ways of evaluating a translationLes façons d'évaluer une traduction
BLEUBLEU
chrFchrF
BLEU and chrF: demoBLEU et chrF : démonstration
Practice: BLEU and chrFPratique : BLEU et chrF
Semantic and learned metricsLes métriques sémantiques et apprises
A large language model as judgeUn grand modèle de langue comme juge
Human evaluation: DA, MQM and ESAL'évaluation humaine : DA, MQM et ESA
Comparing machine and human translationComparer la traduction automatique et la traduction humaine
Reading the scoresLire les scores
Computing scores with MATEOCalculer des scores avec MATEO

Key pointsL'essentiel

Evaluating machine translationÉvaluation de la traduction automatique

Systems that find or label things are usually evaluated against a gold standard, with each answer counted right or wrong, even though people do not always agree on the answers. Translation fits that approach even less well, because the system writes new text: the correct translations of a sentence cannot be listed, and one sentence can be partly right and partly wrong.

Les systèmes qui trouvent ou étiquettent des éléments sont habituellement évalués par rapport à un étalon de référence, chaque réponse étant comptée comme juste ou fausse, même si les personnes ne s'accordent pas toujours sur les réponses. La traduction se prête encore moins bien à cette approche, parce que le système rédige un texte nouveau : les traductions correctes d'une phrase ne peuvent pas être énumérées, et une même phrase peut être en partie juste et en partie fausse.

Key pointsL'essentiel

Evaluating machine translationÉvaluation de la traduction automatique

Surface metrics such as BLEU and chrF count the words or characters an output shares with a reference translation; semantic metrics compare meaning, and learned metrics predict the score a person would give; a large language model can be asked to judge; and people score translations or annotate their errors with schemes such as MQM and ESA.

Les métriques de surface comme BLEU et chrF comptent les mots ou les caractères qu'une sortie partage avec une traduction de référence ; les métriques sémantiques comparent le sens, et les métriques apprises prédisent le score qu'une personne donnerait ; un grand modèle de langue peut être chargé de juger ; et des personnes notent les traductions ou en annotent les erreurs selon des systèmes comme MQM et ESA.

Key pointsL'essentiel

Evaluating machine translationÉvaluation de la traduction automatique

A metric is only as good as its agreement with the judgements of people, scores from different metrics or test sets cannot be compared, and automatic rankings and human rankings do not always agree.

Une métrique ne vaut que par son accord avec le jugement des personnes, les scores de métriques ou de jeux de test différents ne sont pas comparables, et les classements automatiques et humains ne concordent pas toujours.

Key pointsL'essentiel

Evaluating machine translationÉvaluation de la traduction automatique

A claim that machine translation equals human translation depends on the test behind it: which human translation, which raters, how much context and which texts.

Une affirmation selon laquelle la traduction automatique égale la traduction humaine dépend du test qui la fonde : quelle traduction humaine, quels évaluateurs, quelle part de contexte et quels textes.

Page 1Page 1

Many correct translationsDe nombreuses traductions correctes

Systems that find or label things are usually evaluated against a gold standard, with each answer counted right or wrong, even though people do not always agree on the answers. Translation fits that approach even less well, because the system writes new text: the correct translations of a sentence cannot be listed, and one sentence can be partly right and partly wrong.
A translation is judged for adequacy, whether the meaning of the source is kept, and for fluency, whether it reads as natural target language.

Les systèmes qui trouvent ou étiquettent des éléments sont habituellement évalués par rapport à un étalon de référence, chaque réponse étant comptée comme juste ou fausse, même si les personnes ne s'accordent pas toujours sur les réponses. La traduction se prête encore moins bien à cette approche, parce que le système rédige un texte nouveau : les traductions correctes d'une phrase ne peuvent pas être énumérées, et une même phrase peut être en partie juste et en partie fausse.
Une traduction est jugée sur son adéquation, c'est-à-dire si le sens de la source est conservé, et sur sa fluidité, c'est-à-dire si elle se lit comme un texte naturel dans la langue cible.

Page 1Page 1

The French sentence Il pleut des cordes, followed by eight English answers. Four are marked correct: It's raining cats and dogs, which is marked as the reference translation; It's pouring; It's raining heavily; It's coming down in buckets. It's raining and It's downpouring are marked partly wrong. It's raining ropes and It's not raining are marked wrong. — **Figure 1.** One sentence to translate, four correct translations, two partly wrong ones and two wrong ones. The first correct translation serves as the reference.

La phrase française Il pleut des cordes, suivie de huit réponses en anglais. Quatre sont marquées correctes : It's raining cats and dogs, marquée comme la traduction de référence ; It's pouring ; It's raining heavily ; It's coming down in buckets. It's raining et It's downpouring sont marquées en partie fausses. It's raining ropes et It's not raining sont marquées fausses. — **Figure 1.** Une phrase à traduire, quatre traductions correctes, deux en partie fausses et deux fausses. La première traduction correcte sert de référence.

Page 1Page 1

A two-by-two grid for the source sentence Il pleut des cordes. Adequate and fluent: It's raining cats and dogs. Adequate but not fluent: It's downpouring, with downpouring marked. Fluent but not adequate: It's not raining, with not marked. Neither: It rains of the ropes, a word-for-word translation, with of the ropes marked. — **Figure 2.** Four translations of one sentence, placed by adequacy and by fluency.

Une grille de deux sur deux pour la phrase source Il pleut des cordes. Adéquate et fluide : It's raining cats and dogs. Adéquate, mais non fluide : It's downpouring, où downpouring est marqué. Fluide, mais non adéquate : It's not raining, où not est marqué. Ni l'une ni l'autre : It rains of the ropes, une traduction mot à mot, où of the ropes est marqué. — **Figure 2.** Quatre traductions d'une même phrase, placées selon leur adéquation et leur fluidité.

Page 2Page 2

Ways of evaluating a translationLes façons d'évaluer une traduction

A translation is evaluated by an automatic metric, by a large language model used as a judge, or by people, who give a score, compare two translations or annotate the errors.
Automatic metrics compare the output with a reference by the words or characters they share or by their meaning, or predict the score a person would give.
The methods differ in what they need, what they measure, how closely they agree with people and what they cost; none is best on all of these, so the choice depends on what the evaluation is for.

Une traduction est évaluée par une métrique automatique, par un grand modèle de langue employé comme juge, ou par des personnes, qui lui attribuent un score, comparent deux traductions ou en annotent les erreurs.
Les métriques automatiques comparent la sortie avec une référence par les mots ou les caractères qu'elles ont en commun ou par leur sens, ou prédisent le score qu'une personne donnerait.
Les méthodes diffèrent par ce qu'elles exigent, ce qu'elles mesurent, leur accord avec les personnes et leur coût ; aucune n'est la meilleure sur tous ces points, si bien que le choix dépend de ce à quoi sert l'évaluation.

Page 2Page 2

A grid with three columns, a score, pairwise comparison and error annotation, and three rows, who or what judges; each box is coloured by whether the method needs a reference translation, can work with or without one, or works without. Automatic metrics: a score, in two boxes, BLEU, chrF and BERTScore, which measure the match with the reference and need one, and COMET, which predicts the score people would give, with or without a reference; error annotation, xCOMET, which marks error spans, with or without. A large language model as judge: a score, GEMBA, a score per segment, with or without; error annotation, GEMBA-MQM, error spans with category and severity, without a reference. People: a score, direct assessment, a score per segment, and pairwise comparison, the better of two translations, both with or without a reference; error annotation, MQM and ESA, without a reference. Two boxes have a dashed border: a metric and a language model choosing the better of two translations, both with or without a reference. — **Figure 3.** The ways of evaluating machine translation, by who or what judges, coloured by the use of a reference translation. The named metrics and protocols are examples, not complete lists. The dashed combinations exist but are less common in current machine translation evaluation, where people annotate errors and automatic methods give scores (Kocmi et al., 2025); this chapter does not cover them.

Une grille de trois colonnes, un score, la comparaison par paires et l'annotation des erreurs, et de trois lignes, qui ou quoi juge ; chaque case est colorée selon que la méthode exige une traduction de référence, peut fonctionner avec ou sans, ou fonctionne sans. Métriques automatiques : un score, dans deux cases, BLEU, chrF et BERTScore, qui mesurent la correspondance avec la référence et en exigent une, et COMET, qui prédit le score que donneraient des personnes, avec ou sans référence ; annotation des erreurs, xCOMET, qui marque des passages erronés, avec ou sans. Un grand modèle de langue comme juge : un score, GEMBA, un score par segment, avec ou sans ; annotation des erreurs, GEMBA-MQM, des passages erronés avec catégorie et gravité, sans référence. Des personnes : un score, l'évaluation directe, un score par segment, et la comparaison par paires, la meilleure de deux traductions, toutes deux avec ou sans référence ; annotation des erreurs, MQM et ESA, sans référence. Deux cases ont une bordure en pointillé : une métrique et un modèle de langue qui choisissent la meilleure de deux traductions, toutes deux avec ou sans référence. — **Figure 3.** Les façons d'évaluer la traduction automatique, selon qui ou quoi juge, colorées selon l'emploi d'une traduction de référence. Les métriques et les protocoles nommés sont des exemples, non des listes complètes. Les combinaisons en pointillé existent, mais sont moins courantes dans l'évaluation actuelle de la traduction automatique, où les personnes annotent les erreurs et les méthodes automatiques donnent des scores (Kocmi et al., 2025) ; ce chapitre ne les traite pas.

Page 3Page 3

BLEUBLEU

BLEU scores a translation by its precision against a reference translation: for sequences of one to four words, the share that also occur in the reference. The four precisions are combined into one number, reduced when the translation is shorter than the reference.
It rewards the exact words of the reference, so a correct synonym or a different word order is penalized like an error; it was designed to compare systems over a whole test set, and a single sentence often scores zero.

BLEU note une traduction par sa précision par rapport à une traduction de référence : pour les suites d'un à quatre mots, la proportion qui figure aussi dans la référence. Les quatre précisions sont combinées en un seul nombre, réduit quand la traduction est plus courte que la référence.
BLEU récompense les mots exacts de la référence, si bien qu'un synonyme correct ou un ordre des mots différent est pénalisé comme une erreur ; la métrique a été conçue pour comparer des systèmes sur tout un jeu de test, et une phrase isolée obtient souvent zéro.

Page 3Page 3

Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.

Figure 4. BLEU computed by hand for one output against one reference.

Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.

Figure 4. BLEU calculé à la main pour une sortie par rapport à une référence.

Page 3Page 3

Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.

Figure 5. BLEU computed by hand for an output shorter than its reference.

Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.

Figure 5. BLEU calculé à la main pour une sortie plus courte que sa référence.

Page 4Page 4

chrFchrF

chrF scores a translation by the sequences of one to six characters it shares with the reference, counted as precision and recall and combined into an F-score, which in the usual setting gives recall twice the weight of precision.
Counting characters instead of words makes it tolerant of inflections and independent of how the text is split into words. It is the surface metric to use where a trained metric cannot be, but it does not compare meaning.

chrF note une traduction par les suites d'un à six caractères qu'elle partage avec la référence, comptées sous forme de précision et de rappel et combinées en un score F, qui, dans le réglage habituel, donne au rappel deux fois plus de poids qu'à la précision.
Compter des caractères plutôt que des mots rend la métrique tolérante aux flexions et indépendante de la façon dont le texte est découpé en mots. C'est la métrique de surface à employer quand une métrique entraînée ne peut pas l'être, mais elle ne compare pas le sens.

Page 4Page 4

Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.

Figure 6. chrF computed by hand for the same output and reference as on the BLEU page.

Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.

Figure 6. chrF calculé à la main pour la même sortie et la même référence que sur la page sur BLEU.

Page 7Page 7

Semantic and learned metricsLes métriques sémantiques et apprises

Semantic metrics compare the meaning of the output and the reference through contextual embeddings, so that a synonym counts as a match; learned metrics are trained on human ratings of translations to predict the score a person would give.
Learned metrics have often agreed with people better than surface metrics, though not consistently; a high score does not guarantee that the output means the same thing, the score cannot be checked by hand, and a system can be tuned to score well on the metric without being better.

Les métriques sémantiques comparent le sens de la sortie et de la référence au moyen de plongements contextuels, si bien qu'un synonyme compte comme une correspondance ; les métriques apprises sont entraînées sur des notes que des personnes ont données à des traductions, pour prédire le score qu'une personne donnerait.
Les métriques apprises se sont souvent mieux accordées avec les personnes que les métriques de surface, mais pas de façon constante ; un score élevé ne garantit pas que la sortie dise la même chose, le score ne peut pas être vérifié à la main, et un système peut être réglé pour bien réussir sur la métrique sans être meilleur.

Page 7Page 7

Two rows of word boxes: the reference, un enfant joue dans le jardin, and the output, un gamin joue dans le jardin. Lines join each reference word to its most similar output word, each line labelled with a similarity: un to un 1.0, enfant to gamin 0.8, joue to joue 1.0, dans to dans 1.0, le to le 1.0, jardin to jardin 1.0. — **Figure 7.** The matching behind BERTScore, for an output that differs from the reference by one synonym. The similarities are illustrative.

Deux rangées de cases de mots : la référence, un enfant joue dans le jardin, et la sortie, un gamin joue dans le jardin. Des traits relient chaque mot de la référence au mot le plus semblable de la sortie, chaque trait portant une similarité : un et un 1,0, enfant et gamin 0,8, joue et joue 1,0, dans et dans 1,0, le et le 1,0, jardin et jardin 1,0. — **Figure 7.** L'appariement sur lequel repose BERTScore, pour une sortie qui diffère de la référence par un synonyme. Les similarités sont données à titre d'illustration.

Page 7Page 7

Figure 8. What each kind of automatic metric reads, and what it does with it.

Une grille de quatre lignes, une par type de métrique automatique, et de trois colonnes, la source, la sortie et la référence, chaque case indiquant lue, habituellement lue ou non lue, avec dans une dernière colonne ce que fait la métrique. Les métriques de surface lisent la sortie et la référence et comptent les mots ou les caractères qu'elles partagent. Les métriques sémantiques lisent la sortie et la référence et comparent leur sens au moyen de plongements contextuels. Les métriques apprises lisent la sortie et la référence, et habituellement la source, et un modèle entraîné sur des notes humaines prédit la note qu'une personne donnerait. L'estimation de la qualité lit la source et la sortie et fait la même prédiction sans référence. — **Figure 8.** Ce que lit chaque type de métrique automatique, et ce qu'elle en fait.

Page 7Page 7

Four boxes. The system generates many candidate translations; the metric scores them and the system keeps the one the metric prefers; the same metric ranks the system first in the automatic ranking; people do not rank it first everywhere. — **Figure 9.** Metric bias: a system comes first on the metric but not everywhere with people.

Quatre cases. Le système produit de nombreuses traductions candidates ; la métrique les note et le système garde celle que la métrique préfère ; la même métrique place le système en tête du classement automatique ; les personnes ne le placent pas partout en tête. — **Figure 9.** Le biais de la métrique : un système arrive en tête selon la métrique, mais pas partout selon les personnes.

Page 8Page 8

A large language model as judgeUn grand modèle de langue comme juge

A large language model can be asked to judge a translation: the prompt gives it the source, the output and, if there is one, the reference, with the criteria to apply and the form the answer should take.
It can score a translation without a reference, it can list the errors it finds, and the criteria are set in the prompt. Its judgements vary with the prompt and the model, show biases, and are less reliable for one sentence than for a whole system.

Un grand modèle de langue peut être chargé de juger une traduction : la requête lui fournit la source, la sortie et, s'il y en a une, la référence, avec les critères à appliquer et la forme que doit prendre la réponse.
Il peut noter une traduction sans référence et dresser la liste des erreurs qu'il trouve, et les critères sont fixés dans la requête. Ses jugements varient avec la requête et le modèle, présentent des biais et sont moins fiables pour une phrase que pour un système entier.

Page 8Page 8

One Czech translation in which the word for nurse is feminine although the nurses are men. On the left, a model prompted as a judge rates it 87, fluent and accurate. On the right, the same model prompted as a verifier, asked whether the word for nurse is masculine as the context requires, answers no: the rule fails. — **Figure 10.** The same model as judge and as verifier of one translation. After Zouhar et al. (2026); the judge's score is illustrative.

Une traduction tchèque dans laquelle le mot pour infirmier est au féminin alors que les infirmiers sont des hommes. À gauche, un modèle employé comme juge lui donne 87, fluide et exacte. À droite, le même modèle employé comme vérificateur, à qui l'on demande si le mot pour infirmier est au masculin comme l'exige le contexte, répond non : la règle échoue. — **Figure 10.** Le même modèle comme juge et comme vérificateur d'une même traduction. D'après Zouhar et al. (2026) ; le score du juge est donné à titre d'illustration.

Page 9Page 9

Human evaluation: DA, MQM and ESAL'évaluation humaine : DA, MQM et ESA

Direct assessment gives each segment a score on a scale: fast and cheap, but noisy, and with no explanation of what is wrong.
MQM is an error annotation scheme: an annotator marks each error in a translation, gives it a category and a severity, and the errors are weighted into a score. It is the most detailed of the three and the most expensive, since it takes trained translators.
ESA keeps the error spans and two severities, drops the categories and adds a score per segment. It is faster and cheaper than MQM at a quality close to it, and it is WMT's main protocol.

L'évaluation directe donne à chaque segment un score sur une échelle : elle est rapide et peu coûteuse, mais bruitée, et elle n'explique pas ce qui ne va pas.
MQM est un système d'annotation des erreurs : une annotatrice ou un annotateur marque chaque erreur d'une traduction, lui attribue une catégorie et une gravité, et les erreurs sont pondérées pour donner un score. C'est le plus détaillé des trois protocoles et le plus coûteux, puisqu'il demande des traducteurs formés.
ESA garde les passages erronés et deux niveaux de gravité, abandonne les catégories et ajoute un score par segment. Il est plus rapide et moins coûteux que MQM pour une qualité proche, et c'est le principal protocole de WMT.

Page 9Page 9

The source The client called back this morning about the contract and its translation Le client a rappelé ce matin au sujet du contact, under three protocols. Direct assessment: the sentence unmarked and a score of 45 out of 100. MQM: contact marked as accuracy, mistranslation, major, weight 5, and the missing full stop as fluency, punctuation, minor, weight 0.1, for a penalty of 5.1. ESA: contact marked major and the missing full stop minor, with no category, and a score of 40 out of 100. — **Figure 11.** One translation under three human protocols. The scores are illustrative.

La source The client called back this morning about the contract et sa traduction Le client a rappelé ce matin au sujet du contact, selon trois protocoles. Évaluation directe : la phrase sans marque et une note de 45 sur 100. MQM : contact marqué comme exactitude, erreur de sens, majeure, poids 5, et le point final manquant comme fluidité, ponctuation, mineure, poids 0,1, pour une pénalité de 5,1. ESA : contact marqué comme majeure et le point final manquant comme mineure, sans catégorie, et une note de 40 sur 100. — **Figure 11.** Une même traduction selon trois protocoles humains. Les scores sont donnés à titre d'illustration.

Page 9Page 9

A source sentence, The client called back this morning about the contract, and its machine translation, Le client a rappelé ce matin au sujet du contact, with two spans highlighted. The span contact is labelled accuracy, mistranslation, major, weight 5. A missing full stop at the end is labelled fluency, punctuation, minor, weight 0.1. A line under the sentence gives the penalty, 5.1. — **Figure 12.** One sentence annotated in the MQM scheme of Freitag et al. (2021): each error has a span, a category, a severity and a weight.

Une phrase source, The client called back this morning about the contract, et sa traduction automatique, Le client a rappelé ce matin au sujet du contact, avec deux passages surlignés. Le passage contact porte l'étiquette exactitude, erreur de sens, majeure, poids 5. Un point final manquant porte l'étiquette fluidité, ponctuation, mineure, poids 0,1. Une ligne sous la phrase donne la pénalité, 5,1. — **Figure 12.** Une phrase annotée selon le système MQM de Freitag et al. (2021) : chaque erreur a un passage, une catégorie, une gravité et un poids.

Page 10Page 10

Comparing machine and human translationComparer la traduction automatique et la traduction humaine

A claim that machine translation equals human translation is true only for the test behind it: which human translation, which raters, which texts, and how much of each text the raters saw.
Raters who see only the target text, or who lack translation expertise, are likely to judge mainly on fluency, and fluent machine output can hide errors that only a comparison with the source reveals.

Une affirmation selon laquelle la traduction automatique égale la traduction humaine n'est vraie que pour le test qui la fonde : quelle traduction humaine, quels évaluateurs, quels textes, et quelle part de chaque texte les évaluateurs ont vue.
Les évaluateurs qui ne voient que le texte cible, ou qui n'ont pas d'expertise en traduction, risquent de juger surtout sur la fluidité, et une sortie automatique fluide peut cacher des erreurs que seule une comparaison avec la source révèle.

Page 11Page 11

Reading the scoresLire les scores

A score from an automatic metric is comparable only with another score from the same metric, on the same test set, against the same reference, with the same tool; scores from different metrics cannot be compared, and none is a percentage.
Scores per sentence show where two systems differ and are the start of an error analysis.
No single metric is enough: automatic scores show which systems and which sentences to read, and human judgement remains the final test.

Le score d'une métrique automatique n'est comparable qu'à un autre score de la même métrique, sur le même jeu de test, par rapport à la même référence, avec le même outil ; les scores de métriques différentes ne peuvent pas être comparés, et aucun n'est un pourcentage.
Les scores par phrase montrent où deux systèmes diffèrent et sont le point de départ d'une analyse des erreurs.
Aucune métrique ne suffit à elle seule : les scores automatiques indiquent quels systèmes et quelles phrases lire, et le jugement humain reste l'épreuve finale.

Page 11Page 11

Three rulers of different scales, one under the other: BLEU from 0 to 100 with a mark at 32, chrF from 0 to 100 with a mark at 58, COMET from 0 to 1 with a mark at 0.85. — **Figure 13.** The same output scored by three metrics. The scores are illustrative.

Trois règles d'échelles différentes, l'une sous l'autre : BLEU de 0 à 100 avec une marque à 32, chrF de 0 à 100 avec une marque à 58, COMET de 0 à 1 avec une marque à 0,85. — **Figure 13.** La même sortie notée par trois métriques. Les scores sont donnés à titre d'illustration.

Page 12Page 12

Computing scores with MATEOCalculer des scores avec MATEO

MATEO is a web interface that computes the usual automatic metrics for machine translation, such as chrF and COMET, from files you upload, without any programming.
The files must correspond line by line. MATEO checks that they have the same number of lines, but not that each line contains the right segment.
MATEO gives the scores for the whole text and, for metrics such as COMET, the scores per sentence. The confidence intervals can be left aside for a first comparison, but a difference is significant only when MATEO's test says so.

MATEO est une interface Web qui calcule les métriques automatiques usuelles de la traduction automatique, comme chrF et COMET, à partir de fichiers que vous téléversez, sans aucune programmation.
Les fichiers doivent se correspondre ligne par ligne. MATEO vérifie qu'ils ont le même nombre de lignes, mais pas que chaque ligne contient le bon segment.
MATEO donne les scores pour tout le texte et, pour des métriques comme COMET, les scores par phrase. Les intervalles de confiance peuvent être laissés de côté pour une première comparaison, mais une différence n'est significative que si le test de MATEO le dit.

Page 12Page 12