Semantic and learned metricsLes métriques sémantiques et apprises

TRA6008 To read for S8À lire pour la S8

Semantic metrics

For a surface metric, enfant and gamin are simply different words. In a contextual embedding contextual embeddingplongement contextuel embeddingsplongements A numerical representation generated for a particular occurrence of a token by taking account of the other tokens available to the model.Représentation numérique générée pour une occurrence particulière d'un jeton en tenant compte des autres jetons accessibles au modèle. they are neighbours: words used in the same sense in similar sentences have vectors vectorvecteur machine learningapprentissage automatique An ordered list of numbers.Liste ordonnée de nombres. that lie close together (see also the Contextual embeddings chapter, in the Language as numbers module) (voir aussi le chapitre Plongements contextuels, dans le module Le langage en nombres). BERTScore (Zhang et al., 2020) builds on this. It matches each word of the output to the most similar word of the reference and each word of the reference to the most similar word of the output, and combines the two into an F-score F1 scorescore F1 evaluationévaluation The harmonic mean of precision and recall: a single number between 0 and 1 that is high only when both are high.Moyenne harmonique de la précision et du rappel : un seul nombre entre 0 et 1, qui n'est élevé que si les deux le sont. (Jurafsky & Martin, 2026), as Figure 7figure 7 shows.

Against the reference people like foreign cars, BLEU prefers people like visiting places abroad, which shares two words with it, to consumers prefer imported cars, which shares none; BERTScore ranks them the other way round (Zhang et al., 2020).

A high similarity shows that the output is about the same thing as the reference; it does not show that the output says the same thing. BERTScore is less sensitive to small errors when the output is close to the reference in its words and style (Hanna & Bojar, 2021). Surface metrics share this weakness, and in the same study BLEU did worse than BERTScore. A not added to an output, for instance, reverses its meaning while leaving almost every word and character shared with the reference.

Metrics trained on human judgements

A learned metric is trained on translations that people rated, to predict the rating a person would give. COMET (Rei et al., 2020) reads the source, the output and the reference. Two variants are common:

• without a reference, from the source and the output alone, which is called quality estimation, for instance CometKiwi (Rei et al., 2022);
• with error spans, marking the words rated as errors with a severity, so that the score comes with a reason, for instance xCOMET (Guerreiro et al., 2024).

At WMT 2025, metrics of this kind ranked the systems automatically, beside large language models large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. used as judges (Kocmi et al., 2025).

The main metrics compared

Metrics multiply, and their details change from one version to the next. Reading a score therefore starts with checking which kind of metric produced it and how it was used: what it compares, whether it learned from human ratings, and whether it needed a reference. Figure 8figure 8 shows what each kind of metric reads, and the table below sets out the main metrics of this chapter by these differences.

Metric	Kind	Compares	Reference needed
BLEU (Papineni et al., 2002)	surface	shared words	yes
chrF (Popović, 2015)	surface	shared characters	yes
BERTScore (Zhang et al., 2020)	semantic	contextual embeddings	yes
COMET (Rei et al., 2020)	learned	predicts a human rating from the source, the output and the reference	usually; versions without a reference exist
BLEURT (Sellam et al., 2020)	learned	predicts a human rating from the output and the reference	yes
xCOMET (Guerreiro et al., 2024)	learned	predicts a rating and marks error spans	optional
CometKiwi (Rei et al., 2022)	learned, quality estimation	predicts a rating from the source and the output	no

Strengths and weaknesses of learned metrics

In 2021, learned metrics ranked systems more like people than surface metrics did, above all between good systems (Kocmi et al., 2021; Rei et al., 2020). The advantage is not fixed: at the 2025 metrics task, simple metrics such as chrF and BERTScore came ahead of most of them on single sentences (Lavie et al., 2025) (see also the Ways of evaluating a translation page) (voir aussi la page Les façons d'évaluer une traduction). Their costs:

• A score you cannot check. A BLEU count can be redone by hand; the output of a trained model cannot, unless the metric marks error spans.
• Languages. A learned metric is only as good as the languages it was trained on: WMT 2025 fell back on chrF++ for two languages for which the reliability of its main metrics had not been established (see also the chrF page) (voir aussi la page chrF).
• Tuning to the metric. A system can generate several candidate translations and keep the one the metric prefers (Figure 9figure 9). In 2024 the system that led the automatic ranking had chosen among its candidates with COMET, the metric used for that ranking; people did not rank it first in every language pair, a gap the organizers attribute, probably, to metric bias (Kocmi et al., 2024b) (see also the Reading a leaderboard page, in the Using LLMs module) (voir aussi la page Lire un classement, dans le module Utiliser les GML).

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Updated 14 October 2026

Les métriques sémantiques

Pour une métrique de surface, enfant et gamin sont simplement deux mots différents. Dans un plongement contextuel contextual embeddingplongement contextuel embeddingsplongements A numerical representation generated for a particular occurrence of a token by taking account of the other tokens available to the model.Représentation numérique générée pour une occurrence particulière d'un jeton en tenant compte des autres jetons accessibles au modèle. , ils sont voisins : des mots employés dans le même sens dans des phrases semblables ont des vecteurs vectorvecteur machine learningapprentissage automatique An ordered list of numbers.Liste ordonnée de nombres. proches les uns des autres (see also the Contextual embeddings chapter, in the Language as numbers module) (voir aussi le chapitre Plongements contextuels, dans le module Le langage en nombres). BERTScore (Zhang et al., 2020) repose sur cette propriété. La métrique associe chaque mot de la sortie au mot le plus semblable de la référence et chaque mot de la référence au mot le plus semblable de la sortie, puis combine les deux en un score F F1 scorescore F1 evaluationévaluation The harmonic mean of precision and recall: a single number between 0 and 1 that is high only when both are high.Moyenne harmonique de la précision et du rappel : un seul nombre entre 0 et 1, qui n'est élevé que si les deux le sont. (Jurafsky & Martin, 2026), comme le montre la Figure 7figure 7.

Par rapport à la référence anglaise people like foreign cars, BLEU préfère people like visiting places abroad, qui partage deux mots avec elle, à consumers prefer imported cars, qui n’en partage aucun ; BERTScore les classe dans l’ordre inverse (Zhang et al., 2020).

Une similarité élevée montre que la sortie parle de la même chose que la référence ; elle ne montre pas que la sortie dit la même chose. BERTScore est moins sensible aux petites erreurs quand la sortie est proche de la référence par ses mots et son style (Hanna & Bojar, 2021). Les métriques de surface ont la même faiblesse, et dans la même étude, BLEU faisait moins bien que BERTScore. Une négation ajoutée à une sortie, par exemple, en inverse le sens tout en laissant presque tous les mots et les caractères en commun avec la référence.

Les métriques entraînées sur des jugements humains

Une métrique apprise est entraînée sur des traductions que des personnes ont notées, pour prédire la note qu’une personne donnerait. COMET (Rei et al., 2020) lit la source, la sortie et la référence. Deux variantes sont courantes :

• sans référence, à partir de la source et de la sortie seules, ce qu’on appelle l’estimation de la qualité, par exemple CometKiwi (Rei et al., 2022) ;
• avec des passages erronés, qui marquent les mots jugés erronés avec une gravité, si bien que le score s’accompagne d’une raison, par exemple xCOMET (Guerreiro et al., 2024).

À WMT 2025, des métriques de ce type ont classé les systèmes de façon automatique, aux côtés de grands modèles de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. employés comme juges (Kocmi et al., 2025).

Les principales métriques comparées

Les métriques se multiplient, et leurs détails changent d’une version à l’autre. Lire un score commence donc par vérifier quel type de métrique l’a produit et comment elle a été employée : ce qu’elle compare, si elle a appris à partir de notes humaines, et si elle avait besoin d’une référence. La Figure 8figure 8 montre ce que lit chaque type de métrique, et le tableau ci-dessous présente les principales métriques du chapitre selon ces différences.

Métrique	Type	Compare	Référence nécessaire
BLEU (Papineni et al., 2002)	surface	les mots partagés	oui
chrF (Popović, 2015)	surface	les caractères partagés	oui
BERTScore (Zhang et al., 2020)	sémantique	des plongements contextuels	oui
COMET (Rei et al., 2020)	apprise	prédit une note humaine à partir de la source, de la sortie et de la référence	habituellement ; des versions sans référence existent
BLEURT (Sellam et al., 2020)	apprise	prédit une note humaine à partir de la sortie et de la référence	oui
xCOMET (Guerreiro et al., 2024)	apprise	prédit une note et marque les passages erronés	facultative
CometKiwi (Rei et al., 2022)	apprise, estimation de la qualité	prédit une note à partir de la source et de la sortie	non

Les forces et les faiblesses des métriques apprises

En 2021, les métriques apprises classaient les systèmes plus comme les personnes que les métriques de surface, surtout entre de bons systèmes (Kocmi et al., 2021 ; Rei et al., 2020). Cet avantage n’est pas acquis : à la tâche d’évaluation des métriques de 2025, des métriques simples comme chrF et BERTScore passaient devant la plupart d’entre elles sur des phrases isolées (Lavie et al., 2025) (see also the Ways of evaluating a translation page) (voir aussi la page Les façons d'évaluer une traduction). Leurs coûts :

• Un score impossible à vérifier. Un comptage BLEU peut être refait à la main ; la sortie d’un modèle entraîné ne le peut pas, sauf si la métrique marque les passages erronés.
• Les langues. Une métrique apprise ne vaut que pour les langues sur lesquelles elle a été entraînée : WMT 2025 s’est rabattu sur chrF++ pour deux langues pour lesquelles la fiabilité de ses métriques principales n’avait pas été établie (see also the chrF page) (voir aussi la page chrF).
• Le réglage sur la métrique. Un système peut produire plusieurs traductions candidates et garder celle que préfère la métrique (Figure 9figure 9). En 2024, le système en tête du classement automatique avait choisi parmi ses candidates avec COMET, la métrique employée pour ce classement ; les personnes ne l’ont pas placé en tête pour toutes les paires de langues, un écart que les organisateurs attribuent, probablement, à un biais de la métrique (Kocmi et al., 2024b) (see also the Reading a leaderboard page, in the Using LLMs module) (voir aussi la page Lire un classement, dans le module Utiliser les GML).

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Mise à jour 14 octobre 2026