BLEUBLEU
TRA6008 To read for S8À lire pour la S8
Counting shared n-grams
BLEU, for bilingual evaluation understudy, was proposed by Papineni et al. (2002) on one intuition: a good machine translation shares many words and phrases with a translation by a person. It counts the n-grams n-gramn-gramme corporacorpus A sequence of n consecutive items from a text, usually words: bigrams (n = 2), trigrams (n = 3), and so on.Suite de n éléments consécutifs d'un texte, généralement des mots : bigrammes (n = 2), trigrammes (n = 3), etc. of the output, its single words, pairs of consecutive words, triples and quadruples, and asks what share of them also occur in the reference. That share is a precision precisionprécision evaluationévaluation The share of the items a system returned that are correct according to the gold standard.Part des éléments trouvés par un système qui sont corrects selon la référence. , the same measure as for a system that extracts terms or names, with the reference in the role of the gold standard gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. (see also the Precision, recall and F1 page) (voir aussi la page Précision, rappel et score F1): BLEU computes one for each length of n-gram. Figure 4figure 4 computes BLEU on a short pair.
Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.
The method has two further details (Papineni et al., 2002).
- The counts are clipped. A word of the output counts only as many times as it occurs in the reference, which is why Papineni et al. (2002) speak of a modified n-gram precision. Without this, the output the the the the the the the would have a perfect single-word precision against The cat is on the mat; with it, the precision is 2/7, since the occurs twice in the reference.
- A short output is penalized. Precision says nothing about what the output left out, so an output of four words that occur in the reference in the same order would have perfect precisions. Instead of recall recallrappel evaluationévaluation The share of the items in the gold standard that a system returned.Part des éléments de la référence qu'un système a trouvés. , BLEU multiplies the score by a brevity penalty when the output is shorter than the reference. The penalty is e1 − r/c, where r is the length of the reference and c that of the output: Le chat est sur has 4 words against 6 and scores 61 and not 100.
The geometric mean
Numbers can be averaged in more than one way:
- the arithmetic mean, the usual average, adds them and divides by how many there are;
- the geometric mean, which BLEU uses, multiplies them and takes the root, the fourth root for four numbers;
- the harmonic mean, which the F1 score F1 scorescore F1 evaluationévaluation The harmonic mean of precision and recall: a single number between 0 and 1 that is high only when both are high.Moyenne harmonique de la précision et du rappel : un seul nombre entre 0 et 1, qui n'est élevé que si les deux le sont. uses for precision and recall, divides how many there are by the sum of their inverses.
The three give the same result when the numbers are equal. When they are not, the geometric and the harmonic mean are pulled towards the smallest numbers, and both are zero as soon as one number is zero. The table below applies the three to the four precisions of Figure 4figure 4.
| Mean | Computed as | Result |
|---|---|---|
| arithmetic | (5/6 + 3/5 + 2/4 + 1/3) / 4 | 0.57 |
| geometric | ⁴√(5/6 × 3/5 × 2/4 × 1/3) | 0.54 |
| harmonic | 4 / (6/5 + 5/3 + 4/2 + 3/1) | 0.51 |
Papineni et al. (2002) chose the geometric mean because the precisions fall steeply from single words to quadruples, and in their tests it agreed slightly better with human judgements than the arithmetic mean. They also note its cost: one precision of zero makes the whole score zero.
An output shorter than the reference
In Figure 5figure 5, the output differs from the reference in two places, un for le and the missing du salon, and it is shorter, so the brevity penalty applies.
Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.
The missing du salon lowers none of the four precisions, since a precision only looks at what the output contains. The brevity penalty is the only part of BLEU that registers what the output leaves out.
BLEU on a test set and on a sentence
BLEU was designed for a whole test set test setjeu de données de test machine learningapprentissage automatique A portion of a dataset held back from both model training and model selection and used to evaluate the final model.Portion d'un jeu de données tenue à l'écart tant de l'entraînement que de la sélection du modèle et servant à évaluer le modèle final. Son but est d'estimer la performance du modèle achevé sur de nouvelles données issues de la tâche ou de la population visée. : the n-gram counts are added up over all its sentences before the precisions are computed, and the brevity penalty compares the total lengths (Papineni et al., 2002). On a single sentence the method often breaks down, because one precision of zero makes the geometric mean zero (Chen & Cherry, 2014). The output Le félin se trouve sur le tapis shares four words and a few pairs with the reference, but not one quadruple, so its sentence BLEU is exactly 0.
To avoid this, tools that give a BLEU score per sentence apply a correction, called smoothing: a precision of zero gets a small value instead, so that a sentence with no shared quadruple no longer scores zero. Several such corrections exist, and they give different scores for the same sentence (Chen & Cherry, 2014), so a BLEU score for one sentence is only a rough indication.
Weaknesses of BLEU
BLEU compares the exact words of the output with those of the reference (Jurafsky & Martin, 2026), which has five consequences:
- Synonyms and paraphrases. Félin for chat loses 46 points in the figure. A translation that says the same thing in other words is scored lower.
- Errors of meaning. Le chien est sur le tapis names the wrong animal and scores 54, exactly like Le félin est sur le tapis: BLEU counts how many words differ from the reference, not what the difference does to the meaning.
- Word order. Sur le tapis est le chat contains every word of the reference and scores 0 at sentence level: the order is only rewarded through the longer n-grams, which the new order has broken.
- Inflection. Les chats sont sur le tapis shares three words of six with the reference and scores 0 for the same reason; BLEU works less well for languages with complex morphology (Jurafsky & Martin, 2026).
- Tokenization tokenization¹segmentation en unités lexicales linguisticslinguistique The process of dividing running text into individual units that can be counted, annotated or analyzed.Processus de découpage d'un texte suivi en unités individuelles pouvant être comptées, annotées ou analysées. . The score depends on how the text was split into words, so two BLEU scores computed with different tokenizers may not be comparable: Post (2018) measured differences of up to 1.8 points between common configurations on the same output. He proposed sacreBLEU, a tool that fixes the tokenization, and Jurafsky and Martin (2026) recommend such a tool whenever BLEU is used.
BLEU was long the common metric, and it is still sometimes reported, in particular for translation into English (Jurafsky & Martin, 2026). Kocmi et al. (2021) advise against using it at all: it is “inferior to other metrics, and it has been overused” (see also the Ways of evaluating a translation page) (voir aussi la page Les façons d'évaluer une traduction).
Interpreting a BLEU score
A BLEU score runs from 0 to 1 and is usually reported from 0 to 100. The higher the score, the more of its n-grams the output shares with the reference, so higher is better. The score is not a percentage of correct words, though, and there is no fixed scale on which a given value means good or bad:
- A good translation scores far below 100. A translation by a person rarely matches a reference word for word, so it scores low as well: in the paper that introduced BLEU, one human translation of Chinese news into English scored 35 when compared with four reference translations, and 26 when compared with two (Papineni et al., 2002).
- The number of references changes the score, as those two figures show: with more references, an n-gram of the output has more chances to occur in one of them.
- Scores from different languages are not comparable. In a language with rich morphology, more of the words differ from the reference by their form alone.
A BLEU score can therefore be compared only with another BLEU score computed on the same test set, against the same references and with the same tool, and even then a small difference is uncertain (see also the Reading the scores page) (voir aussi la page Lire les scores).
Le comptage des n-grammes partagés
BLEU, pour bilingual evaluation understudy, a été proposé par Papineni et al. (2002) à partir d’une intuition : une bonne traduction automatique partage beaucoup de mots et d’expressions avec une traduction faite par une personne. La métrique compte les n-grammes n-gramn-gramme corporacorpus A sequence of n consecutive items from a text, usually words: bigrams (n = 2), trigrams (n = 3), and so on.Suite de n éléments consécutifs d'un texte, généralement des mots : bigrammes (n = 2), trigrammes (n = 3), etc. de la sortie, c’est-à-dire ses mots isolés, ses paires de mots consécutifs, ses triplets et ses quadruplets, et calcule la proportion de ceux qui figurent aussi dans la référence. Cette proportion est une précision precisionprécision evaluationévaluation The share of the items a system returned that are correct according to the gold standard.Part des éléments trouvés par un système qui sont corrects selon la référence. , la même mesure que pour un système qui extrait des termes ou des noms, la référence tenant le rôle de l’étalon de référence gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. (see also the Precision, recall and F1 page) (voir aussi la page Précision, rappel et score F1) : BLEU en calcule une pour chaque longueur de n-gramme. La Figure 4figure 4 calcule BLEU sur une courte paire de phrases.
Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.
La méthode comporte deux autres détails (Papineni et al., 2002).
- Les comptes sont plafonnés. Un mot de la sortie ne compte qu’autant de fois qu’il apparaît dans la référence, d’où le nom de précision modifiée des n-grammes que lui donnent Papineni et al. (2002). Sans ce plafond, la sortie the the the the the the the aurait une précision parfaite pour les mots isolés par rapport à The cat is on the mat ; avec lui, la précision est de 2/7, puisque the apparaît deux fois dans la référence.
- Une sortie courte est pénalisée. La précision ne dit rien de ce que la sortie a laissé de côté : une sortie de quatre mots qui figurent dans la référence, dans le même ordre, aurait des précisions parfaites. Au lieu du rappel recallrappel evaluationévaluation The share of the items in the gold standard that a system returned.Part des éléments de la référence qu'un système a trouvés. , BLEU multiplie le score par une pénalité de brièveté quand la sortie est plus courte que la référence. La pénalité vaut e1 − r/c, où r est la longueur de la référence et c celle de la sortie : Le chat est sur compte 4 mots contre 6 et obtient 61, et non 100.
La moyenne géométrique
Il y a plusieurs façons de faire la moyenne de nombres :
- la moyenne arithmétique, la moyenne habituelle, les additionne et divise par leur nombre ;
- la moyenne géométrique, celle de BLEU, les multiplie et en prend la racine, la racine quatrième pour quatre nombres ;
- la moyenne harmonique, celle qu’emploie le score F1 F1 scorescore F1 evaluationévaluation The harmonic mean of precision and recall: a single number between 0 and 1 that is high only when both are high.Moyenne harmonique de la précision et du rappel : un seul nombre entre 0 et 1, qui n'est élevé que si les deux le sont. pour la précision et le rappel, divise leur nombre par la somme de leurs inverses.
Les trois donnent le même résultat quand les nombres sont égaux. Sinon, la moyenne géométrique et la moyenne harmonique sont tirées vers les plus petits nombres, et toutes deux valent zéro dès qu’un des nombres vaut zéro. Le tableau ci-dessous applique les trois aux quatre précisions de la Figure 4figure 4.
| Moyenne | Calcul | Résultat |
|---|---|---|
| arithmétique | (5/6 + 3/5 + 2/4 + 1/3) / 4 | 0,57 |
| géométrique | ⁴√(5/6 × 3/5 × 2/4 × 1/3) | 0,54 |
| harmonique | 4 / (6/5 + 5/3 + 4/2 + 3/1) | 0,51 |
Papineni et al. (2002) ont choisi la moyenne géométrique parce que les précisions chutent fortement des mots isolés aux quadruplets, et que, dans leurs essais, elle s’accordait un peu mieux avec les jugements humains que la moyenne arithmétique. Ils en notent aussi le prix : une seule précision nulle rend tout le score nul.
Une sortie plus courte que la référence
Dans la Figure 5figure 5, la sortie diffère de la référence en deux endroits, un pour le et l’absence de du salon, et elle est plus courte : la pénalité de brièveté s’applique.
Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.
L’absence de du salon ne fait baisser aucune des quatre précisions, puisqu’une précision ne regarde que ce que contient la sortie. La pénalité de brièveté est la seule partie de BLEU qui enregistre ce que la sortie laisse de côté.
BLEU sur un jeu de test et sur une phrase
BLEU a été conçu pour tout un jeu de test test setjeu de données de test machine learningapprentissage automatique A portion of a dataset held back from both model training and model selection and used to evaluate the final model.Portion d'un jeu de données tenue à l'écart tant de l'entraînement que de la sélection du modèle et servant à évaluer le modèle final. Son but est d'estimer la performance du modèle achevé sur de nouvelles données issues de la tâche ou de la population visée. : les comptes de n-grammes sont additionnés sur toutes ses phrases avant le calcul des précisions, et la pénalité de brièveté compare les longueurs totales (Papineni et al., 2002). Sur une phrase isolée, la méthode échoue souvent, parce qu’une seule précision nulle rend la moyenne géométrique nulle (Chen & Cherry, 2014). La sortie Le félin se trouve sur le tapis partage quatre mots et quelques paires avec la référence, mais pas un seul quadruplet : son BLEU de phrase vaut exactement 0.
Pour l’éviter, les outils qui donnent un score BLEU par phrase appliquent une correction, appelée lissage : une précision nulle reçoit à la place une petite valeur, si bien qu’une phrase sans quadruplet partagé n’obtient plus zéro. Il existe plusieurs corrections de ce type, et elles donnent des scores différents pour la même phrase (Chen & Cherry, 2014) : un score BLEU pour une seule phrase n’est donc qu’une indication approximative.
Les faiblesses de BLEU
BLEU compare les mots exacts de la sortie avec ceux de la référence (Jurafsky & Martin, 2026), ce qui a cinq conséquences :
- Les synonymes et les paraphrases. Félin pour chat fait perdre 46 points dans la figure. Une traduction qui dit la même chose en d’autres mots obtient un score plus bas.
- Les erreurs de sens. Le chien est sur le tapis nomme le mauvais animal et obtient 54, exactement comme Le félin est sur le tapis : BLEU compte combien de mots diffèrent de la référence, et non ce que la différence fait au sens.
- L’ordre des mots. Sur le tapis est le chat contient tous les mots de la référence et obtient 0 au niveau de la phrase : l’ordre n’est récompensé que par les n-grammes plus longs, que le nouvel ordre a brisés.
- La flexion. Les chats sont sur le tapis partage trois mots sur six avec la référence et obtient 0 pour la même raison ; BLEU fonctionne moins bien pour les langues à morphologie complexe (Jurafsky & Martin, 2026).
- La segmentation en unités lexicales tokenization¹segmentation en unités lexicales linguisticslinguistique The process of dividing running text into individual units that can be counted, annotated or analyzed.Processus de découpage d'un texte suivi en unités individuelles pouvant être comptées, annotées ou analysées. . Le score dépend de la façon dont le texte a été découpé en mots : deux scores BLEU calculés avec des segmenteurs différents ne sont pas forcément comparables. Post (2018) a mesuré des écarts allant jusqu’à 1,8 point entre des configurations courantes, sur la même sortie. Il a proposé sacreBLEU, un outil qui fixe la segmentation, et Jurafsky et Martin (2026) recommandent un tel outil chaque fois que BLEU est employé.
BLEU a longtemps été la métrique courante, et il est encore parfois présenté, en particulier pour la traduction vers l’anglais (Jurafsky & Martin, 2026). Kocmi et al. (2021) déconseillent de l’employer : « inferior to other metrics, and it has been overused » [ma traduction : « inférieur aux autres métriques, et surutilisé »] (see also the Ways of evaluating a translation page) (voir aussi la page Les façons d'évaluer une traduction).
Interpréter un score BLEU
Un score BLEU va de 0 à 1 et est habituellement présenté de 0 à 100. Plus le score est élevé, plus la sortie partage de n-grammes avec la référence : un score plus élevé est donc meilleur. Le score n’est cependant pas un pourcentage de mots corrects, et aucune échelle fixe ne dit qu’une valeur donnée est bonne ou mauvaise :
- Une bonne traduction obtient bien moins de 100. Une traduction faite par une personne correspond rarement mot pour mot à une référence, si bien qu’elle obtient elle aussi un score bas : dans l’article qui a présenté BLEU, une traduction humaine d’actualités chinoises vers l’anglais obtenait 35 par rapport à quatre traductions de référence, et 26 par rapport à deux (Papineni et al., 2002).
- Le nombre de références change le score, comme le montrent ces deux chiffres : avec plus de références, un n-gramme de la sortie a plus de chances de figurer dans l’une d’elles.
- Les scores de langues différentes ne sont pas comparables. Dans une langue à morphologie riche, davantage de mots diffèrent de la référence par leur seule forme.
Un score BLEU ne peut donc être comparé qu’à un autre score BLEU calculé sur le même jeu de test, par rapport aux mêmes références et avec le même outil, et même alors une petite différence reste incertaine (see also the Reading the scores page) (voir aussi la page Lire les scores).
Sources
- Chen, B., & Cherry, C. (2014). A Systematic Comparison of Smoothing Techniques for Sentence-Level BLEU. Proceedings of the Ninth Workshop on Statistical Machine Translation, 362–367. https://doi.org/10.3115/v1/W14-3346
- Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
- Kocmi, T., Federmann, C., Grundkiewicz, R., Junczys-Dowmunt, M., Matsushita, H., & Menezes, A. (2021). To Ship or Not to Ship: An Extensive Evaluation of Automatic Metrics for Machine Translation. Proceedings of the Sixth Conference on Machine Translation (WMT 2021), 478–494. https://aclanthology.org/2021.wmt-1.57/
- Papineni, K., Roukos, S., Ward, T., & Zhu, W.-J. (2002). BLEU: a method for automatic evaluation of machine translation. Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL 2002), Philadelphia, 311–318. https://doi.org/10.3115/1073083.1073135
- Post, M. (2018). A Call for Clarity in Reporting BLEU Scores. Proceedings of the Third Conference on Machine Translation: Research Papers (WMT 2018), 186–191. https://doi.org/10.18653/v1/W18-6319
Sources
- Chen, B., & Cherry, C. (2014). A Systematic Comparison of Smoothing Techniques for Sentence-Level BLEU. Proceedings of the Ninth Workshop on Statistical Machine Translation, 362–367. https://doi.org/10.3115/v1/W14-3346
- Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
- Kocmi, T., Federmann, C., Grundkiewicz, R., Junczys-Dowmunt, M., Matsushita, H., & Menezes, A. (2021). To Ship or Not to Ship: An Extensive Evaluation of Automatic Metrics for Machine Translation. Proceedings of the Sixth Conference on Machine Translation (WMT 2021), 478–494. https://aclanthology.org/2021.wmt-1.57/
- Papineni, K., Roukos, S., Ward, T., & Zhu, W.-J. (2002). BLEU: a method for automatic evaluation of machine translation. Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL 2002), Philadelphia, 311–318. https://doi.org/10.3115/1073083.1073135
- Post, M. (2018). A Call for Clarity in Reporting BLEU Scores. Proceedings of the Third Conference on Machine Translation: Research Papers (WMT 2018), 186–191. https://doi.org/10.18653/v1/W18-6319