BLEU and chrF: demoBLEU et chrF : démonstration

The demonstration below counts the n-grams n-gramn-gramme corporacorpus A sequence of n consecutive items from a text, usually words: bigrams (n = 2), trigrams (n = 3), and so on.Suite de n éléments consécutifs d'un texte, généralement des mots : bigrammes (n = 2), trigrammes (n = 3), etc. that a translation shares with a reference, in words as BLEU does and in characters as chrF does. It counts as the BLEU and chrF pages do (see also the BLEU page) (voir aussi la page BLEU): letters in lower case, punctuation as a word of its own, spaces removed for characters, and each n-gram counted only as many times as it occurs in the other text. The example is a French sentence with two reference translations of my own and eight machine translations machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. of it, collected in 2026; any of the texts can also be edited.

Three comparisons are worth making:

• Words against characters. Against reference A, Google Translate shares no sequence of four words, so its sentence BLEU is 0, but it shares many characters, so its chrF stays well above that.
• Longer n-grams. Raising n in words shows how quickly the shared sequences run out, and why a sentence that shares no sequence of four words with the reference gets a BLEU of zero.
• The other reference. A translation that matches reference A word for word scores much lower against reference B on both metrics, although both references are correct.

La démonstration ci-dessous compte les n-grammes n-gramn-gramme corporacorpus A sequence of n consecutive items from a text, usually words: bigrams (n = 2), trigrams (n = 3), and so on.Suite de n éléments consécutifs d'un texte, généralement des mots : bigrammes (n = 2), trigrammes (n = 3), etc. qu’une traduction partage avec une traduction de référence, en mots comme le fait BLEU et en caractères comme le fait chrF. Elle compte comme les pages sur BLEU et chrF (see also the BLEU page) (voir aussi la page BLEU) : les lettres en minuscules, la ponctuation comme un mot à part entière, les espaces retirées pour les caractères, et chaque n-gramme compté au plus autant de fois qu’il apparaît dans l’autre texte. L’exemple est une phrase française avec deux traductions de référence que j’ai faites moi-même et huit traductions automatiques machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. recueillies en 2026 ; chacun des textes peut aussi être modifié.

Trois comparaisons valent la peine d’être faites :

• Les mots ou les caractères. Par rapport à la référence A, Google Translate ne partage aucune suite de quatre mots : son BLEU de phrase vaut donc 0, mais il partage beaucoup de caractères, et son chrF reste nettement au-dessus.
• Les n-grammes plus longs. En augmentant n pour les mots, vous voyez à quelle vitesse les suites partagées s’épuisent, et pourquoi une phrase qui ne partage aucune suite de quatre mots avec la référence obtient un BLEU de zéro.
• L’autre référence. Une traduction qui correspond mot pour mot à la référence A obtient un score bien plus bas par rapport à la référence B, avec les deux métriques, bien que les deux références soient correctes.