chrF · Evaluating machine translation · Ayla's learning materials

Counting shared characters

chrF, for character F-score, was proposed by Popović (2015) as a simple metric, independent of language and tokenization, that takes some morphological variation into account. It counts n-grams of characters rather than of words, from single characters up to sequences of six, with the spaces removed. And it counts in both directions. Precision is the share of the output’s character n-grams that are in the reference; recall is the share of the reference’s character n-grams that are in the output. The two are combined into an F-score, in which recall usually weighs twice as much as precision (Jurafsky & Martin, 2026). Figure 6figure 6 computes it on the pair of the BLEU page.

Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.

Figure 6. chrF computed by hand for the same output and reference as on the BLEU page.

The usual setting, written chrF2, uses character n-grams up to length 6 and the weight of 2 on recall. Of the lengths Popović (2015) tested (4, 6 and 10), 6 agreed best with human rankings; of the two weights she compared, 1 and 3, the weight of 3 agreed better, and she chose it as a preliminary value. Jurafsky and Martin (2026) give 2 as the common choice. A variant, chrF++, adds word unigrams and bigrams to the count (Popović, 2017).

The effect of counting characters

On the pair in the figure, chrF gives 65 where BLEU gave 54: a synonym still costs points, since félin and chat share no characters, but the rest of the sentence still matches. In the table below, the difference between the two metrics is largest when the words differ only slightly, or only in their order.

Output	Difference	BLEU	chrF
Le félin est sur le tapis	one synonym	54	65
Les chats sont sur le tapis	plural	0	63
Sur le tapis est le chat	word order	0	71
Le félin se trouve sur le tapis	synonym and a paraphrase	0	48

Sentence-level BLEU and chrF for outputs against the reference Le chat est sur le tapis. Computed by hand on lowercased text; sentence BLEU without smoothing.

A plural, a verb ending or a compound written as one word changes a whole word for BLEU and a few characters for chrF, and BLEU works less well for languages with complex morphology (Jurafsky & Martin, 2026). Kocmi et al. (2021) also found chrF ranking relatively better among the metrics when the target language uses a non-Latin script, such as Arabic, Russian or Chinese, though they call for more analysis. Counting characters also makes chrF much less dependent on tokenization, so two chrF scores computed with the same settings are comparable where two BLEU scores may not be (Popović, 2015).

In other respects chrF has the limits of BLEU. It is a surface metric: it compares sequences of characters, not meanings, so a correct translation in other words still scores low, and “a large phrase that is moved around might barely change the chrF score” (Jurafsky & Martin, 2026), even when the move changes the meaning. It also needs a reference, with the limits that a single reference brings (see also the Many correct translations page) (voir aussi la page De nombreuses traductions correctes).

chrF in current use

Among the metrics that count words or characters, chrF agreed best with human judgements in the comparison of Kocmi et al. (2021), who recommend it where a trained metric cannot be used. The WMT organizers still rely on it in exactly that case: for the two lowest-resource languages of the 2025 task, Bhojpuri and Maasai, where the reliability of the main metrics had not been established, the automatic ranking used chrF++ alone (Kocmi et al., 2025). It is also easy to compute and to check by hand. At the 2025 metrics task, it was in the top three rank clusters for scoring single sentences, with other simple metrics that compare the output with a reference, ahead of most trained metrics (Lavie et al., 2025).

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Updated 14 October 2026

Le comptage des caractères partagés

chrF, pour character F-score, a été proposé par Popović (2015) comme une métrique simple, indépendante de la langue et de la segmentation en mots, qui tient compte d’une partie de la variation morphologique. Elle compte des n-grammes de caractères plutôt que de mots, des caractères isolés jusqu’aux suites de six, les espaces étant retirées. Et elle compte dans les deux sens. La précision est la proportion des n-grammes de caractères de la sortie qui figurent dans la référence ; le rappel est la proportion des n-grammes de caractères de la référence qui figurent dans la sortie. Les deux sont combinés en un score F, dans lequel le rappel pèse habituellement deux fois plus que la précision (Jurafsky & Martin, 2026). La Figure 6figure 6 le calcule sur la paire de phrases de la page sur BLEU.

Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.

Figure 6. chrF calculé à la main pour la même sortie et la même référence que sur la page sur BLEU.

Le réglage habituel, noté chrF2, emploie des n-grammes de caractères allant jusqu’à 6 et un poids de 2 pour le rappel. Des longueurs que Popović (2015) a testées (4, 6 et 10), 6 s’accordait le mieux avec les classements humains ; des deux poids qu’elle a comparés, 1 et 3, le poids de 3 s’accordait mieux, et elle l’a retenu comme valeur provisoire. Jurafsky et Martin (2026) donnent 2 comme le choix courant. Une variante, chrF++, ajoute au comptage les mots isolés et les paires de mots (Popović, 2017).

L’effet du comptage des caractères

Sur la paire de la figure, chrF donne 65 là où BLEU donnait 54 : un synonyme coûte encore des points, puisque félin et chat n’ont aucun caractère en commun, mais le reste de la phrase correspond toujours. Dans le tableau ci-dessous, l’écart entre les deux métriques est le plus grand quand les mots ne diffèrent que légèrement, ou seulement par leur ordre.

Sortie	Différence	BLEU	chrF
Le félin est sur le tapis	un synonyme	54	65
Les chats sont sur le tapis	le pluriel	0	63
Sur le tapis est le chat	l’ordre des mots	0	71
Le félin se trouve sur le tapis	un synonyme et une paraphrase	0	48

BLEU et chrF de phrase pour des sorties comparées avec la référence Le chat est sur le tapis. Calculés à la main sur le texte en minuscules ; BLEU de phrase sans lissage.

Un pluriel, une terminaison verbale ou un mot composé écrit d’un seul tenant change un mot entier pour BLEU et quelques caractères pour chrF, et BLEU fonctionne moins bien pour les langues à morphologie complexe (Jurafsky & Martin, 2026). Kocmi et al. (2021) ont aussi constaté que chrF se classait relativement mieux parmi les métriques quand la langue cible emploie une écriture non latine, comme l’arabe, le russe ou le chinois, tout en appelant à une analyse plus poussée. Compter des caractères rend aussi chrF beaucoup moins dépendant de la segmentation en unités lexicales : deux scores chrF calculés avec les mêmes réglages sont comparables là où deux scores BLEU peuvent ne pas l’être (Popović, 2015).

Pour le reste, chrF a les limites de BLEU. C’est une métrique de surface : elle compare des suites de caractères, et non des sens, si bien qu’une traduction correcte formulée autrement obtient toujours un score bas, et « a large phrase that is moved around might barely change the chrF score » [ma traduction : « un long segment déplacé peut à peine modifier le score chrF »] (Jurafsky & Martin, 2026), même quand le déplacement change le sens. Elle exige aussi une référence, avec les limites qu’apporte une référence unique (see also the Many correct translations page) (voir aussi la page De nombreuses traductions correctes).

chrF dans l’usage actuel

Parmi les métriques qui comptent des mots ou des caractères, chrF s’accordait le mieux avec les jugements humains dans la comparaison de Kocmi et al. (2021), qui le recommandent quand une métrique entraînée ne peut pas être employée. Les organisateurs de WMT y recourent encore précisément dans ce cas : pour les deux langues les moins dotées de la tâche de 2025, le bhojpuri et le massaï, pour lesquelles la fiabilité des métriques principales n’avait pas été établie, le classement automatique a employé chrF++ seul (Kocmi et al., 2025). chrF est aussi facile à calculer et à vérifier à la main. À la tâche d’évaluation des métriques de 2025, il figurait dans les trois premiers groupes de rangs pour noter des phrases isolées, avec d’autres métriques simples qui comparent la sortie avec une référence, devant la plupart des métriques entraînées (Lavie et al., 2025).

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Mise à jour 14 octobre 2026

Sources

Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Kocmi, T., Artemova, E., Avramidis, E., Bawden, R., Bojar, O., Dranch, K., et al. (2025). Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 355–413. https://doi.org/10.18653/v1/2025.wmt-1.22
Kocmi, T., Federmann, C., Grundkiewicz, R., Junczys-Dowmunt, M., Matsushita, H., & Menezes, A. (2021). To Ship or Not to Ship: An Extensive Evaluation of Automatic Metrics for Machine Translation. Proceedings of the Sixth Conference on Machine Translation (WMT 2021), 478–494. https://aclanthology.org/2021.wmt-1.57/
Lavie, A., Hanneman, G., Agrawal, S., Kanojia, D., Lo, C., Zouhar, V., et al. (2025). Findings of the WMT25 Shared Task on Automated Translation Evaluation Systems: Linguistic Diversity is Challenging and References Still Help. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 436–483. https://doi.org/10.18653/v1/2025.wmt-1.24
Popović, M. (2015). chrF: character n-gram F-score for automatic MT evaluation. Proceedings of the Tenth Workshop on Statistical Machine Translation (WMT 2015), Lisbon, 392–395. https://doi.org/10.18653/v1/W15-3049
Popović, M. (2017). chrF++: words helping character n-grams. Proceedings of the Second Conference on Machine Translation (WMT 2017), Copenhagen, 612–618. https://doi.org/10.18653/v1/W17-4770

Sources

Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Kocmi, T., Artemova, E., Avramidis, E., Bawden, R., Bojar, O., Dranch, K., et al. (2025). Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 355–413. https://doi.org/10.18653/v1/2025.wmt-1.22
Kocmi, T., Federmann, C., Grundkiewicz, R., Junczys-Dowmunt, M., Matsushita, H., & Menezes, A. (2021). To Ship or Not to Ship: An Extensive Evaluation of Automatic Metrics for Machine Translation. Proceedings of the Sixth Conference on Machine Translation (WMT 2021), 478–494. https://aclanthology.org/2021.wmt-1.57/
Lavie, A., Hanneman, G., Agrawal, S., Kanojia, D., Lo, C., Zouhar, V., et al. (2025). Findings of the WMT25 Shared Task on Automated Translation Evaluation Systems: Linguistic Diversity is Challenging and References Still Help. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 436–483. https://doi.org/10.18653/v1/2025.wmt-1.24
Popović, M. (2015). chrF: character n-gram F-score for automatic MT evaluation. Proceedings of the Tenth Workshop on Statistical Machine Translation (WMT 2015), Lisbon, 392–395. https://doi.org/10.18653/v1/W15-3049
Popović, M. (2017). chrF++: words helping character n-grams. Proceedings of the Second Conference on Machine Translation (WMT 2017), Copenhagen, 612–618. https://doi.org/10.18653/v1/W17-4770

chrFchrF

Counting shared characters

The effect of counting characters

chrF in current use

Le comptage des caractères partagés

L’effet du comptage des caractères

chrF dans l’usage actuel

Sources

Sources

Spotted an error? Une erreur ?