Entre les séances · pour la séance 9 · mercredi 11 November 2026Entre les séances · pour la séance 9 · mercredi 11 novembre 2026

Limits of a first impression

When you try out a language tool, for example a machine translation system, a spelling checker or a chatbot, the obvious way to judge it is to look at some of its results and decide whether they seem good. That first impression is useful, but it is a weak basis for a conclusion:

• it relies on the few examples you happened to try;
• it depends on your own expertise, so another person can judge the same results differently, and it does not work for a subject or a language in which your own expertise is limited;
• it cannot be compared with another person’s impression of another tool, or with your own impression of the same tool a year later.

An evaluation is a more systematic way of judging a tool. The tool is run on evaluation data chosen in advance and its output is judged by a method that is stated, so that the result can be checked, repeated and compared.

Tasks without a single correct answer

For language technology language technologytechnologie langagière NLPTAL The field that builds usable tools and services out of the computational processing of human language, such as machine translation systems, terminology tools, speech interfaces and writing aids. By extension, the term also names those tools themselves.Domaine consacré à la conception d'outils et de services utilisables à partir du traitement informatique de la langue humaine : systèmes de traduction automatique, outils terminologiques, interfaces vocales, aides à la rédaction. Par extension, le terme désigne aussi ces outils eux-mêmes. , a systematic evaluation is less straightforward than it seems. Many tasks in natural language processing natural language processing (NLP)traitement automatique de la langue (TAL) NLPTAL An interdisciplinary field that develops and studies computational methods for analyzing, processing, and generating human language.Domaine interdisciplinaire qui développe et étudie des méthodes computationnelles pour analyser, traiter et générer le langage humain. (NLP) do not have a single answer that is unquestionably correct (Basile et al., 2021). For example, a sum has one correct answer, but a sentence can be translated well in several ways (Figure 1figure 1), and two specialists who list the terms of the same text rarely produce the same list (see also the Where people disagree about terms page, in the Classical NLP module) (voir aussi la page Les points de désaccord sur les termes, dans le module TAL classique). An evaluation therefore has to settle what counts as correct before anything can be counted.

Evaluation data, judgement and measure

An evaluation needs three things:

• Evaluation data: the texts the system is run on, which were not used to build it (see also the Benchmarks and test sets page, in the Evaluating language technology module) (voir aussi la page Tests de performances et jeux de test, dans le module L'évaluation des technologies langagières).
• A judgement of the output: most often a comparison with a gold standard gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. , which states what the output should have been according to people (see also the gold standard page, in the Evaluating language technology module) (voir aussi la page L'étalon de référence, dans le module L'évaluation des technologies langagières), but people can also judge the output directly (see also the Ways of evaluating page, in the Evaluating language technology module) (voir aussi la page Les façons d'évaluer, dans le module L'évaluation des technologies langagières).
• A measure: the rule that turns the judgements into a number.

A score can only be interpreted once all three are known (see also the Interpreting a score page, in the Evaluating language technology module) (voir aussi la page Interpréter un score, dans le module L'évaluation des technologies langagières).

Measures by kind of task

How the output is judged, and with which measure, depends on the kind of output a task has. The table below sets out three cases.

Kind of task	For instance	What is judged	Usual measures
Finding or labelling things	spam filtering, named entity recognition named entity recognition (NER)reconnaissance d'entités nommées (REN) NLPTAL The task of finding the spans of a text that are proper names, and labelling the category, most often a person, a location or an organization.Tâche qui consiste à repérer dans un texte les segments qui sont des noms propres, et à en étiqueter la catégorie, le plus souvent une personne, un lieu ou une organisation. , term extraction automatic term extraction (ATE)extraction automatique de termes NLPTAL The identification, by a program, of candidate terms in a text or a corpus, for a person to validate.Repérage, par un programme, de candidats terminologiques dans un texte ou un corpus, en vue de leur validation par une personne.	each decision of the system against the gold standard	precision precisionprécision evaluationévaluation The share of the items a system returned that are correct according to the gold standard.Part des éléments trouvés par un système qui sont corrects selon la référence. , recall recallrappel evaluationévaluation The share of the items in the gold standard that a system returned.Part des éléments de la référence qu'un système a trouvés. and the F1 score F1 scorescore F1 evaluationévaluation The harmonic mean of precision and recall: a single number between 0 and 1 that is high only when both are high.Moyenne harmonique de la précision et du rappel : un seul nombre entre 0 et 1, qui n'est élevé que si les deux le sont.
Writing text, where many outputs would be acceptable	translation, summarization	the output against one or more reference texts, or the output itself, by people (see also the Ways of evaluating page, in the Evaluating language technology module) (voir aussi la page Les façons d'évaluer, dans le module L'évaluation des technologies langagières)	overlap and similarity metrics such as BLEU, chrF, BERTScore and COMET; human ratings
Many tasks at once	a general-purpose large language model large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris.	the system on a collection of test sets test setjeu de données de test machine learningapprentissage automatique A portion of a dataset held back from both model training and model selection and used to evaluate the final model.Portion d'un jeu de données tenue à l'écart tant de l'entraînement que de la sélection du modèle et servant à évaluer le modèle final. Son but est d'estimer la performance du modèle achevé sur de nouvelles données issues de la tâche ou de la population visée.	benchmark benchmarktest de performances evaluationévaluation A standardized evaluation used to measure and compare how AI systems perform on particular tasks or capabilities.Évaluation normalisée servant à mesurer et à comparer la performance de systèmes d'IA sur des tâches ou des capacités données. scores

For tasks of the first kind, such as named entity recognition, evaluation has usually assumed that each item has one correct answer (Basile et al., 2021) (see also the Evaluating extraction and classification chapter, in the Evaluating language technology module) (voir aussi le chapitre Évaluation de l'extraction et de la classification, dans le module L'évaluation des technologies langagières). Tasks that produce text, such as machine translation machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. , cannot be evaluated on that assumption, because many different outputs can be right (see also the Evaluating machine translation chapter, in the Evaluating language technology module) (voir aussi le chapitre Évaluation de la traduction automatique, dans le module L'évaluation des technologies langagières). A large language model produces text whatever the task, so its evaluation raises the same difficulty.

Sources

• Basile, V., Fell, M., Fornaciari, T., Hovy, D., Paun, S., Plank, B., et al. (2021). We Need to Consider Disagreement in Evaluation. Proceedings of the 1st Workshop on Benchmarking: Past, Present and Future. https://doi.org/10.18653/v1/2021.bppf-1.3

Les limites d’une première impression

Quand vous essayez un outil langagier, par exemple un système de traduction automatique, un correcteur orthographique ou un agent conversationnel, la façon la plus évidente de le juger consiste à regarder quelques-uns de ses résultats et à décider s’ils semblent bons. Cette première impression est utile, mais c’est une base fragile pour une conclusion :

• elle dépend des quelques exemples que vous avez essayés ;
• elle dépend de votre propre expertise, de sorte qu’une autre personne peut juger les mêmes résultats autrement, et elle ne fonctionne pas pour un sujet ou une langue où votre expertise est limitée ;
• elle ne peut pas être comparée à l’impression d’une autre personne sur un autre outil, ni à votre propre impression du même outil un an plus tard.

Une évaluation est une façon plus systématique de juger un outil. L’outil fonctionne sur des données d’évaluation choisies à l’avance et sa sortie est jugée selon une méthode déclarée, de sorte que le résultat peut être vérifié, répété et comparé.

Les tâches sans réponse correcte unique

Pour les technologies langagières language technologytechnologie langagière NLPTAL The field that builds usable tools and services out of the computational processing of human language, such as machine translation systems, terminology tools, speech interfaces and writing aids. By extension, the term also names those tools themselves.Domaine consacré à la conception d'outils et de services utilisables à partir du traitement informatique de la langue humaine : systèmes de traduction automatique, outils terminologiques, interfaces vocales, aides à la rédaction. Par extension, le terme désigne aussi ces outils eux-mêmes. , une évaluation systématique est moins simple qu’il n’y paraît. Beaucoup de tâches du traitement automatique de la langue natural language processing (NLP)traitement automatique de la langue (TAL) NLPTAL An interdisciplinary field that develops and studies computational methods for analyzing, processing, and generating human language.Domaine interdisciplinaire qui développe et étudie des méthodes computationnelles pour analyser, traiter et générer le langage humain. (TAL) n’ont pas une réponse unique qui soit incontestablement correcte (Basile et al., 2021). Par exemple, une somme a une seule réponse correcte, mais une phrase peut être bien traduite de plusieurs façons (Figure 1figure 1), et deux spécialistes qui relèvent les termes d’un même texte produisent rarement la même liste (see also the Where people disagree about terms page, in the Classical NLP module) (voir aussi la page Les points de désaccord sur les termes, dans le module TAL classique). Une évaluation doit donc établir quelles réponses sont considérées comme correctes avant de pouvoir compter quoi que ce soit.

Données d’évaluation, jugement et mesure

Une évaluation a besoin de trois éléments :

• Des données d’évaluation : les textes sur lesquels le système fonctionne, et qui n’ont pas servi à le construire (see also the Benchmarks and test sets page, in the Evaluating language technology module) (voir aussi la page Tests de performances et jeux de test, dans le module L'évaluation des technologies langagières).
• Un jugement de la sortie : le plus souvent une comparaison avec un étalon de référence gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. (angl. gold standard), qui indique quelle aurait dû être la sortie selon des personnes (see also the gold standard page, in the Evaluating language technology module) (voir aussi la page L'étalon de référence, dans le module L'évaluation des technologies langagières), mais des personnes peuvent aussi juger la sortie directement (see also the Ways of evaluating page, in the Evaluating language technology module) (voir aussi la page Les façons d'évaluer, dans le module L'évaluation des technologies langagières).
• Une mesure : la règle qui transforme les jugements en un nombre.

Un score ne peut être interprété que lorsque les trois sont connus (see also the Interpreting a score page, in the Evaluating language technology module) (voir aussi la page Interpréter un score, dans le module L'évaluation des technologies langagières).

Les mesures selon le type de tâche

La façon de juger la sortie, et la mesure utilisée, dépendent du type de sortie d’une tâche. Le tableau ci-dessous présente trois cas.

Type de tâche	Par exemple	Ce qui est jugé	Mesures habituelles
Trouver ou étiqueter des éléments	le filtrage des pourriels, la reconnaissance d’entités nommées named entity recognition (NER)reconnaissance d'entités nommées (REN) NLPTAL The task of finding the spans of a text that are proper names, and labelling the category, most often a person, a location or an organization.Tâche qui consiste à repérer dans un texte les segments qui sont des noms propres, et à en étiqueter la catégorie, le plus souvent une personne, un lieu ou une organisation. , l’extraction de termes automatic term extraction (ATE)extraction automatique de termes NLPTAL The identification, by a program, of candidate terms in a text or a corpus, for a person to validate.Repérage, par un programme, de candidats terminologiques dans un texte ou un corpus, en vue de leur validation par une personne.	chaque décision du système, comparée à l’étalon de référence	la précision precisionprécision evaluationévaluation The share of the items a system returned that are correct according to the gold standard.Part des éléments trouvés par un système qui sont corrects selon la référence. , le rappel recallrappel evaluationévaluation The share of the items in the gold standard that a system returned.Part des éléments de la référence qu'un système a trouvés. et le score F1 F1 scorescore F1 evaluationévaluation The harmonic mean of precision and recall: a single number between 0 and 1 that is high only when both are high.Moyenne harmonique de la précision et du rappel : un seul nombre entre 0 et 1, qui n'est élevé que si les deux le sont.
Rédiger un texte, quand de nombreuses sorties seraient acceptables	la traduction, le résumé	la sortie, comparée à un ou plusieurs textes de référence, ou la sortie elle-même, par des personnes (see also the Ways of evaluating page, in the Evaluating language technology module) (voir aussi la page Les façons d'évaluer, dans le module L'évaluation des technologies langagières)	des mesures de recoupement et de similarité comme BLEU, chrF, BERTScore et COMET ; des notes attribuées par des personnes
De nombreuses tâches à la fois	un grand modèle de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. généraliste	le système sur un ensemble de jeux de test test setjeu de données de test machine learningapprentissage automatique A portion of a dataset held back from both model training and model selection and used to evaluate the final model.Portion d'un jeu de données tenue à l'écart tant de l'entraînement que de la sélection du modèle et servant à évaluer le modèle final. Son but est d'estimer la performance du modèle achevé sur de nouvelles données issues de la tâche ou de la population visée.	des scores à des tests de performances benchmarktest de performances evaluationévaluation A standardized evaluation used to measure and compare how AI systems perform on particular tasks or capabilities.Évaluation normalisée servant à mesurer et à comparer la performance de systèmes d'IA sur des tâches ou des capacités données.

Pour les tâches du premier type, comme la reconnaissance d’entités nommées, l’évaluation a généralement supposé que chaque élément a une seule réponse correcte (Basile et al., 2021) (see also the Evaluating extraction and classification chapter, in the Evaluating language technology module) (voir aussi le chapitre Évaluation de l'extraction et de la classification, dans le module L'évaluation des technologies langagières). Les tâches qui produisent du texte, comme la traduction automatique machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. , ne peuvent pas être évaluées à partir de cette hypothèse, parce que de nombreuses sorties différentes peuvent être correctes (see also the Evaluating machine translation chapter, in the Evaluating language technology module) (voir aussi le chapitre Évaluation de la traduction automatique, dans le module L'évaluation des technologies langagières). Un grand modèle de langue produit du texte quelle que soit la tâche, de sorte que son évaluation pose la même difficulté.

Sources

• Basile, V., Fell, M., Fornaciari, T., Hovy, D., Paun, S., Plank, B., et al. (2021). We Need to Consider Disagreement in Evaluation. Proceedings of the 1st Workshop on Benchmarking: Past, Present and Future. https://doi.org/10.18653/v1/2021.bppf-1.3

Output and gold standard

The most common way to evaluate an NLP system is to compare its output with a gold standard (see also the Ways of evaluating page, in the Evaluating language technology module) (voir aussi la page Les façons d'évaluer, dans le module L'évaluation des technologies langagières). The gold standard states what the output should have been, and it is most often made of the answers people gave for the same input (Jurafsky & Martin, 2026).

For example, in named entity recognition named entity recognition (NER)reconnaissance d'entités nommées (REN) NLPTAL The task of finding the spans of a text that are proper names, and labelling the category, most often a person, a location or an organization.Tâche qui consiste à repérer dans un texte les segments qui sont des noms propres, et à en étiqueter la catégorie, le plus souvent une personne, un lieu ou une organisation. , a system finds the names of people, places and organizations in a text. If such a system returned three names for a sentence, you could only say how well it worked by knowing which names people find in that sentence. Figure 3figure 3 builds up this example in three stages.

Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.

1. People mark the names in the sentence. Their answers are the gold standard.
2. The system is given the same sentence and returns the names it finds.
3. The output is compared with the gold standard word by word, and the comparison is reduced to a score.

A gold standard has to be made for each task. To score a term extractor automatic term extraction (ATE)extraction automatique de termes NLPTAL The identification, by a program, of candidate terms in a text or a corpus, for a person to validate.Repérage, par un programme, de candidats terminologiques dans un texte ou un corpus, en vue de leur validation par une personne. , a tool that lists the specialized terms of a text, you need the list of terms that are in the text, and that list has to be made by hand: one or more people read the text and mark the terms, following written guidelines.

Gold standard, reference and ground truth

The general word for the answers that an output is compared with is the reference. A gold standard is a reference that people produced. For a translation system, it is a translation made by a person, called a reference translation.

Ground truth is often used as a synonym of gold standard, but the two answer different questions about a reference (Figure 4figure 4): a gold standard is produced by people, and a ground truth consists of verifiable facts. Where the answers depend on judgement, people can disagree and more than one answer can be correct (Basile et al., 2021), so a gold standard is then not a ground truth.

Limits of a gold standard

Every score computed against a gold standard is a comparison with one particular set of answers, and that set has limits of its own:

• It depends on the guidelines. The people who made it followed written guidelines and decided the unclear cases, for instance whether names count as terms or how long a term may be. Had they decided differently, the same system would score differently on the same text (see also the Where people disagree about terms page, in the Classical NLP module) (voir aussi la page Les points de désaccord sur les termes, dans le module TAL classique). For many language tasks, some of these decisions are a matter of judgement (Basile et al., 2021).
• It depends on the annotators. Other people, with other expertise, would mark some items differently, and any annotator makes mistakes (Artstein & Poesio, 2008). Comparing the annotators with each other shows how far a gold standard can be relied on (see also the Agreement between annotators page, in the Evaluating language technology module) (voir aussi la page L'accord entre annotateurs, dans le module L'évaluation des technologies langagières).
• It covers a limited set of texts. A score says how a system does on texts like those in the gold standard, from one domain, one language and one type of document, and it says less about other texts (see also the Interpreting a score page, in the Evaluating language technology module) (voir aussi la page Interpréter un score, dans le module L'évaluation des technologies langagières).
• It is costly to extend. A new domain or a new language needs a new gold standard, annotated by hand again.
• It can end up in training data. Once a gold standard is published, the systems it is meant to evaluate may have been trained on it (Sainz et al., 2023) (see also the Benchmarks and test sets page, in the Evaluating language technology module) (voir aussi la page Tests de performances et jeux de test, dans le module L'évaluation des technologies langagières).
• It lists a limited number of answers. For a system that produces text, such as a translation system or a chatbot, an output can be good without resembling any of them, which is one reason why people also judge such output directly (see also the Ways of evaluating page, in the Evaluating language technology module) (voir aussi la page Les façons d'évaluer, dans le module L'évaluation des technologies langagières).

Sources

• Artstein, R., & Poesio, M. (2008). Inter-coder agreement for computational linguistics. Computational Linguistics, 34(4), 555–596. https://doi.org/10.1162/coli.07-034-R2
• Basile, V., Fell, M., Fornaciari, T., Hovy, D., Paun, S., Plank, B., et al. (2021). We Need to Consider Disagreement in Evaluation. Proceedings of the 1st Workshop on Benchmarking: Past, Present and Future. https://doi.org/10.18653/v1/2021.bppf-1.3
• Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
• Rebholz-Schuhmann, D., Jimeno Yepes, A. J., van Mulligen, E. M., Kang, N., Kors, J., Milward, D., et al. (2010). The CALBC Silver Standard Corpus for Biomedical Named Entities — A Study in Harmonizing the Contributions from Four Independent Named Entity Taggers. Proceedings of the Seventh International Conference on Language Resources and Evaluation (LREC'10). https://aclanthology.org/L10-1609/
• Sainz, O., Campos, J., García-Ferrero, I., Etxaniz, J., Lopez de Lacalle, O., & Agirre, E. (2023). NLP Evaluation in Trouble: On the Need to Measure LLM Data Contamination for Each Benchmark. Findings of the Association for Computational Linguistics: EMNLP 2023, 10776–10787. https://doi.org/10.18653/v1/2023.findings-emnlp.722
• Tan, Z., Li, D., Wang, S., Beigi, A., Jiang, B., Bhattacharjee, A., et al. (2024). Large Language Models for Data Annotation and Synthesis: A Survey. Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing, 930–957. https://aclanthology.org/2024.emnlp-main.54/

La sortie et l’étalon de référence

La façon la plus courante d’évaluer un système de TAL est de comparer sa sortie avec un étalon de référence (angl. gold standard) (see also the Ways of evaluating page, in the Evaluating language technology module) (voir aussi la page Les façons d'évaluer, dans le module L'évaluation des technologies langagières). L’étalon de référence indique quelle aurait dû être la sortie, et il est le plus souvent constitué des réponses que des personnes ont données pour la même entrée (Jurafsky & Martin, 2026).

Par exemple, en reconnaissance d’entités nommées named entity recognition (NER)reconnaissance d'entités nommées (REN) NLPTAL The task of finding the spans of a text that are proper names, and labelling the category, most often a person, a location or an organization.Tâche qui consiste à repérer dans un texte les segments qui sont des noms propres, et à en étiqueter la catégorie, le plus souvent une personne, un lieu ou une organisation. , un système trouve les noms de personnes, de lieux et d’organisations dans un texte. Si un tel système renvoyait trois noms pour une phrase, vous ne pourriez dire s’il a bien fonctionné qu’en sachant quels noms des personnes trouvent dans cette phrase. La Figure 3figure 3 construit cet exemple en trois étapes.

Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.

1. Des personnes marquent les noms dans la phrase. Leurs réponses constituent l'étalon de référence.
2. Le système reçoit la même phrase et renvoie les noms qu'il trouve.
3. La sortie est comparée à l'étalon de référence mot par mot, et la comparaison est ramenée à un score.

Un étalon de référence doit être créé pour chaque tâche. Pour attribuer un score à un extracteur de termes automatic term extraction (ATE)extraction automatique de termes NLPTAL The identification, by a program, of candidate terms in a text or a corpus, for a person to validate.Repérage, par un programme, de candidats terminologiques dans un texte ou un corpus, en vue de leur validation par une personne. , un outil qui dresse la liste des termes spécialisés d’un texte, il faut la liste des termes qui se trouvent dans le texte, et cette liste doit être établie à la main : une ou plusieurs personnes lisent le texte et marquent les termes, en suivant des consignes écrites.

Étalon de référence, référence et réalité de terrain

Le mot général pour les réponses auxquelles une sortie est comparée est la référence. Un étalon de référence est une référence que des personnes ont produite. Pour un système de traduction, c’est une traduction faite par une personne, appelée traduction de référence.

Le terme réalité de terrain (angl. ground truth) est souvent employé comme synonyme d’étalon de référence, mais les deux répondent à des questions différentes sur une référence (Figure 4figure 4) : un étalon de référence est produit par des personnes, et une réalité de terrain est constituée de faits vérifiables. Lorsque les réponses dépendent d’un jugement, les personnes peuvent être en désaccord et plusieurs réponses peuvent être correctes (Basile et al., 2021) : un étalon de référence n’est alors pas une réalité de terrain.

Les limites d’un étalon de référence

Chaque score calculé par rapport à un étalon de référence est une comparaison avec un ensemble de réponses particulier, et cet ensemble a ses propres limites :

• Il dépend des consignes. Les personnes qui l’ont établi ont suivi des consignes écrites et ont tranché les cas flous, par exemple si les noms propres comptent comme des termes, ou quelle longueur un terme peut avoir. Si elles avaient décidé autrement, le même système obtiendrait un autre score sur le même texte (see also the Where people disagree about terms page, in the Classical NLP module) (voir aussi la page Les points de désaccord sur les termes, dans le module TAL classique). Pour beaucoup de tâches langagières, une partie de ces décisions relève du jugement (Basile et al., 2021).
• Il dépend des annotateurs. D’autres personnes, avec une autre expertise, marqueraient certains éléments autrement, et tout annotateur fait des erreurs (Artstein & Poesio, 2008). Comparer les annotateurs entre eux montre à quel point on peut se fier à un étalon de référence (see also the Agreement between annotators page, in the Evaluating language technology module) (voir aussi la page L'accord entre annotateurs, dans le module L'évaluation des technologies langagières).
• Il porte sur un ensemble limité de textes. Un score dit ce que donne un système sur des textes semblables à ceux de l’étalon de référence, d’un domaine, d’une langue et d’un type de document, et il en dit moins sur d’autres textes (see also the Interpreting a score page, in the Evaluating language technology module) (voir aussi la page Interpréter un score, dans le module L'évaluation des technologies langagières).
• Il coûte cher à étendre. Un nouveau domaine ou une nouvelle langue demande un nouvel étalon de référence, annoté de nouveau à la main.
• Il peut se retrouver dans les données d’entraînement. Une fois publié, un étalon de référence peut avoir servi à entraîner les systèmes qu’il doit évaluer (Sainz et al., 2023) (see also the Benchmarks and test sets page, in the Evaluating language technology module) (voir aussi la page Tests de performances et jeux de test, dans le module L'évaluation des technologies langagières).
• Il énumère un nombre limité de réponses. Pour un système qui produit du texte, comme un système de traduction ou un agent conversationnel, une sortie peut être bonne sans ressembler à aucune d’elles, et c’est l’une des raisons pour lesquelles des personnes jugent aussi de telles sorties directement (see also the Ways of evaluating page, in the Evaluating language technology module) (voir aussi la page Les façons d'évaluer, dans le module L'évaluation des technologies langagières).

Sources

• Artstein, R., & Poesio, M. (2008). Inter-coder agreement for computational linguistics. Computational Linguistics, 34(4), 555–596. https://doi.org/10.1162/coli.07-034-R2
• Basile, V., Fell, M., Fornaciari, T., Hovy, D., Paun, S., Plank, B., et al. (2021). We Need to Consider Disagreement in Evaluation. Proceedings of the 1st Workshop on Benchmarking: Past, Present and Future. https://doi.org/10.18653/v1/2021.bppf-1.3
• Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
• Rebholz-Schuhmann, D., Jimeno Yepes, A. J., van Mulligen, E. M., Kang, N., Kors, J., Milward, D., et al. (2010). The CALBC Silver Standard Corpus for Biomedical Named Entities — A Study in Harmonizing the Contributions from Four Independent Named Entity Taggers. Proceedings of the Seventh International Conference on Language Resources and Evaluation (LREC'10). https://aclanthology.org/L10-1609/
• Sainz, O., Campos, J., García-Ferrero, I., Etxaniz, J., Lopez de Lacalle, O., & Agirre, E. (2023). NLP Evaluation in Trouble: On the Need to Measure LLM Data Contamination for Each Benchmark. Findings of the Association for Computational Linguistics: EMNLP 2023, 10776–10787. https://doi.org/10.18653/v1/2023.findings-emnlp.722
• Tan, Z., Li, D., Wang, S., Beigi, A., Jiang, B., Bhattacharjee, A., et al. (2024). Large Language Models for Data Annotation and Synthesis: A Survey. Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing, 930–957. https://aclanthology.org/2024.emnlp-main.54/

What agreement measures

For many language tasks, there is no single answer that is objectively true (see also the Systematic evaluation page, in the Evaluating language technology module) (voir aussi la page L'évaluation systématique, dans le module L'évaluation des technologies langagières), so people who annotate the same data separately do not produce the same gold standard gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. . The extent to which they agree is called inter-annotator agreement (IAA).

Inter-annotator agreement is a measure of the reliability of a gold standard: high agreement suggests that the annotators understood the guidelines in the same way (Artstein & Poesio, 2008). In Figure 5figure 5, three annotators have marked six units between them, and only two of the six were marked by all three.

Agreement is also measured when people judge the output of a system directly (see also the Ways of evaluating page, in the Evaluating language technology module) (voir aussi la page Les façons d'évaluer, dans le module L'évaluation des technologies langagières). For translations, for example, both ratings on a scale and error annotation data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. generally show low agreement between the people who judge (Kocmi et al., 2024a).

Measures of agreement

The simplest measure is the share of items on which the annotators gave the same answer. Part of any agreement arises by chance, and some measures correct for it (Artstein & Poesio, 2008). When annotators mark things in running text, such as terms, their agreement can be measured with the same scores as a system (Hripcsak & Rothschild, 2005) (see also the Agreement as an F1 score page, in the Evaluating language technology module) (voir aussi la page L'accord mesuré par le score F1, dans le module L'évaluation des technologies langagières).

Low and high agreement

• Low agreement is a finding about the task. Either some annotators are wrong, or the guidelines do not fit the data (Artstein & Poesio, 2008). For many language tasks there is a third possibility, that more than one answer is right (Basile et al., 2021).
• A task with low agreement is harder to evaluate, and often harder to automate. The gold standard that a system is scored against is itself uncertain, and where people do not agree on the answer, a system has no consistent answer to learn or to reproduce. In a review of published results in biomedical NLP, Boguslav and Cohen (2017) found that tasks with higher agreement between annotators also had higher system scores.
• High agreement is not proof. Reliability is a precondition for a gold standard being right, but two people can share the same mistaken idea and agree completely (Artstein & Poesio, 2008).

Combining several annotators

Most evaluations compare a system with a single gold standard, so the differences between annotators have to be settled. This step is called adjudication, and it can be done in several ways, for instance:

• Discussion: the annotators compare their results and settle each difference together.
• Majority vote: a unit goes into the gold standard when most of the annotators marked it. Figure 6figure 6 applies it to the three annotators of Figure 5figure 5.
• One person checks: a single experienced annotator makes or reviews every decision, which keeps the gold standard consistent but makes it one person’s view.

Combining the annotations is not the only option. An evaluation can also keep the annotations of each person and compare a system with all of them, so that the items on which people disagree are counted as well (Basile et al., 2021).

Agreement and the score of a system

A score against a gold standard cannot be interpreted without the agreement between the people who made it. When two careful people reach 0.6 against each other, a system that reaches 0.6 against one of them does about as well as a second person would (see also the Agreement as an F1 score page, in the Evaluating language technology module) (voir aussi la page L'accord mesuré par le score F1, dans le module L'évaluation des technologies langagières).

The agreement is often assumed to be the upper limit of what a system can reach, but systems do score above it (Boguslav & Cohen, 2017). A higher score is not always feasible, and it is not always desirable: a much higher score can mean that the system reproduces the choices of the particular people who made the gold standard.

Sources

• Artstein, R., & Poesio, M. (2008). Inter-coder agreement for computational linguistics. Computational Linguistics, 34(4), 555–596. https://doi.org/10.1162/coli.07-034-R2
• Basile, V., Fell, M., Fornaciari, T., Hovy, D., Paun, S., Plank, B., et al. (2021). We Need to Consider Disagreement in Evaluation. Proceedings of the 1st Workshop on Benchmarking: Past, Present and Future. https://doi.org/10.18653/v1/2021.bppf-1.3
• Boguslav, M., & Cohen, K. B. (2017). Inter-Annotator Agreement and the Upper Limit on Machine Performance: Evidence from Biomedical Natural Language Processing. Studies in Health Technology and Informatics, 245, 298–302. https://doi.org/10.3233/978-1-61499-830-3-298
• Hripcsak, G., & Rothschild, A. S. (2005). Agreement, the F-measure, and reliability in information retrieval. Journal of the American Medical Informatics Association, 12(3), 296–298. https://doi.org/10.1197/jamia.M1733
• Kocmi, T., Zouhar, V., Avramidis, E., Grundkiewicz, R., Karpinska, M., Popović, M., et al. (2024a). Error Span Annotation: A Balanced Approach for Human Evaluation of Machine Translation. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1440–1453. https://doi.org/10.18653/v1/2024.wmt-1.131

Ce que mesure l’accord

Pour beaucoup de tâches langagières, il n’existe pas de réponse unique qui soit objectivement vraie (see also the Systematic evaluation page, in the Evaluating language technology module) (voir aussi la page L'évaluation systématique, dans le module L'évaluation des technologies langagières) : des personnes qui annotent les mêmes données séparément ne produisent donc pas le même étalon de référence gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. . La mesure dans laquelle elles sont d’accord s’appelle l’accord inter-annotateurs.

L’accord inter-annotateurs est une mesure de la fiabilité d’un étalon de référence : un accord élevé suggère que les annotateurs ont compris les consignes de la même façon (Artstein & Poesio, 2008). Dans Figure 5figure 5, trois annotateurs ont marqué six unités à eux trois, et seules deux des six ont été marquées par les trois.

L’accord se mesure aussi lorsque des personnes jugent directement la sortie d’un système (see also the Ways of evaluating page, in the Evaluating language technology module) (voir aussi la page Les façons d'évaluer, dans le module L'évaluation des technologies langagières). Pour les traductions, par exemple, la notation sur une échelle et l’annotation data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. des erreurs donnent toutes deux, en général, un accord faible entre les personnes qui jugent (Kocmi et al., 2024a).

Les mesures de l’accord

La mesure la plus simple est la proportion d’éléments pour lesquels les annotateurs ont donné la même réponse. Une partie de tout accord est due au hasard, et certaines mesures en tiennent compte (Artstein & Poesio, 2008). Lorsque les annotateurs marquent des éléments dans un texte suivi, comme des termes, leur accord peut être mesuré avec les mêmes scores qu’un système (Hripcsak & Rothschild, 2005) (see also the Agreement as an F1 score page, in the Evaluating language technology module) (voir aussi la page L'accord mesuré par le score F1, dans le module L'évaluation des technologies langagières).

Accord faible et accord élevé

• Un accord faible est un constat sur la tâche. Soit certains annotateurs se trompent, soit les consignes ne conviennent pas aux données (Artstein & Poesio, 2008). Pour beaucoup de tâches langagières, il existe une troisième possibilité : plusieurs réponses sont correctes (Basile et al., 2021).
• Une tâche où l’accord est faible est plus difficile à évaluer, et souvent plus difficile à automatiser. L’étalon de référence auquel un système est comparé est lui-même incertain, et lorsque les personnes ne s’entendent pas sur la réponse, un système n’a pas de réponse constante à apprendre ou à reproduire. Dans une analyse de résultats publiés en TAL biomédical, Boguslav et Cohen (2017) ont constaté que les tâches où l’accord entre annotateurs était plus élevé obtenaient aussi des scores de systèmes plus élevés.
• Un accord élevé n’est pas une preuve. La fiabilité est une condition préalable pour qu’un étalon de référence soit juste, mais deux personnes peuvent partager la même idée fausse et être entièrement d’accord (Artstein & Poesio, 2008).

Combiner plusieurs annotateurs

La plupart des évaluations comparent un système à un seul étalon de référence : les différences entre annotateurs doivent donc être tranchées. Cette étape s’appelle l’arbitrage, et elle peut se faire de plusieurs façons, par exemple :

• La discussion : les annotateurs comparent leurs résultats et tranchent chaque différence ensemble.
• Le vote majoritaire : une unité entre dans l’étalon de référence lorsque la majorité des annotateurs l’ont marquée. La Figure 6figure 6 l’applique aux trois annotateurs de Figure 5figure 5.
• La vérification par une seule personne : un seul annotateur expérimenté prend ou révise chaque décision, ce qui garde l’étalon de référence cohérent, mais en fait le point de vue d’une seule personne.

Combiner les annotations n’est pas la seule possibilité. Une évaluation peut aussi conserver les annotations de chaque personne et comparer un système à toutes, de sorte que les éléments sur lesquels les personnes sont en désaccord sont comptés eux aussi (Basile et al., 2021).

L’accord et le score d’un système

Un score par rapport à un étalon de référence ne peut pas être interprété sans l’accord entre les personnes qui l’ont établi. Lorsque deux personnes soigneuses atteignent 0,6 l’une par rapport à l’autre, un système qui atteint 0,6 par rapport à l’une d’elles fait à peu près aussi bien que le ferait une deuxième personne (see also the Agreement as an F1 score page, in the Evaluating language technology module) (voir aussi la page L'accord mesuré par le score F1, dans le module L'évaluation des technologies langagières).

L’accord est souvent considéré comme la limite supérieure de ce qu’un système peut atteindre, mais des systèmes obtiennent bel et bien des scores supérieurs (Boguslav & Cohen, 2017). Un score plus élevé n’est pas toujours réalisable, et il n’est pas toujours souhaitable : un score beaucoup plus élevé peut signifier que le système reproduit les choix des personnes qui ont établi l’étalon de référence.

Sources

• Artstein, R., & Poesio, M. (2008). Inter-coder agreement for computational linguistics. Computational Linguistics, 34(4), 555–596. https://doi.org/10.1162/coli.07-034-R2
• Basile, V., Fell, M., Fornaciari, T., Hovy, D., Paun, S., Plank, B., et al. (2021). We Need to Consider Disagreement in Evaluation. Proceedings of the 1st Workshop on Benchmarking: Past, Present and Future. https://doi.org/10.18653/v1/2021.bppf-1.3
• Boguslav, M., & Cohen, K. B. (2017). Inter-Annotator Agreement and the Upper Limit on Machine Performance: Evidence from Biomedical Natural Language Processing. Studies in Health Technology and Informatics, 245, 298–302. https://doi.org/10.3233/978-1-61499-830-3-298
• Hripcsak, G., & Rothschild, A. S. (2005). Agreement, the F-measure, and reliability in information retrieval. Journal of the American Medical Informatics Association, 12(3), 296–298. https://doi.org/10.1197/jamia.M1733
• Kocmi, T., Zouhar, V., Avramidis, E., Grundkiewicz, R., Karpinska, M., Popović, M., et al. (2024a). Error Span Annotation: A Balanced Approach for Human Evaluation of Machine Translation. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1440–1453. https://doi.org/10.18653/v1/2024.wmt-1.131

A score compared with a simple method

A score does not say, on its own, whether a system is good. If you are told that a spam filter is right for 90 messages out of 100, you still need to know what a very simple method would score on the same messages. If 90 of the 100 messages are not spam, a filter that lets every message through is also right 90 times out of 100, and it has not stopped any spam (Figure 8figure 8).

The score of such a simple method is called a baseline.

A baseline is evaluated exactly like the system, on the same evaluation data and, where there is one, against the same gold standard gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. and with the same measure, so that the two scores can be compared (see also the Interpreting a score page, in the Evaluating language technology module) (voir aussi la page Interpréter un score, dans le module L'évaluation des technologies langagières). A system that does not score clearly above its baseline has not shown that it does the task.

Baselines for classification

For a task where a system sorts items into classes (classification classificationclassification machine learningapprentissage automatique A task whose answer is one of a fixed set of categories: the system is asked which of k classes an input belongs to.Tâche dont la réponse est l'une des catégories d'un ensemble fixe : le système doit dire à laquelle des k classes appartient une entrée. ), the table below gives three simple baselines.

Baseline	What it does	What it scores
Random guess	chooses a class at random for each item	with two classes, right about half the time
Majority class	always answers the most frequent class	right as often as that class occurs: 90 % when nine items in ten belong to it
Most frequent answer for each item	gives each item the answer it had most often in a set of labelled examples; only possible where the same items come back, as words do	depends on the task, and can be high: about 92 % of the words for part-of-speech tagging of English, the example below

A baseline can also be an existing tool: a new system is then expected to do better than the one it replaces.The third baseline is not always possible: it needs labelled examples, and the items of the test have to come back from those examples, as words do in running text. Jurafsky and Martin (2026) give it for part-of-speech tagging. No two emails are identical, so a spam filter has no such baseline.

In the examples above, the baselines were measured with accuracy accuracyexactitude evaluationévaluation The share of all decisions of a system that are correct, true positives and true negatives together.Part de toutes les décisions d'un système qui sont correctes, vrais positifs et vrais négatifs ensemble. , the share of items that receive the right answer. When the class to find is rare, as spam is, another measure such as the F1 score F1 scorescore F1 evaluationévaluation The harmonic mean of precision and recall: a single number between 0 and 1 that is high only when both are high.Moyenne harmonique de la précision et du rappel : un seul nombre entre 0 et 1, qui n'est élevé que si les deux le sont. is less likely to give a naive baseline a high score (see also the Precision, recall and F1 page, in the Evaluating language technology module) (voir aussi la page Précision, rappel et score F1, dans le module L'évaluation des technologies langagières).

Baseline and human performance

A score is interpreted between two points of comparison: the baseline, and the level people reach on the same task (see also the Agreement between annotators page, in the Evaluating language technology module) (voir aussi la page L'accord entre annotateurs, dans le module L'évaluation des technologies langagières).

In part-of-speech tagging part-of-speech tagging (POS tagging)étiquetage morphosyntaxique NLPTAL The task of taking a sequence of tokenized words and a tagset, and assigning to each word one tag naming its grammatical class, such as noun or verb.Tâche qui consiste à prendre une suite de mots segmentés et un jeu d'étiquettes, puis à attribuer à chaque mot une étiquette nommant sa classe grammaticale, par exemple nom ou verbe. , each word of a text is labelled as a noun, a verb, an adjective and so on. For English, Jurafsky and Martin (2026) report that a baseline which gives each word its most frequent label is right for about 92 % of the words, and that the best systems reach about 97 %, which is also about the level people reach (Figure 9figure 9). The systems therefore differ from the baseline by five points, and a score of 93 % for English is close to the baseline. The figures are for English only: for another language, both points of comparison have to be measured again.

Sources

• Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/

Un score comparé à une méthode simple

Un score ne dit pas, à lui seul, si un système est bon. Si l’on vous dit qu’un filtre antipourriel a raison pour 90 messages sur 100, il vous reste à savoir quel score une méthode très simple obtiendrait sur les mêmes messages. Si 90 des 100 messages ne sont pas des pourriels, un filtre qui laisse passer tous les messages a lui aussi raison 90 fois sur 100, et il n’a arrêté aucun pourriel (Figure 8figure 8).

Le score d’une telle méthode simple s’appelle un étalon.

Un étalon est évalué exactement comme le système, sur les mêmes données d’évaluation et, lorsqu’il y en a un, par rapport au même étalon de référence gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. et avec la même mesure, afin que les deux scores puissent être comparés (see also the Interpreting a score page, in the Evaluating language technology module) (voir aussi la page Interpréter un score, dans le module L'évaluation des technologies langagières). Un système qui n’obtient pas un score nettement supérieur à son étalon n’a pas montré qu’il accomplit la tâche.

Les étalons pour la classification

Pour une tâche où un système répartit des éléments en classes (classification classificationclassification machine learningapprentissage automatique A task whose answer is one of a fixed set of categories: the system is asked which of k classes an input belongs to.Tâche dont la réponse est l'une des catégories d'un ensemble fixe : le système doit dire à laquelle des k classes appartient une entrée. ), le tableau ci-dessous présente trois étalons simples.

Étalon	Ce qu’il fait	Ce qu’il obtient
Réponse au hasard	choisit une classe au hasard pour chaque élément	avec deux classes, a raison environ une fois sur deux
Classe majoritaire	répond toujours la classe la plus fréquente	a raison aussi souvent que cette classe apparaît : 90 % lorsque neuf éléments sur dix lui appartiennent
Réponse la plus fréquente pour chaque élément	donne à chaque élément la réponse qu’il a reçue le plus souvent dans un ensemble d’exemples étiquetés ; possible seulement lorsque les mêmes éléments reviennent, comme le font les mots	dépend de la tâche, et peut être élevé : environ 92 % des mots pour l’étiquetage morphosyntaxique de l’anglais, l’exemple ci-dessous

Un étalon peut aussi être un outil existant : on attend alors d’un nouveau système qu’il fasse mieux que celui qu’il remplace.Le troisième étalon n’est pas toujours possible : il lui faut des exemples étiquetés, et les éléments du test doivent revenir dans ces exemples, comme le font les mots dans un texte suivi. Jurafsky et Martin (2026) le donnent pour l’étiquetage morphosyntaxique. Il n’y a pas deux courriels identiques, de sorte qu’un filtre antipourriel n’a pas d’étalon de ce type.

Dans les exemples ci-dessus, les étalons ont été mesurés avec l’exactitude accuracyexactitude evaluationévaluation The share of all decisions of a system that are correct, true positives and true negatives together.Part de toutes les décisions d'un système qui sont correctes, vrais positifs et vrais négatifs ensemble. , la proportion d’éléments qui reçoivent la bonne réponse. Quand la classe à trouver est rare, comme les pourriels, une autre mesure, par exemple le score F1 F1 scorescore F1 evaluationévaluation The harmonic mean of precision and recall: a single number between 0 and 1 that is high only when both are high.Moyenne harmonique de la précision et du rappel : un seul nombre entre 0 et 1, qui n'est élevé que si les deux le sont. , risque moins de donner un score élevé à un étalon naïf (see also the Precision, recall and F1 page, in the Evaluating language technology module) (voir aussi la page Précision, rappel et score F1, dans le module L'évaluation des technologies langagières).

L’étalon et la performance humaine

Un score s’interprète entre deux points de comparaison : l’étalon, et le niveau que des personnes atteignent pour la même tâche (see also the Agreement between annotators page, in the Evaluating language technology module) (voir aussi la page L'accord entre annotateurs, dans le module L'évaluation des technologies langagières).

En étiquetage morphosyntaxique part-of-speech tagging (POS tagging)étiquetage morphosyntaxique NLPTAL The task of taking a sequence of tokenized words and a tagset, and assigning to each word one tag naming its grammatical class, such as noun or verb.Tâche qui consiste à prendre une suite de mots segmentés et un jeu d'étiquettes, puis à attribuer à chaque mot une étiquette nommant sa classe grammaticale, par exemple nom ou verbe. , chaque mot d’un texte reçoit une étiquette : nom, verbe, adjectif, etc. Pour l’anglais, Jurafsky et Martin (2026) rapportent qu’un étalon qui donne à chaque mot son étiquette la plus fréquente a raison pour environ 92 % des mots, et que les meilleurs systèmes atteignent environ 97 %, ce qui est aussi à peu près le niveau que des personnes atteignent (Figure 9figure 9). Les systèmes diffèrent donc de l’étalon de cinq points, et un score de 93 % pour l’anglais est proche de l’étalon. Ces chiffres ne valent que pour l’anglais : pour une autre langue, les deux points de comparaison doivent être mesurés de nouveau.

Sources

• Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/