Evaluating extraction and classification · Ayla's learning materials

False positives and false negativesFaux positifs et faux négatifs

Extraction and classification

This chapter is about two kinds of system (Figure 1figure 1):

systems that find things in a text, such as a term extractor or a system for named entity recognition;
systems that sort items into classes (classification), such as a spam filter, or a system that labels a review as positive or negative.

Figure 1. The two kinds of system of this chapter: one returns a list of the things it found in a text, the other gives each item a label.

Such systems are most often evaluated by comparing their output with a gold standard, the answers that people gave for the same input (see also the gold standard page) (voir aussi la page L'étalon de référence). Several measures can turn that comparison into a score. The focus here is on three that are commonly used together: precision, recall and the F1 score.

An example of each error

For example, a term extractor, a tool that lists the specialized terms of a text, is run on a sentence about dressage, an equestrian sport (Figure 2figure 2):

the tool returns a list of three candidates: flying change, last corner and collected canter;
the gold standard is a list of three terms: flying change, half-halt and collected canter.

Two candidates are on both lists, so they are correct. The tool has also made two errors, of different kinds:

last corner was returned, but it is not a term;
half-halt is a term, but it was not returned.

Three parts. The text: The rider asks for a flying change before the last corner, then a half-halt and a collected canter. The gold standard, the terms people listed: flying change, correct, on both lists; half-halt, missed, a term, not returned; collected canter, correct. The output, the candidates the tool returned: flying change, correct; last corner, wrong, returned, not a term; collected canter, correct. — Figure 2. A text, the list of the gold standard and the list a tool returned: two correct candidates, one term that was missed and one candidate that is not a term.

The four outcomes

When the output of a system is compared with a gold standard, every decision is one of four cases, defined in the boxes below and often abbreviated TP, FP, FN and TN.

evaluationévaluation DefinitionDéfinition · false positive (FP)faux positif (FP) · fr: faux positif· en : false positive

An item that a system returned, or assigned to the class it looks for, but that the gold standard does not contain: for example, a candidate that is not a term, or a legitimate message stopped by a spam filter.Élément qu'un système a trouvé, ou classé dans la classe recherchée, mais que la référence ne contient pas : par exemple, un candidat qui n'est pas un terme, ou un message légitime arrêté par un filtre antipourriel. (Jurafsky & Martin, 2026, section 4.9)

NotesRemarques Taken together, the false positives are also called noise. They lower precision.Pris ensemble, les faux positifs forment le bruit. Ils font baisser la précision.

evaluationévaluation DefinitionDéfinition · true negative (TN)vrai négatif (VN) · fr: vrai négatif· en : true negative

An item that the gold standard does not contain and that a system did not return, or did not assign to the class it looks for: for example, a legitimate message that a spam filter lets through.Élément que la référence ne contient pas et qu'un système n'a ni trouvé ni classé dans la classe recherchée : par exemple, un message légitime qu'un filtre antipourriel laisse passer. (Jurafsky & Martin, 2026, section 4.9)

NotesRemarques For a system that finds things in a text, such as a term extractor, the true negatives cannot be counted in a useful way, which is why precision and recall leave them out.Pour un système qui repère des éléments dans un texte, comme un extracteur de termes, les vrais négatifs ne peuvent pas être comptés de façon utile, et c'est pourquoi la précision et le rappel les laissent de côté.

In the example above, flying change and collected canter are true positives, last corner is a false positive and half-halt is a false negative. The true negatives are everything else in the text. Figure 3figure 3 builds up the four cases for a term extractor.

Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.

Figure 3. The four outcomes as regions: what is in the gold standard, what the system returned, and where the two overlap.

Jurafsky and Martin (2026) present the same four cases as a table, called a confusion matrix, for a system that sorts items into two classes, such as a spam filter: a message stopped by mistake is a false positive, and spam that reaches the inbox is a false negative.

	In the gold standard	Not in the gold standard
Returned by the system	true positive	false positive
Not returned by the system	false negative	true negative

The four outcomes as a confusion matrix.

Noise and silence

The false positives are also called noise, and the false negatives silence. You can interpret the two words quite literally: noise is output that should not be there, and silence is output that is missing.

True negatives

The fourth case differs between the two kinds of system (Figure 4figure 4):

For a spam filter, each message is one item, so the true negatives, the messages that are not spam and were let through, can be counted.
For a system that finds things in a text, such as a term extractor, the true negatives would be every word and every sequence of words that is not a term and was not returned. Such units vary in length and overlap, so their number is not well defined (Hripcsak & Rothschild, 2005).

Two parts, one above the other. Classification: ten messages, each one an item. Three are spam, and the filter stopped two of them and one message that is not spam. True negatives: 6 messages, neither spam nor stopped. Extraction: the phrase a half-halt and a collected canter, and under it every unit of one to six words written out, row by row: six units of one word, five of two words, four of three, three of four, two of five and one of six. Two of them, half-halt and collected canter, are terms. True negatives: their number depends on which units are counted; this phrase alone has 21 units of one to six words, and two of them are terms. — Figure 4. True negatives in the two kinds of system: messages can be counted, but the units of a text that are not terms vary in length and overlap.

The scores most often used for both kinds of system, precision and recall, are calculated from the other three cases only (Jurafsky & Martin, 2026) (see also the Precision, recall and F1 page) (voir aussi la page Précision, rappel et score F1).

The trade-off between the two errors

The two errors work against each other. A tool set to return more candidates misses fewer terms, but it also returns more units that are not terms. A tool set to return fewer candidates does the reverse.

In Figure 5figure 5, a tool has ranked twelve candidates, and the list is cut at three points. The further down the list the cut is made, the fewer terms are missed and the more noise comes with them. An evaluation therefore reports each of the two errors as well as a score that combines them.

Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.

Figure 5. One ranked list of candidates cut at three points, against a gold standard of eight terms.

Sources

Hripcsak, G., & Rothschild, A. S. (2005). Agreement, the F-measure, and reliability in information retrieval. Journal of the American Medical Informatics Association, 12(3), 296–298. https://doi.org/10.1197/jamia.M1733
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/

Extraction et classification

Ce chapitre porte sur deux types de système (Figure 1figure 1) :

les systèmes qui repèrent des éléments dans un texte, comme un extracteur de termes ou un système de reconnaissance d’entités nommées ;
les systèmes qui classent des éléments (classification), comme un filtre antipourriel, ou un système qui étiquette une critique comme positive ou négative.

Deux panneaux. À gauche, l'extraction, repérer des éléments dans un texte, ici les termes : la phrase Le cavalier demande un changement de pied après le demi-arrêt, une flèche, et les deux termes repérés, changement de pied et demi-arrêt ; sortie : la liste des éléments repérés. À droite, la classification, classer des éléments, ici des critiques : trois courtes critiques, chacune suivie d'une étiquette. Excellent film, bien joué : positive. Deux heures de perdues : négative. Une agréable surprise : positive. En dessous : sortie, une étiquette par élément. — Figure 1. Les deux types de système de ce chapitre : l'un donne la liste des éléments qu'il a repérés dans un texte, l'autre donne une étiquette à chaque élément.

De tels systèmes sont le plus souvent évalués en comparant leur sortie à un étalon de référence, les réponses que des personnes ont données pour les mêmes données (see also the gold standard page) (voir aussi la page L'étalon de référence). Plusieurs mesures permettent de transformer cette comparaison en score. Ce chapitre se concentre sur trois mesures couramment utilisées ensemble : la précision, le rappel et le score F1.

La portée de ce chapitre

Ce chapitre ne fait pas le tour complet de l’évaluation de tels systèmes, et il en dit plus sur le premier type de système que sur le second. Ses exemples de classification ont deux classes : avec plus de deux classes, les mêmes scores s’appliquent, mais les combiner demande d’autres principes, que le chapitre ne fait que nommer (see also the Precision, recall and F1 page) (voir aussi la page Précision, rappel et score F1).

Pour l’extraction de termes, les exemples comparent deux listes, les candidats d’un outil et les termes de l’étalon de référence, où chaque terme figure une seule fois. Évaluer les termes à chaque endroit où ils apparaissent dans un texte est plus complexe, parce qu’un terme n’a pas de longueur fixe (see also the Matching rules page) (voir aussi la page Les règles de correspondance).

Un exemple de chaque erreur

Par exemple, un extracteur de termes, un outil qui dresse la liste des termes spécialisés d’un texte, traite une phrase sur le dressage, un sport équestre (Figure 2figure 2) :

l’outil propose une liste de trois candidats : changement de pied, dernier coin et galop rassemblé ;
l’étalon de référence est une liste de trois termes : changement de pied, demi-arrêt et galop rassemblé.

Deux candidats figurent sur les deux listes : ils sont donc corrects. L’outil a aussi fait deux erreurs, de types différents :

dernier coin a été proposé, mais ce n’est pas un terme ;
demi-arrêt est un terme, mais il n’a pas été trouvé.

Trois parties. Le texte : Le cavalier demande un changement de pied avant le dernier coin, puis un demi-arrêt et un galop rassemblé. L'étalon de référence, les termes repérés : changement de pied, correct, sur les deux listes ; demi-arrêt, manqué, un terme, non trouvé ; galop rassemblé, correct. La sortie, les candidats de l'outil : changement de pied, correct ; dernier coin, erroné, proposé, pas un terme ; galop rassemblé, correct. — Figure 2. Un texte, la liste de l'étalon de référence et la liste proposée par un outil : deux candidats corrects, un terme manqué et un candidat qui n'est pas un terme.

Les quatre cas

Quand la sortie d’un système est comparée à un étalon de référence, chaque décision correspond à l’un de quatre cas, définis dans les encadrés ci-dessous et souvent abrégés VP, FP, FN et VN.

evaluationévaluation DefinitionDéfinition · false positive (FP)faux positif (FP) · fr: faux positif· en : false positive

An item that a system returned, or assigned to the class it looks for, but that the gold standard does not contain: for example, a candidate that is not a term, or a legitimate message stopped by a spam filter.Élément qu'un système a trouvé, ou classé dans la classe recherchée, mais que la référence ne contient pas : par exemple, un candidat qui n'est pas un terme, ou un message légitime arrêté par un filtre antipourriel. (Jurafsky & Martin, 2026, section 4.9)

NotesRemarques Taken together, the false positives are also called noise. They lower precision.Pris ensemble, les faux positifs forment le bruit. Ils font baisser la précision.

evaluationévaluation DefinitionDéfinition · true negative (TN)vrai négatif (VN) · fr: vrai négatif· en : true negative

An item that the gold standard does not contain and that a system did not return, or did not assign to the class it looks for: for example, a legitimate message that a spam filter lets through.Élément que la référence ne contient pas et qu'un système n'a ni trouvé ni classé dans la classe recherchée : par exemple, un message légitime qu'un filtre antipourriel laisse passer. (Jurafsky & Martin, 2026, section 4.9)

NotesRemarques For a system that finds things in a text, such as a term extractor, the true negatives cannot be counted in a useful way, which is why precision and recall leave them out.Pour un système qui repère des éléments dans un texte, comme un extracteur de termes, les vrais négatifs ne peuvent pas être comptés de façon utile, et c'est pourquoi la précision et le rappel les laissent de côté.

Dans l’exemple ci-dessus, changement de pied et galop rassemblé sont des vrais positifs, dernier coin est un faux positif et demi-arrêt est un faux négatif. Les vrais négatifs sont tout le reste du texte. La Figure 3figure 3 construit les quatre cas pour un extracteur de termes.

Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.

Figure 3. Les quatre cas sous forme de zones : ce qui est dans l'étalon de référence, ce que le système a trouvé, et là où les deux se chevauchent.

Jurafsky et Martin (2026) présentent les mêmes quatre cas sous forme de tableau, appelé matrice de confusion, pour un système qui classe des éléments en deux classes, comme un filtre antipourriel : un message arrêté par erreur est un faux positif, et un pourriel qui arrive dans la boîte de réception est un faux négatif.

	Dans l’étalon de référence	Absent de l’étalon de référence
Trouvé par le système	vrai positif	faux positif
Non trouvé par le système	faux négatif	vrai négatif

Les quatre cas sous forme de matrice de confusion.

Le bruit et le silence

L’ensemble des faux positifs s’appelle aussi le bruit, et l’ensemble des faux négatifs, le silence. Les deux mots peuvent se comprendre littéralement : le bruit est ce qui ne devrait pas se trouver dans la sortie, et le silence, ce qui y manque.

Les vrais négatifs

Le quatrième cas n’est pas le même pour les deux types de système (Figure 4figure 4) :

Pour un filtre antipourriel, chaque message est un élément : les vrais négatifs, les messages qui ne sont pas des pourriels et que le filtre a laissés passer, peuvent donc être comptés.
Pour un système qui repère des éléments dans un texte, comme un extracteur de termes, les vrais négatifs seraient chaque mot et chaque suite de mots qui n’est pas un terme et n’a pas été trouvée. Ces unités varient en longueur et se chevauchent : leur nombre n’est donc pas bien défini (Hripcsak & Rothschild, 2005).

Deux parties, l'une au-dessus de l'autre. Classification : dix messages, chacun un élément. Trois sont des pourriels, et le filtre en a arrêté deux, ainsi qu'un message qui n'est pas un pourriel. Vrais négatifs : 6 messages, ni pourriels ni arrêtés. Extraction : le passage un demi-arrêt et un galop rassemblé, et en dessous toutes les unités d'un à six mots, rangée par rangée : six unités d'un mot, cinq de deux mots, quatre de trois, trois de quatre, deux de cinq et une de six. Deux d'entre elles, demi-arrêt et galop rassemblé, sont des termes. Vrais négatifs : leur nombre dépend des unités que l'on compte ; ce seul passage compte 21 unités d'un à six mots, dont deux sont des termes. — Figure 4. Les vrais négatifs dans les deux types de système : les messages peuvent être comptés, mais les unités d'un texte qui ne sont pas des termes varient en longueur et se chevauchent.

Les scores les plus utilisés pour les deux types de système, la précision et le rappel, se calculent à partir des trois autres cas seulement (Jurafsky & Martin, 2026) (see also the Precision, recall and F1 page) (voir aussi la page Précision, rappel et score F1).

Le compromis entre les deux erreurs

Les deux erreurs s’opposent. Un outil réglé pour proposer plus de candidats manque moins de termes, mais il propose aussi plus d’unités qui ne sont pas des termes. Un outil réglé pour proposer moins de candidats fait l’inverse.

Dans Figure 5figure 5, un outil a classé douze candidats, et la liste est coupée à trois endroits. Plus la coupure se fait bas dans la liste, moins il manque de termes, et plus il y a de bruit. Une évaluation indique donc chacune des deux erreurs, en plus d’un score qui les combine.

Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.

Figure 5. Une liste classée de candidats coupée à trois endroits, comparée à un étalon de référence de huit termes.

Sources

Hripcsak, G., & Rothschild, A. S. (2005). Agreement, the F-measure, and reliability in information retrieval. Journal of the American Medical Informatics Association, 12(3), 296–298. https://doi.org/10.1197/jamia.M1733
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/

Precision, recall and F1Précision, rappel et score F1

Precision and recall

For a system that finds things in a text, or that sorts items into two classes, the comparison with a gold standard gives two scores (Jurafsky & Martin, 2026). Figure 6figure 6 shows the parts they are calculated from, for a term extractor.

A rectangle for everything in the text, split by a dashed line. The left half is all the terms in the gold standard, TP + FN; the right half is everything else in the text, FP + TN. An oval across the line is all the candidates the system returned, TP + FP. The four regions: the part of the left half outside the oval, false negatives, in red; the part of the oval in the left half, true positives, in green; the part of the oval in the right half, false positives, in amber; the rest of the right half, true negatives. Dots in each region stand for items. — Figure 6. The parts that precision and recall are calculated from: the terms in the gold standard, the candidates the system returned, and their overlap.

Each score can be explained in several ways, and one may be clearer to you than the others:

Precision
- as a formula: precision = TP / (TP + FP);
- as a share: the true positives divided by everything the system returned, for a term extractor all its candidates;
- as a question: of everything the system returned, how much is correct?
- false positives, the noise, lower it.
Recall
- as a formula: recall = TP / (TP + FN);
- as a share: the true positives divided by everything in the gold standard, for a term extractor all its terms;
- as a question: of everything in the gold standard, how much did the system find?
- false negatives, the silence, lower it.

A worked example

In this example, a term extractor returns ten candidates for a short text about dressage, and the gold standard for that text has nine terms (Figure 7figure 7).

Two lists. The gold standard, 9 terms: flying change, collected canter, half-halt, piaffe and passage in green, on both lists; canter, canter pirouette, pirouette and extended trot in red, only in the gold standard. Under it: 5 true positives, 4 false negatives. The output, 10 candidates: the same five terms in green; change, last corner, young rider, good horse and next movement in amber, only in the candidates. Under it: 5 true positives, 5 false positives. — Figure 7. A gold standard of nine terms and the ten candidates of a tool, coloured by outcome.

Five candidates are on both lists, so there are 5 true positives, 5 false positives and 4 false negatives (Figure 8figure 8):

precision = 5 / (5 + 5) = 0.50;
recall = 5 / (5 + 4) = 0.56.

Two panels, each with two overlapping circles, the gold standard and the system, coloured like the lists: the overlap, 5 true positives, in green; the part of the gold standard only, 4 false negatives, in red; the part of the system only, 5 false positives, in amber. On the left, precision: the system's circle is filled and the gold standard's other part is only outlined; TP / (TP + FP), 5 correct out of 10 returned, 5 / 10 = 0.50. On the right, recall: the gold standard's circle is filled and the system's other part is only outlined; TP / (TP + FN), 5 found out of 9 terms, 5 / 9 = 0.56. — Figure 8. Precision and recall measure the same overlap against two different totals: what the system returned, and what the gold standard contains.

The F1 score

The F1 score combines precision and recall into one number.

It is twice their product divided by their sum: F1 = 2 × precision × recall / (precision + recall), here 2 × 0.50 × 0.56 / (0.50 + 0.56) = 0.53. As a harmonic mean, it is closer to the lower of the two values than an ordinary average would be (Jurafsky & Martin, 2026), so a tool cannot score well by doing one thing only. For example, if a tool returned every word and every sequence of words of a text, it would have perfect recall, a precision close to zero, and an F1 score close to zero (Figure 9figure 9).

Two panels of four bars each, on a scale from 0 to 1. On the left, the tool of the worked example, 5 correct of 10 returned, 9 terms: precision 0.50, recall 0.56, ordinary average 0.53, F1 score 0.53. On the right, a tool that returns everything, 9 correct of 450 returned, 9 terms: precision 0.02, recall 1.00, ordinary average 0.51, F1 score 0.04. — Figure 9. The F1 score and the ordinary average of precision and recall, for the tool of the worked example and for a tool that returns everything.

The scores change with the number of candidates a tool returns. Figure 10figure 10 gives the three scores after each candidate of the ranked list of Figure 5figure 5: as more candidates are kept, precision falls and recall rises, and the F1 score is highest after seven candidates.

A line chart. Horizontal axis: the number of candidates kept, from 1 to 12, from the top of the ranked list. Vertical axis: a score from 0 to 1. Precision stays at 1.00 up to five candidates and then falls to 0.58 for the whole list. Recall rises from 0.12 to 0.88. The F1 score rises from 0.22 to 0.80 after seven candidates and ends at 0.70. Three dotted lines mark the cut after 4, the cut after 8 and the whole list. — Figure 10. Precision, recall and F1 after each candidate of one ranked list, against a gold standard of eight terms.

More than two classes

When a system sorts items into more than two classes, for example emails into urgent, normal and spam, precision and recall are calculated for each class. The scores of the classes are then averaged (macroaveraging), or the decisions for all classes are pooled before the calculation (microaveraging), in which case the most frequent class has the most influence on the result (Jurafsky & Martin, 2026).

Accuracy

The most obvious score is accuracy.

Unlike precision and recall, accuracy also counts the true negatives: accuracy = (TP + TN) / (TP + FP + FN + TN). In words, accuracy is the number of correct decisions, positive or negative, divided by the number of all decisions. It can be calculated for a system that sorts items into classes, where the true negatives can be counted, but not for a system that finds things in a text (see also the False positives and false negatives page) (voir aussi la page Faux positifs et faux négatifs).

Figure 11figure 11 calculates it for a spam filter and 100 messages: 10 of the messages are spam, and the filter stops 6 of them and 6 messages that are not spam.

Two confusion matrices for 100 messages, 10 of them spam, with columns spam and not spam in the gold standard and rows stopped and let through. A spam filter: 6 true positives, 6 false positives, 4 false negatives, 84 true negatives; accuracy (6 + 84) / 100 = 0.90, precision 6 / (6 + 6) = 0.50, recall 6 / (6 + 4) = 0.60. Letting every message through: 0 true positives, 0 false positives, 10 false negatives, 90 true negatives; accuracy (0 + 90) / 100 = 0.90, precision: no message stopped, recall 0 / (0 + 10) = 0.00. — Figure 11. The same 100 messages judged by a spam filter and by letting every message through: the same accuracy, very different recall.

Accuracy is misleading when the class to find is rare, as the second matrix shows. Jurafsky and Martin (2026) give a more extreme example: a million social media posts, of which a hundred are about the product a company wants to follow: a system that labels every post as not about the product is right for 99.99 % of the posts, but it has found none of the hundred. Precision and recall do not count the true negatives, so the same system has a recall of zero (see also the Baselines page) (voir aussi la page Les étalons).

Sources

Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Rigouts Terryn, A., Hoste, V., & Lefever, E. (2020a). In No Uncertain Terms: A Dataset for Monolingual and Multilingual Automatic Term Extraction from Comparable Corpora. Language Resources and Evaluation, 54(2), 385–418. https://doi.org/10.1007/s10579-019-09453-9

Key pointsL'essentiel

Pour un système qui repère des éléments dans un texte ou qui classe des éléments, la précision est la part de ce que le système a trouvé qui est correcte, le rappel est la part de l’étalon de référence qu’il a trouvée, et le score F1 combine les deux en un seul nombre, qui n’est élevé que si les deux le sont.
L’exactitude, la part de toutes les décisions qui sont correctes, ne peut se calculer que pour la classification, et elle est trompeuse quand la classe à trouver est rare.

La précision et le rappel

Pour un système qui repère des éléments dans un texte, ou qui classe des éléments en deux classes, la comparaison avec un étalon de référence donne deux scores (Jurafsky & Martin, 2026). La Figure 6figure 6 montre les parties à partir desquelles ils se calculent, pour un extracteur de termes.

Un rectangle pour tout ce que contient le texte, coupé par une ligne pointillée. La moitié gauche contient tous les termes de l'étalon de référence, VP + FN ; la moitié droite, tout le reste du texte, FP + VN. Un ovale à cheval sur la ligne contient tous les candidats proposés par le système, VP + FP. Les quatre zones : la partie de la moitié gauche hors de l'ovale, les faux négatifs, en rouge ; la partie de l'ovale dans la moitié gauche, les vrais positifs, en vert ; la partie de l'ovale dans la moitié droite, les faux positifs, en ambre ; le reste de la moitié droite, les vrais négatifs. Dans chaque zone, des points représentent des éléments. — Figure 6. Les parties à partir desquelles se calculent la précision et le rappel : les termes de l'étalon de référence, les candidats proposés par le système, et leur chevauchement.

Chaque score peut s’expliquer de plusieurs façons, et l’une d’elles vous paraîtra peut-être plus claire que les autres :

Précision
- sous forme de formule : précision = VP / (VP + FP) ;
- sous forme de part : les vrais positifs divisés par tout ce que le système a trouvé, pour un extracteur de termes tous ses candidats ;
- sous forme de question : de tout ce que le système a trouvé, quelle part est correcte ?
- les faux positifs, le bruit, la font baisser.
Rappel
- sous forme de formule : rappel = VP / (VP + FN) ;
- sous forme de part : les vrais positifs divisés par tout ce que contient l’étalon de référence, pour un extracteur de termes tous ses termes ;
- sous forme de question : de tout ce que contient l’étalon de référence, quelle part le système a-t-il trouvée ?
- les faux négatifs, le silence, le font baisser.

Un exemple détaillé

Dans cet exemple, un extracteur de termes propose dix candidats pour un court texte sur le dressage, et l’étalon de référence de ce texte compte neuf termes (Figure 7figure 7).

Deux listes. L'étalon de référence, 9 termes : changement de pied, galop rassemblé, demi-arrêt, piaffer et passage en vert, dans les deux listes ; galop, pirouette au galop, pirouette et trot allongé en rouge, seulement dans l'étalon. En dessous : 5 vrais positifs, 4 faux négatifs. La sortie, 10 candidats : les mêmes cinq termes en vert ; changement, dernier coin, jeune cavalier, bon cheval et mouvement suivant en ambre, seulement dans la sortie. En dessous : 5 vrais positifs, 5 faux positifs. — Figure 7. Un étalon de référence de neuf termes et les dix candidats d'un outil, en couleur selon le cas.

Cinq candidats figurent sur les deux listes : il y a donc 5 vrais positifs, 5 faux positifs et 4 faux négatifs (Figure 8figure 8) :

précision = 5 / (5 + 5) = 0,50 ;
rappel = 5 / (5 + 4) = 0,56.

Deux panneaux, chacun avec deux cercles qui se chevauchent, l'étalon de référence et le système, aux couleurs des listes : le chevauchement, 5 vrais positifs, en vert ; la partie de l'étalon seule, 4 faux négatifs, en rouge ; la partie du système seule, 5 faux positifs, en ambre. À gauche, la précision : le cercle du système est plein et l'autre partie de l'étalon n'est que contournée ; VP / (VP + FP), 5 corrects sur 10 proposés, 5 / 10 = 0,50. À droite, le rappel : le cercle de l'étalon est plein et l'autre partie du système n'est que contournée ; VP / (VP + FN), 5 trouvés sur 9 termes, 5 / 9 = 0,56. — Figure 8. La précision et le rappel mesurent le même chevauchement par rapport à deux totaux différents : ce que le système a trouvé, et ce que contient l'étalon de référence.

Le score F1

Le score F1 combine la précision et le rappel en un seul nombre.

Il vaut deux fois leur produit, divisé par leur somme : F1 = 2 × précision × rappel / (précision + rappel), ici 2 × 0,50 × 0,56 / (0,50 + 0,56) = 0,53. Comme moyenne harmonique, il est plus proche de la plus basse des deux valeurs que ne le serait une moyenne ordinaire (Jurafsky & Martin, 2026) : un outil ne peut donc pas obtenir un bon score en ne faisant qu’une seule chose. Par exemple, si un outil proposait chaque mot et chaque suite de mots d’un texte, il aurait un rappel parfait, une précision proche de zéro et un score F1 proche de zéro (Figure 9figure 9).

Deux panneaux de quatre barres chacun, sur une échelle de 0 à 1. À gauche, l'outil de l'exemple détaillé, 5 corrects sur 10 proposés, 9 termes : précision 0,50, rappel 0,56, moyenne ordinaire 0,53, score F1 0,53. À droite, un outil qui propose tout, 9 corrects sur 450 proposés, 9 termes : précision 0,02, rappel 1,00, moyenne ordinaire 0,51, score F1 0,04. — Figure 9. Le score F1 et la moyenne ordinaire de la précision et du rappel, pour l'outil de l'exemple détaillé et pour un outil qui propose tout.

Les scores changent avec le nombre de candidats qu’un outil propose. La Figure 10figure 10 donne les trois scores après chaque candidat de la liste classée de Figure 5figure 5 : à mesure qu’on garde plus de candidats, la précision baisse et le rappel augmente, et le score F1 est le plus élevé après sept candidats.

Un graphique linéaire. Axe horizontal : le nombre de candidats gardés, de 1 à 12, depuis le haut de la liste classée. Axe vertical : un score de 0 à 1. La précision reste à 1,00 jusqu'à cinq candidats, puis descend à 0,58 pour toute la liste. Le rappel monte de 0,12 à 0,88. Le score F1 monte de 0,22 à 0,80 après sept candidats et finit à 0,70. Trois lignes pointillées marquent la coupure après 4, la coupure après 8 et toute la liste. — Figure 10. La précision, le rappel et le score F1 après chaque candidat d'une liste classée, comparée à un étalon de référence de huit termes.

Plus de deux classes

Quand un système classe des éléments en plus de deux classes, par exemple des courriels en urgents, normaux et pourriels, la précision et le rappel se calculent pour chaque classe. On fait ensuite la moyenne des scores des classes (macromoyenne), ou on regroupe les décisions de toutes les classes avant le calcul (micromoyenne) ; dans ce cas, la classe la plus fréquente pèse le plus sur le résultat (Jurafsky & Martin, 2026).

L’exactitude

Le score le plus évident est l’exactitude.

Contrairement à la précision et au rappel, l’exactitude compte aussi les vrais négatifs : exactitude = (VP + VN) / (VP + FP + FN + VN). Autrement dit, l’exactitude est le nombre de décisions correctes, positives ou négatives, divisé par le nombre total de décisions. Elle peut se calculer pour un système qui classe des éléments, où les vrais négatifs peuvent être comptés, mais pas pour un système qui repère des éléments dans un texte (see also the False positives and false negatives page) (voir aussi la page Faux positifs et faux négatifs).

La Figure 11figure 11 la calcule pour un filtre antipourriel et 100 messages : 10 de ces messages sont des pourriels, et le filtre en arrête 6, ainsi que 6 messages qui ne sont pas des pourriels.

Deux matrices de confusion pour 100 messages, dont 10 pourriels, avec en colonnes pourriel et pas un pourriel dans l'étalon de référence, et en rangées arrêté et laissé passer. Un filtre antipourriel : 6 vrais positifs, 6 faux positifs, 4 faux négatifs, 84 vrais négatifs ; exactitude (6 + 84) / 100 = 0,90, précision 6 / (6 + 6) = 0,50, rappel 6 / (6 + 4) = 0,60. Laisser passer tous les messages : 0 vrai positif, 0 faux positif, 10 faux négatifs, 90 vrais négatifs ; exactitude (0 + 90) / 100 = 0,90, précision : aucun message arrêté, rappel 0 / (0 + 10) = 0,00. — Figure 11. Les mêmes 100 messages jugés par un filtre antipourriel et en laissant passer tous les messages : la même exactitude, un rappel très différent.

L’exactitude est trompeuse quand la classe à trouver est rare, comme le montre la deuxième matrice. Jurafsky et Martin (2026) donnent un exemple plus extrême : un million de publications sur les réseaux sociaux, dont une centaine portent sur le produit qu’une entreprise veut suivre. Un système qui étiquette chaque publication comme ne portant pas sur le produit a raison pour 99,99 % des publications, mais il n’a trouvé aucune des cent. La précision et le rappel ne comptent pas les vrais négatifs : le même système a donc un rappel de zéro (see also the Baselines page) (voir aussi la page Les étalons).

Sources

Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Rigouts Terryn, A., Hoste, V., & Lefever, E. (2020a). In No Uncertain Terms: A Dataset for Monolingual and Multilingual Automatic Term Extraction from Comparable Corpora. Language Resources and Evaluation, 54(2), 385–418. https://doi.org/10.1007/s10579-019-09453-9

Practice: precision, recall and F1Pratique : précision, rappel et score F1

The two lists

The exercises below are about a term extractor that returns six candidates for a short text about dressage. The gold standard for that text has eight terms. The table below gives both lists.

List	Units
In the gold standard (8 terms)	shoulder-in, half-pass, rein-back, extended trot, collected walk, counter-canter, leg-yield, travers
Returned by the tool (6 candidates)	shoulder-in, half-pass, extended trot, counter-canter, long side, good rhythm

A gold standard of eight terms and a tool's six candidates.

Exercises

ExerciseExercice 1 · precisionla précision not startedà faire solvedréussi keep tryingà retravailler

What is the precision of the tool? Round the answer to two decimals.

Quelle est la précision de l'outil ? Arrondissez la réponse à deux décimales.

Show the explanationVoir l'explication

Four of the six candidates are in the gold standard. Precision is the share of the candidates that are correct: 4 / 6 = 0.67.

Quatre des six candidats figurent dans la référence. La précision est la part des candidats qui sont corrects : 4 / 6 = 0,67.

ExerciseExercice 2 · recallle rappel not startedà faire solvedréussi keep tryingà retravailler

What is the recall of the tool?

Quel est le rappel de l'outil ?

Show the explanationVoir l'explication

The gold standard has eight terms and the tool found four of them. Recall is the share of the terms of the gold standard that the tool found: 4 / 8 = 0.50.

La référence compte huit termes et l'outil en a trouvé quatre. Le rappel est la part des termes de la référence que l'outil a trouvés : 4 / 8 = 0,50.

ExerciseExercice 3 · the F1 scorele score F1 not startedà faire solvedréussi keep tryingà retravailler

What is the F1 score of the tool? Round the answer to two decimals.

Quel est le score F1 de l'outil ? Arrondissez la réponse à deux décimales.

Show the explanationVoir l'explication

The F1 score is twice the product of precision and recall, divided by their sum: 2 × 0.67 × 0.50 / (0.67 + 0.50) = 0.57. It lies between the two values, closer to the lower one.

Le score F1 vaut deux fois le produit de la précision et du rappel, divisé par leur somme : 2 × 0,67 × 0,50 / (0,67 + 0,50) = 0,57. Il se situe entre les deux valeurs, plus près de la plus basse.

ExerciseExercice 4 not startedà faire solvedréussi keep tryingà retravailler

A second tool returns twenty candidates for the same text, and all eight terms of the gold standard are among them. Which of the following statements is true?

Un deuxième outil propose vingt candidats pour le même texte, et les huit termes de la référence en font partie. Lequel des énoncés suivants est exact ?

a) Its F1 score is 1, since it found every term.Son score F1 est de 1, puisqu'il a trouvé tous les termes. b) Its recall is higher than the first tool's and its precision lower, but its F1 score is the same.Son rappel est plus élevé que celui du premier outil et sa précision plus basse, mais son score F1 est le même. c) Its precision is higher than the first tool's, since it returns more correct candidates.Sa précision est plus élevée que celle du premier outil, puisqu'il propose plus de candidats corrects. d) Its scores cannot be computed without the number of true negatives.Ses scores ne peuvent pas être calculés sans le nombre de vrais négatifs.

Show the solutionVoir la solution

The second tool has a recall of 8 / 8 = 1.00 and a precision of 8 / 20 = 0.40. Its F1 score is therefore 2 × 0.40 × 1.00 / (0.40 + 1.00) = 0.57, the same as the first tool's.

Two tools can reach the same F1 score with opposite errors: the first misses half of the terms, and most of the second tool's candidates are not terms. That is why an evaluation reports precision and recall as well as the F1 score.

Le deuxième outil a un rappel de 8 / 8 = 1,00 et une précision de 8 / 20 = 0,40. Son score F1 est donc de 2 × 0,40 × 1,00 / (0,40 + 1,00) = 0,57, comme celui du premier outil.

Deux outils peuvent obtenir le même score F1 avec des erreurs opposées : le premier manque la moitié des termes, et la plupart des candidats du second ne sont pas des termes. C'est pourquoi une évaluation indique la précision et le rappel en plus du score F1.

Les deux listes

Les exercices ci-dessous portent sur un extracteur de termes qui propose six candidats pour un court texte sur le dressage. L’étalon de référence de ce texte compte huit termes. Le tableau ci-dessous donne les deux listes.

Liste	Unités
Dans l’étalon de référence (8 termes)	épaule en dedans, appuyer, reculer, trot allongé, pas rassemblé, contre-galop, cession à la jambe, travers
Proposés par l’outil (6 candidats)	épaule en dedans, appuyer, trot allongé, contre-galop, grand côté, bon rythme

Un étalon de référence de huit termes et les six candidats d'un outil.

Exercices

ExerciseExercice 1 · precisionla précision not startedà faire solvedréussi keep tryingà retravailler

What is the precision of the tool? Round the answer to two decimals.

Quelle est la précision de l'outil ? Arrondissez la réponse à deux décimales.

Show the explanationVoir l'explication

Four of the six candidates are in the gold standard. Precision is the share of the candidates that are correct: 4 / 6 = 0.67.

Quatre des six candidats figurent dans la référence. La précision est la part des candidats qui sont corrects : 4 / 6 = 0,67.

ExerciseExercice 2 · recallle rappel not startedà faire solvedréussi keep tryingà retravailler

What is the recall of the tool?

Quel est le rappel de l'outil ?

Show the explanationVoir l'explication

The gold standard has eight terms and the tool found four of them. Recall is the share of the terms of the gold standard that the tool found: 4 / 8 = 0.50.

La référence compte huit termes et l'outil en a trouvé quatre. Le rappel est la part des termes de la référence que l'outil a trouvés : 4 / 8 = 0,50.

ExerciseExercice 3 · the F1 scorele score F1 not startedà faire solvedréussi keep tryingà retravailler

What is the F1 score of the tool? Round the answer to two decimals.

Quel est le score F1 de l'outil ? Arrondissez la réponse à deux décimales.

Show the explanationVoir l'explication

The F1 score is twice the product of precision and recall, divided by their sum: 2 × 0.67 × 0.50 / (0.67 + 0.50) = 0.57. It lies between the two values, closer to the lower one.

Le score F1 vaut deux fois le produit de la précision et du rappel, divisé par leur somme : 2 × 0,67 × 0,50 / (0,67 + 0,50) = 0,57. Il se situe entre les deux valeurs, plus près de la plus basse.

ExerciseExercice 4 not startedà faire solvedréussi keep tryingà retravailler

A second tool returns twenty candidates for the same text, and all eight terms of the gold standard are among them. Which of the following statements is true?

Un deuxième outil propose vingt candidats pour le même texte, et les huit termes de la référence en font partie. Lequel des énoncés suivants est exact ?

a) Its F1 score is 1, since it found every term.Son score F1 est de 1, puisqu'il a trouvé tous les termes. b) Its recall is higher than the first tool's and its precision lower, but its F1 score is the same.Son rappel est plus élevé que celui du premier outil et sa précision plus basse, mais son score F1 est le même. c) Its precision is higher than the first tool's, since it returns more correct candidates.Sa précision est plus élevée que celle du premier outil, puisqu'il propose plus de candidats corrects. d) Its scores cannot be computed without the number of true negatives.Ses scores ne peuvent pas être calculés sans le nombre de vrais négatifs.

Show the solutionVoir la solution

The second tool has a recall of 8 / 8 = 1.00 and a precision of 8 / 20 = 0.40. Its F1 score is therefore 2 × 0.40 × 1.00 / (0.40 + 1.00) = 0.57, the same as the first tool's.

Two tools can reach the same F1 score with opposite errors: the first misses half of the terms, and most of the second tool's candidates are not terms. That is why an evaluation reports precision and recall as well as the F1 score.

Le deuxième outil a un rappel de 8 / 8 = 1,00 et une précision de 8 / 20 = 0,40. Son score F1 est donc de 2 × 0,40 × 1,00 / (0,40 + 1,00) = 0,57, comme celui du premier outil.

Deux outils peuvent obtenir le même score F1 avec des erreurs opposées : le premier manque la moitié des termes, et la plupart des candidats du second ne sont pas des termes. C'est pourquoi une évaluation indique la précision et le rappel en plus du score F1.

Matching rulesLes règles de correspondance

Matching decisions

The scores of a system that finds things in a text depend on how strictly an answer has to match the gold standard to count as correct (see also the Interpreting a score page) (voir aussi la page Interpréter un score). The same decisions come up for any such task. The table below gives them for term extraction (see also the Automatic term extraction (from rules to large language models) chapter, in the Classical NLP module) (voir aussi le chapitre Extraction automatique de termes (des règles aux grands modèles de langue), dans le module TAL classique) and for named entity recognition, which finds the names of people, places and organizations in a text.

Decision	Term extraction	Named entity recognition
Unique items or occurrences	each term once, or every occurrence in the text	each name once, or every mention of it in the text
Partial matches	whether canter is wrong, half right or right when the gold standard has collected canter	whether Curie is wrong, half right or right when the gold standard has Marie Curie
Nested units	only the longest terms, or also the shorter terms inside them, such as canter in collected canter	only the longest names, or also the names inside them, such as Paris in University of Paris
Form	whether capital letters, plurals and spelling variants are the same answer	whether capital letters and spelling variants, such as Tchaikovsky and Tchaikovski, are the same answer
Labels	whether a term must also have the right label, when the gold standard labels its terms	whether a name must also have the right type, such as person or place
Cut-off	the whole ranked list, or its top	a threshold on the confidence of the system, when it reports one

Six decisions that change the scores of a system that finds things in a text.

For classification, most of these decisions do not come up: each item, such as a message, is a unit with fixed boundaries, and the system gives it a class. Jurafsky and Martin (2026) point out that named entity recognition has a step of segmentation, deciding where each name starts and ends, which text classification does not have, and that this step complicates its evaluation.

In Figure 12figure 12, for example, the same four candidates get an F1 score of 0.25, 0.50 or 0.75, depending on the decision about form.

A grid. Four rows: the candidates Half-halt with a capital letter, flying changes in the plural, piaffe and last corner, each beside the term of the gold standard it corresponds to: half-halt, flying change, piaffe, and for last corner, not a term. Three columns, one per rule. Exact form: only piaffe is counted as correct, 1 of 4, F1 score 0.25. Capital letters ignored: Half-halt and piaffe, 2 of 4, F1 score 0.50. Plurals also merged: Half-halt, flying changes and piaffe, 3 of 4, F1 score 0.75. — Figure 12. One output of four candidates, against a gold standard of four terms, counted with three rules for form.

Four findings show how much these decisions can change the scores:

Partial matches in named entity recognition. When the name is the unit that is counted, a system that returns Jane where the gold standard has Jane Villanueva makes two errors at once: a false positive for Jane and a false negative for Jane Villanueva (Jurafsky & Martin, 2026).
Partial matches and cut-off in term extraction. Reported scores differ greatly depending on how strict the evaluation is, for example on whether partial matches are accepted, and they change with the point at which a ranked list is cut off (Rigouts Terryn et al., 2019).
Unique terms or occurrences. Scores for every occurrence in the running text and scores for a list of unique terms can lead to different conclusions, for example about the language or the domain in which a system does best (Rigouts Terryn et al., 2022b).
Form. A large language model sometimes returns a form that is not in the text word for word, such as follow-up where the text has follow up (Rigouts Terryn, 2026).

Candidates between right and wrong

A strict comparison has two outcomes, correct or not, but many candidates of a term extractor are between the two (Figure 13figure 13):

the candidate is part of a term in the gold standard;
the candidate is a term of the gold standard with another word attached;
the candidate would be a term for some purposes and not for others.

Figure 13. Between a candidate that is wrong and one that is right: three cases a strict comparison counts as errors.

The same cases come up in named entity recognition, for instance Curie for Marie Curie, or the University of Paris with one word too many. A strict evaluation counts all of them as errors. A more lenient evaluation accepts some of them and gives higher scores, so scores obtained with different rules cannot be compared.

Sources

Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Rigouts Terryn, A. (2026). Large Language Models Are Good Term Extractors: A Systematic Evaluation. Proceedings of the Fifteenth Language Resources and Evaluation Conference (LREC 2026), 7631–7643. https://doi.org/10.63317/49gta5itne3q
Rigouts Terryn, A., Drouin, P., Hoste, V., & Lefever, E. (2019). Analysing the Impact of Supervised Machine Learning on Automatic Term Extraction: HAMLET vs TermoStat. Proceedings of the International Conference on Recent Advances in Natural Language Processing (RANLP 2019), 1012–1021. https://doi.org/10.26615/978-954-452-056-4_117
Rigouts Terryn, A., Hoste, V., & Lefever, E. (2022b). Tagging Terms in Text: A Supervised Sequential Labelling Approach to Automatic Term Extraction. Terminology, 28(1), 157–189. https://doi.org/10.1075/term.21010.rig

Les décisions de correspondance

Les scores d’un système qui repère des éléments dans un texte dépendent de la rigueur avec laquelle une réponse doit correspondre à l’étalon de référence pour compter comme correcte (see also the Interpreting a score page) (voir aussi la page Interpréter un score). Les mêmes décisions se posent pour toute tâche de ce genre. Le tableau ci-dessous les donne pour l’extraction de termes (see also the Automatic term extraction (from rules to large language models) chapter, in the Classical NLP module) (voir aussi le chapitre Extraction automatique de termes (des règles aux grands modèles de langue), dans le module TAL classique) et pour la reconnaissance d’entités nommées, qui repère les noms de personnes, de lieux et d’organisations dans un texte.

Décision	Extraction de termes	Reconnaissance d’entités nommées
Éléments uniques ou occurrences	chaque terme une seule fois, ou chacune de ses occurrences dans le texte	chaque nom une seule fois, ou chacune de ses mentions dans le texte
Correspondances partielles	si galop est faux, à moitié juste ou juste quand l’étalon de référence contient galop rassemblé	si Curie est faux, à moitié juste ou juste quand l’étalon de référence contient Marie Curie
Unités imbriquées	seulement les termes les plus longs, ou aussi les termes plus courts qu’ils contiennent, comme galop dans galop rassemblé	seulement les noms les plus longs, ou aussi les noms qu’ils contiennent, comme Paris dans Université de Paris
Forme	si les majuscules, les pluriels et les variantes orthographiques donnent la même réponse	si les majuscules et les variantes orthographiques, comme Tchaïkovski et Tchaïkovsky, donnent la même réponse
Étiquettes	si un terme doit aussi avoir la bonne étiquette, quand l’étalon de référence étiquette ses termes	si un nom doit aussi avoir le bon type, comme personne ou lieu
Seuil	toute la liste classée, ou son haut	un seuil sur la confiance du système, quand il en indique une

Six décisions qui changent les scores d'un système qui repère des éléments dans un texte.

Pour la classification, la plupart de ces décisions ne se posent pas : chaque élément, comme un message, est une unité aux limites fixes, et le système lui attribue une classe. Jurafsky et Martin (2026) font remarquer que la reconnaissance d’entités nommées comporte une étape de segmentation, qui décide où chaque nom commence et finit, que la classification de textes n’a pas, et que cette étape complique son évaluation.

Dans Figure 12figure 12, par exemple, les mêmes quatre candidats obtiennent un score F1 de 0,25, de 0,50 ou de 0,75, selon la décision sur la forme.

Une grille. Quatre rangées : les candidats Demi-arrêt avec une majuscule, changements de pied au pluriel, piaffer et dernier coin, chacun à côté du terme de l'étalon de référence auquel il correspond : demi-arrêt, changement de pied, piaffer, et pour dernier coin, pas un terme. Trois colonnes, une par règle. Forme exacte : seul piaffer est compté comme correct, 1 sur 4, score F1 0,25. Majuscules ignorées : Demi-arrêt et piaffer, 2 sur 4, score F1 0,50. Pluriels aussi fusionnés : Demi-arrêt, changements de pied et piaffer, 3 sur 4, score F1 0,75. — Figure 12. Une sortie de quatre candidats, comparée à un étalon de référence de quatre termes, comptée selon trois règles de forme.

Quatre constats montrent à quel point ces décisions peuvent changer les scores :

Correspondances partielles en reconnaissance d’entités nommées. Quand l’unité comptée est le nom, un système qui propose Jane là où l’étalon de référence contient Jane Villanueva fait deux erreurs à la fois : un faux positif pour Jane et un faux négatif pour Jane Villanueva (Jurafsky & Martin, 2026).
Correspondances partielles et seuil en extraction de termes. Les scores publiés varient beaucoup selon la rigueur de l’évaluation, par exemple selon que les correspondances partielles sont acceptées ou non, et ils changent avec l’endroit où une liste classée est coupée (Rigouts Terryn et al., 2019).
Termes uniques ou occurrences. Les scores calculés sur chaque occurrence dans le texte et les scores calculés sur une liste de termes uniques peuvent mener à des conclusions différentes, par exemple sur la langue ou le domaine où un système réussit le mieux (Rigouts Terryn et al., 2022b).
Forme. Un grand modèle de langue donne parfois une forme qui ne figure pas telle quelle dans le texte, comme follow-up là où le texte a follow up (Rigouts Terryn, 2026).

Les candidats entre le juste et le faux

Une comparaison stricte n’a que deux issues, correct ou non, mais beaucoup de candidats d’un extracteur de termes se situent entre les deux (Figure 13figure 13) :

le candidat est une partie d’un terme de l’étalon de référence ;
le candidat est un terme de l’étalon de référence auquel s’ajoute un autre mot ;
le candidat serait un terme pour certains usages, mais pas pour d’autres.

Une flèche qui va de faux à gauche à juste à droite, avec trois points d'interrogation entre les deux. Sous les cinq positions : pas un terme, dernier coin ; une partie d'un terme, galop ; un terme et un mot de plus, jeune cavalier ; un terme pour certains usages, cavalier ; un terme, changement de pied. — Figure 13. Entre un candidat faux et un candidat juste : trois cas qu'une comparaison stricte compte comme des erreurs.

Les mêmes cas se présentent en reconnaissance d’entités nommées, par exemple Curie pour Marie Curie, ou l’Université de Paris avec un mot de trop. Une évaluation stricte les compte tous comme des erreurs. Une évaluation plus souple en accepte certains et donne des scores plus élevés : des scores obtenus avec des règles différentes ne peuvent donc pas être comparés.

Sources

Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Rigouts Terryn, A. (2026). Large Language Models Are Good Term Extractors: A Systematic Evaluation. Proceedings of the Fifteenth Language Resources and Evaluation Conference (LREC 2026), 7631–7643. https://doi.org/10.63317/49gta5itne3q
Rigouts Terryn, A., Drouin, P., Hoste, V., & Lefever, E. (2019). Analysing the Impact of Supervised Machine Learning on Automatic Term Extraction: HAMLET vs TermoStat. Proceedings of the International Conference on Recent Advances in Natural Language Processing (RANLP 2019), 1012–1021. https://doi.org/10.26615/978-954-452-056-4_117
Rigouts Terryn, A., Hoste, V., & Lefever, E. (2022b). Tagging Terms in Text: A Supervised Sequential Labelling Approach to Automatic Term Extraction. Terminology, 28(1), 157–189. https://doi.org/10.1075/term.21010.rig

Agreement as an F1 scoreL'accord mesuré par le score F1

One annotator as the gold standard

Inter-annotator agreement (IAA) measures how far people who annotate the same data separately agree, and so how reliable a gold standard is (see also the Agreement between annotators page) (voir aussi la page L'accord entre annotateurs). Several measures exist for it. When two people have each made a list of the terms in the same text, their agreement can be measured with the scores of this chapter, by taking one list as the gold standard and scoring the other like the output of a system:

the terms on both lists are true positives;
the terms on the second list only are false positives, the noise;
the terms on the first list only are false negatives, the silence.

In Figure 14figure 14, the list of annotator A has five terms and the list of annotator B six, and four terms are on both lists. With A as the gold standard, B has a precision of 4 / 6 and a recall of 4 / 5. With B as the gold standard, the two values change places. The F1 score is 0.73 either way, so the IAA between two people is one number, whichever of them is taken as the gold standard. With three annotators or more, each pair is compared in turn and the scores are averaged.

Two overlapping circles, annotator A with 5 terms and annotator B with 6 terms. A alone has 1, the overlap 4, B alone 2. Beside them: with A as the gold standard, precision 4 / 6 = 0.67 and recall 4 / 5 = 0.80; with B as the gold standard, precision 4 / 5 = 0.80 and recall 4 / 6 = 0.67; F1 = 0.73 in both cases. — Figure 14. Two annotators scored against each other: precision and recall change places with the gold standard, and the F1 score does not change.

This measure fits the annotation of terms and other things marked in a text, where there is no fixed list of items and the things nobody marked cannot be counted (Hripcsak & Rothschild, 2005) (see also the False positives and false negatives page) (voir aussi la page Faux positifs et faux négatifs).

Measured this way, the IAA between people is on the same scale as the score of a system, and the two can be set side by side.

Sources

Hripcsak, G., & Rothschild, A. S. (2005). Agreement, the F-measure, and reliability in information retrieval. Journal of the American Medical Informatics Association, 12(3), 296–298. https://doi.org/10.1197/jamia.M1733

Un annotateur comme étalon de référence

L’accord inter-annotateurs mesure à quel point des personnes qui annotent les mêmes données séparément sont d’accord, et donc à quel point un étalon de référence est fiable (see also the Agreement between annotators page) (voir aussi la page L'accord entre annotateurs). Il existe plusieurs mesures de cet accord. Quand deux personnes ont chacune dressé la liste des termes d’un même texte, leur accord peut se mesurer avec les scores de ce chapitre, en prenant une des listes comme étalon de référence et en évaluant l’autre comme la sortie d’un système :

les termes qui figurent sur les deux listes sont des vrais positifs ;
les termes qui ne figurent que sur la deuxième liste sont des faux positifs, le bruit ;
les termes qui ne figurent que sur la première liste sont des faux négatifs, le silence.

Dans Figure 14figure 14, la liste de l’annotateur A compte cinq termes et celle de l’annotateur B, six, et quatre termes figurent sur les deux listes. Avec A comme étalon de référence, B a une précision de 4 / 6 et un rappel de 4 / 5. Avec B comme étalon de référence, les deux valeurs s’inversent. Le score F1 vaut 0,73 dans les deux cas : l’accord inter-annotateurs entre deux personnes est donc un seul nombre, quelle que soit celle qui sert d’étalon de référence. Avec trois annotateurs ou plus, on compare chaque paire à tour de rôle et on fait la moyenne des scores.

Deux cercles qui se chevauchent, l'annotateur A avec 5 termes et l'annotateur B avec 6 termes. A seul en a 1, le chevauchement 4, B seul 2. À côté : avec A comme étalon de référence, précision 4 / 6 = 0,67 et rappel 4 / 5 = 0,80 ; avec B comme étalon de référence, précision 4 / 5 = 0,80 et rappel 4 / 6 = 0,67 ; F1 = 0,73 dans les deux cas. — Figure 14. Deux annotateurs évalués l'un par rapport à l'autre : la précision et le rappel s'inversent selon l'étalon de référence, et le score F1 ne change pas.

Cette mesure convient à l’annotation de termes et d’autres éléments repérés dans un texte, où il n’y a pas de liste fixe d’éléments et où l’on ne peut pas compter ce que personne n’a repéré (Hripcsak & Rothschild, 2005) (see also the False positives and false negatives page) (voir aussi la page Faux positifs et faux négatifs).

Mesuré ainsi, l’accord inter-annotateurs est sur la même échelle que le score d’un système, et les deux peuvent être comparés directement.

Sources

Hripcsak, G., & Rothschild, A. S. (2005). Agreement, the F-measure, and reliability in information retrieval. Journal of the American Medical Informatics Association, 12(3), 296–298. https://doi.org/10.1197/jamia.M1733

Steps of an evaluationLes étapes d'une évaluation

The steps in order

The steps below apply to the evaluation of any system that finds things in a text or sorts items into classes, for instance term extractors, systems for named entity recognition or spam filters. They are the same for a few systems compared by hand on one short text and for a large evaluation on thousands of items.

The gold standard is made first. People annotate the evaluation data, following written guidelines, before anyone looks at the output of a system: a term added because a tool found it makes the gold standard depend on that tool. The choices made along the way are written down, for example whether names count as terms, or where a name starts and ends (see also the gold standard page) (voir aussi la page L'étalon de référence).
Some or all of the data is annotated more than once. Several people annotate the same items separately, which gives the inter-annotator agreement (see also the Agreement as an F1 score page) (voir aussi la page L'accord mesuré par le score F1). When all of the data is annotated several times, the annotations can also be combined into the gold standard, for instance by majority vote (see also the Agreement between annotators page) (voir aussi la page L'accord entre annotateurs). On a large dataset, this is often done for a sample only, and the rest is annotated by one person.
Each system runs on the same evaluation data, and its output is kept as it is, whatever its length. For a chatbot, the prompt, the model, its version and the date are recorded as well.
All outputs are put in the same form as the gold standard, with the matching rules decided beforehand and applied to every system, for example one entry per term, in lowercase, with one decision on plurals (see also the Matching rules page) (voir aussi la page Les règles de correspondance).
The counting gives the true positives, the false positives and the false negatives for each system, and from them precision, recall and the F1 score (see also the Precision, recall and F1 page) (voir aussi la page Précision, rappel et score F1).
The scores are compared with the agreement between people and with a baseline, for example the score of a system that is already in use (see also the Baselines page) (voir aussi la page Les étalons).
The errors are examined: the kinds of item each system missed, and the kinds it returned wrongly (see also the Interpreting a score page) (voir aussi la page Interpréter un score).

Les étapes dans l’ordre

Les étapes ci-dessous s’appliquent à l’évaluation de tout système qui repère des éléments dans un texte ou qui classe des éléments, par exemple des extracteurs de termes, des systèmes de reconnaissance d’entités nommées ou des filtres antipourriel. Elles sont les mêmes pour quelques systèmes comparés à la main sur un court texte et pour une grande évaluation sur des milliers d’éléments.

L’étalon de référence est établi d’abord. Des personnes annotent les données d’évaluation en suivant des consignes écrites, avant que quiconque ait vu la sortie d’un système : un terme ajouté parce qu’un outil l’a trouvé rend l’étalon de référence dépendant de cet outil. Les choix faits en cours de route sont consignés, par exemple si les noms propres comptent comme des termes, ou où un nom commence et finit (see also the gold standard page) (voir aussi la page L'étalon de référence).
Une partie ou la totalité des données est annotée plus d’une fois. Plusieurs personnes annotent les mêmes éléments séparément, ce qui donne l’accord inter-annotateurs (see also the Agreement as an F1 score page) (voir aussi la page L'accord mesuré par le score F1). Quand toutes les données sont annotées plusieurs fois, les annotations peuvent aussi être combinées en un étalon de référence, par exemple par un vote majoritaire (see also the Agreement between annotators page) (voir aussi la page L'accord entre annotateurs). Sur un grand jeu de données, on ne le fait souvent que pour un échantillon, et une seule personne annote le reste.
Chaque système traite les mêmes données d’évaluation, et sa sortie est gardée telle quelle, quelle que soit sa longueur. Pour un agent conversationnel, la requête, le modèle, sa version et la date sont aussi consignés.
Toutes les sorties sont mises sous la même forme que l’étalon de référence, avec des règles de correspondance fixées à l’avance et appliquées à tous les systèmes, par exemple une entrée par terme, en minuscules, avec une seule décision sur les pluriels (see also the Matching rules page) (voir aussi la page Les règles de correspondance).
Le comptage donne les vrais positifs, les faux positifs et les faux négatifs de chaque système, et à partir d’eux la précision, le rappel et le score F1 (see also the Precision, recall and F1 page) (voir aussi la page Précision, rappel et score F1).
Les scores sont comparés à l’accord entre personnes et à un étalon, par exemple le score d’un système déjà en usage (see also the Baselines page) (voir aussi la page Les étalons).
Les erreurs sont examinées : les types d’éléments que chaque système a manqués, et ceux qu’il a trouvés à tort (see also the Interpreting a score page) (voir aussi la page Interpréter un score).

False positives and false negativesFaux positifs et faux négatifs

Extraction and classification

An example of each error

The four outcomes

Noise and silence

True negatives

The trade-off between the two errors

Sources

Extraction et classification

Un exemple de chaque erreur

Les quatre cas

Le bruit et le silence

Les vrais négatifs

Le compromis entre les deux erreurs

Sources

Precision, recall and F1Précision, rappel et score F1

Precision and recall

A worked example

The F1 score

More than two classes

Accuracy

Sources

La précision et le rappel

Un exemple détaillé

Le score F1

Plus de deux classes

L’exactitude

Sources

Practice: precision, recall and F1Pratique : précision, rappel et score F1

The two lists

Exercises

Les deux listes

Exercices

Matching rulesLes règles de correspondance

Matching decisions

Candidates between right and wrong

Sources

Les décisions de correspondance

Les candidats entre le juste et le faux

Sources

Agreement as an F1 scoreL'accord mesuré par le score F1

One annotator as the gold standard

Sources

Un annotateur comme étalon de référence

Sources

Steps of an evaluationLes étapes d'une évaluation

The steps in order

Les étapes dans l’ordre

Practice: precision, recall and F1Pratique : précision, rappel et score F1