False positives and false negatives · Evaluating extraction and classification

Extraction and classification

This chapter is about two kinds of system (Figure 1figure 1):

systems that find things in a text, such as a term extractor or a system for named entity recognition;
systems that sort items into classes (classification), such as a spam filter, or a system that labels a review as positive or negative.

Figure 1. The two kinds of system of this chapter: one returns a list of the things it found in a text, the other gives each item a label.

Such systems are most often evaluated by comparing their output with a gold standard, the answers that people gave for the same input (see also the gold standard page) (voir aussi la page L'étalon de référence). Several measures can turn that comparison into a score. The focus here is on three that are commonly used together: precision, recall and the F1 score.

An example of each error

For example, a term extractor, a tool that lists the specialized terms of a text, is run on a sentence about dressage, an equestrian sport (Figure 2figure 2):

the tool returns a list of three candidates: flying change, last corner and collected canter;
the gold standard is a list of three terms: flying change, half-halt and collected canter.

Two candidates are on both lists, so they are correct. The tool has also made two errors, of different kinds:

last corner was returned, but it is not a term;
half-halt is a term, but it was not returned.

Three parts. The text: The rider asks for a flying change before the last corner, then a half-halt and a collected canter. The gold standard, the terms people listed: flying change, correct, on both lists; half-halt, missed, a term, not returned; collected canter, correct. The output, the candidates the tool returned: flying change, correct; last corner, wrong, returned, not a term; collected canter, correct. — Figure 2. A text, the list of the gold standard and the list a tool returned: two correct candidates, one term that was missed and one candidate that is not a term.

The four outcomes

When the output of a system is compared with a gold standard, every decision is one of four cases, defined in the boxes below and often abbreviated TP, FP, FN and TN.

evaluationévaluation DefinitionDéfinition · false positive (FP)faux positif (FP) · fr: faux positif· en : false positive

An item that a system returned, or assigned to the class it looks for, but that the gold standard does not contain: for example, a candidate that is not a term, or a legitimate message stopped by a spam filter.Élément qu'un système a trouvé, ou classé dans la classe recherchée, mais que la référence ne contient pas : par exemple, un candidat qui n'est pas un terme, ou un message légitime arrêté par un filtre antipourriel. (Jurafsky & Martin, 2026, section 4.9)

NotesRemarques Taken together, the false positives are also called noise. They lower precision.Pris ensemble, les faux positifs forment le bruit. Ils font baisser la précision.

evaluationévaluation DefinitionDéfinition · true negative (TN)vrai négatif (VN) · fr: vrai négatif· en : true negative

An item that the gold standard does not contain and that a system did not return, or did not assign to the class it looks for: for example, a legitimate message that a spam filter lets through.Élément que la référence ne contient pas et qu'un système n'a ni trouvé ni classé dans la classe recherchée : par exemple, un message légitime qu'un filtre antipourriel laisse passer. (Jurafsky & Martin, 2026, section 4.9)

NotesRemarques For a system that finds things in a text, such as a term extractor, the true negatives cannot be counted in a useful way, which is why precision and recall leave them out.Pour un système qui repère des éléments dans un texte, comme un extracteur de termes, les vrais négatifs ne peuvent pas être comptés de façon utile, et c'est pourquoi la précision et le rappel les laissent de côté.

In the example above, flying change and collected canter are true positives, last corner is a false positive and half-halt is a false negative. The true negatives are everything else in the text. Figure 3figure 3 builds up the four cases for a term extractor.

Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.

Figure 3. The four outcomes as regions: what is in the gold standard, what the system returned, and where the two overlap.

Jurafsky and Martin (2026) present the same four cases as a table, called a confusion matrix, for a system that sorts items into two classes, such as a spam filter: a message stopped by mistake is a false positive, and spam that reaches the inbox is a false negative.

	In the gold standard	Not in the gold standard
Returned by the system	true positive	false positive
Not returned by the system	false negative	true negative

The four outcomes as a confusion matrix.

Noise and silence

The false positives are also called noise, and the false negatives silence. You can interpret the two words quite literally: noise is output that should not be there, and silence is output that is missing.

True negatives

The fourth case differs between the two kinds of system (Figure 4figure 4):

For a spam filter, each message is one item, so the true negatives, the messages that are not spam and were let through, can be counted.
For a system that finds things in a text, such as a term extractor, the true negatives would be every word and every sequence of words that is not a term and was not returned. Such units vary in length and overlap, so their number is not well defined (Hripcsak & Rothschild, 2005).

Two parts, one above the other. Classification: ten messages, each one an item. Three are spam, and the filter stopped two of them and one message that is not spam. True negatives: 6 messages, neither spam nor stopped. Extraction: the phrase a half-halt and a collected canter, and under it every unit of one to six words written out, row by row: six units of one word, five of two words, four of three, three of four, two of five and one of six. Two of them, half-halt and collected canter, are terms. True negatives: their number depends on which units are counted; this phrase alone has 21 units of one to six words, and two of them are terms. — Figure 4. True negatives in the two kinds of system: messages can be counted, but the units of a text that are not terms vary in length and overlap.

The scores most often used for both kinds of system, precision and recall, are calculated from the other three cases only (Jurafsky & Martin, 2026) (see also the Precision, recall and F1 page) (voir aussi la page Précision, rappel et score F1).

The trade-off between the two errors

The two errors work against each other. A tool set to return more candidates misses fewer terms, but it also returns more units that are not terms. A tool set to return fewer candidates does the reverse.

In Figure 5figure 5, a tool has ranked twelve candidates, and the list is cut at three points. The further down the list the cut is made, the fewer terms are missed and the more noise comes with them. An evaluation therefore reports each of the two errors as well as a score that combines them.

Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.

Figure 5. One ranked list of candidates cut at three points, against a gold standard of eight terms.

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Updated 4 October 2026

Extraction et classification

Ce chapitre porte sur deux types de système (Figure 1figure 1) :

les systèmes qui repèrent des éléments dans un texte, comme un extracteur de termes ou un système de reconnaissance d’entités nommées ;
les systèmes qui classent des éléments (classification), comme un filtre antipourriel, ou un système qui étiquette une critique comme positive ou négative.

Deux panneaux. À gauche, l'extraction, repérer des éléments dans un texte, ici les termes : la phrase Le cavalier demande un changement de pied après le demi-arrêt, une flèche, et les deux termes repérés, changement de pied et demi-arrêt ; sortie : la liste des éléments repérés. À droite, la classification, classer des éléments, ici des critiques : trois courtes critiques, chacune suivie d'une étiquette. Excellent film, bien joué : positive. Deux heures de perdues : négative. Une agréable surprise : positive. En dessous : sortie, une étiquette par élément. — Figure 1. Les deux types de système de ce chapitre : l'un donne la liste des éléments qu'il a repérés dans un texte, l'autre donne une étiquette à chaque élément.

De tels systèmes sont le plus souvent évalués en comparant leur sortie à un étalon de référence, les réponses que des personnes ont données pour les mêmes données (see also the gold standard page) (voir aussi la page L'étalon de référence). Plusieurs mesures permettent de transformer cette comparaison en score. Ce chapitre se concentre sur trois mesures couramment utilisées ensemble : la précision, le rappel et le score F1.

La portée de ce chapitre

Ce chapitre ne fait pas le tour complet de l’évaluation de tels systèmes, et il en dit plus sur le premier type de système que sur le second. Ses exemples de classification ont deux classes : avec plus de deux classes, les mêmes scores s’appliquent, mais les combiner demande d’autres principes, que le chapitre ne fait que nommer (see also the Precision, recall and F1 page) (voir aussi la page Précision, rappel et score F1).

Pour l’extraction de termes, les exemples comparent deux listes, les candidats d’un outil et les termes de l’étalon de référence, où chaque terme figure une seule fois. Évaluer les termes à chaque endroit où ils apparaissent dans un texte est plus complexe, parce qu’un terme n’a pas de longueur fixe (see also the Matching rules page) (voir aussi la page Les règles de correspondance).

Un exemple de chaque erreur

Par exemple, un extracteur de termes, un outil qui dresse la liste des termes spécialisés d’un texte, traite une phrase sur le dressage, un sport équestre (Figure 2figure 2) :

l’outil propose une liste de trois candidats : changement de pied, dernier coin et galop rassemblé ;
l’étalon de référence est une liste de trois termes : changement de pied, demi-arrêt et galop rassemblé.

Deux candidats figurent sur les deux listes : ils sont donc corrects. L’outil a aussi fait deux erreurs, de types différents :

dernier coin a été proposé, mais ce n’est pas un terme ;
demi-arrêt est un terme, mais il n’a pas été trouvé.

Trois parties. Le texte : Le cavalier demande un changement de pied avant le dernier coin, puis un demi-arrêt et un galop rassemblé. L'étalon de référence, les termes repérés : changement de pied, correct, sur les deux listes ; demi-arrêt, manqué, un terme, non trouvé ; galop rassemblé, correct. La sortie, les candidats de l'outil : changement de pied, correct ; dernier coin, erroné, proposé, pas un terme ; galop rassemblé, correct. — Figure 2. Un texte, la liste de l'étalon de référence et la liste proposée par un outil : deux candidats corrects, un terme manqué et un candidat qui n'est pas un terme.

Les quatre cas

Quand la sortie d’un système est comparée à un étalon de référence, chaque décision correspond à l’un de quatre cas, définis dans les encadrés ci-dessous et souvent abrégés VP, FP, FN et VN.

evaluationévaluation DefinitionDéfinition · false positive (FP)faux positif (FP) · fr: faux positif· en : false positive

An item that a system returned, or assigned to the class it looks for, but that the gold standard does not contain: for example, a candidate that is not a term, or a legitimate message stopped by a spam filter.Élément qu'un système a trouvé, ou classé dans la classe recherchée, mais que la référence ne contient pas : par exemple, un candidat qui n'est pas un terme, ou un message légitime arrêté par un filtre antipourriel. (Jurafsky & Martin, 2026, section 4.9)

NotesRemarques Taken together, the false positives are also called noise. They lower precision.Pris ensemble, les faux positifs forment le bruit. Ils font baisser la précision.

evaluationévaluation DefinitionDéfinition · true negative (TN)vrai négatif (VN) · fr: vrai négatif· en : true negative

An item that the gold standard does not contain and that a system did not return, or did not assign to the class it looks for: for example, a legitimate message that a spam filter lets through.Élément que la référence ne contient pas et qu'un système n'a ni trouvé ni classé dans la classe recherchée : par exemple, un message légitime qu'un filtre antipourriel laisse passer. (Jurafsky & Martin, 2026, section 4.9)

NotesRemarques For a system that finds things in a text, such as a term extractor, the true negatives cannot be counted in a useful way, which is why precision and recall leave them out.Pour un système qui repère des éléments dans un texte, comme un extracteur de termes, les vrais négatifs ne peuvent pas être comptés de façon utile, et c'est pourquoi la précision et le rappel les laissent de côté.

Dans l’exemple ci-dessus, changement de pied et galop rassemblé sont des vrais positifs, dernier coin est un faux positif et demi-arrêt est un faux négatif. Les vrais négatifs sont tout le reste du texte. La Figure 3figure 3 construit les quatre cas pour un extracteur de termes.

Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.

Figure 3. Les quatre cas sous forme de zones : ce qui est dans l'étalon de référence, ce que le système a trouvé, et là où les deux se chevauchent.

Jurafsky et Martin (2026) présentent les mêmes quatre cas sous forme de tableau, appelé matrice de confusion, pour un système qui classe des éléments en deux classes, comme un filtre antipourriel : un message arrêté par erreur est un faux positif, et un pourriel qui arrive dans la boîte de réception est un faux négatif.

	Dans l’étalon de référence	Absent de l’étalon de référence
Trouvé par le système	vrai positif	faux positif
Non trouvé par le système	faux négatif	vrai négatif

Les quatre cas sous forme de matrice de confusion.

Le bruit et le silence

L’ensemble des faux positifs s’appelle aussi le bruit, et l’ensemble des faux négatifs, le silence. Les deux mots peuvent se comprendre littéralement : le bruit est ce qui ne devrait pas se trouver dans la sortie, et le silence, ce qui y manque.

Les vrais négatifs

Le quatrième cas n’est pas le même pour les deux types de système (Figure 4figure 4) :

Pour un filtre antipourriel, chaque message est un élément : les vrais négatifs, les messages qui ne sont pas des pourriels et que le filtre a laissés passer, peuvent donc être comptés.
Pour un système qui repère des éléments dans un texte, comme un extracteur de termes, les vrais négatifs seraient chaque mot et chaque suite de mots qui n’est pas un terme et n’a pas été trouvée. Ces unités varient en longueur et se chevauchent : leur nombre n’est donc pas bien défini (Hripcsak & Rothschild, 2005).

Deux parties, l'une au-dessus de l'autre. Classification : dix messages, chacun un élément. Trois sont des pourriels, et le filtre en a arrêté deux, ainsi qu'un message qui n'est pas un pourriel. Vrais négatifs : 6 messages, ni pourriels ni arrêtés. Extraction : le passage un demi-arrêt et un galop rassemblé, et en dessous toutes les unités d'un à six mots, rangée par rangée : six unités d'un mot, cinq de deux mots, quatre de trois, trois de quatre, deux de cinq et une de six. Deux d'entre elles, demi-arrêt et galop rassemblé, sont des termes. Vrais négatifs : leur nombre dépend des unités que l'on compte ; ce seul passage compte 21 unités d'un à six mots, dont deux sont des termes. — Figure 4. Les vrais négatifs dans les deux types de système : les messages peuvent être comptés, mais les unités d'un texte qui ne sont pas des termes varient en longueur et se chevauchent.

Les scores les plus utilisés pour les deux types de système, la précision et le rappel, se calculent à partir des trois autres cas seulement (Jurafsky & Martin, 2026) (see also the Precision, recall and F1 page) (voir aussi la page Précision, rappel et score F1).

Le compromis entre les deux erreurs

Les deux erreurs s’opposent. Un outil réglé pour proposer plus de candidats manque moins de termes, mais il propose aussi plus d’unités qui ne sont pas des termes. Un outil réglé pour proposer moins de candidats fait l’inverse.

Dans Figure 5figure 5, un outil a classé douze candidats, et la liste est coupée à trois endroits. Plus la coupure se fait bas dans la liste, moins il manque de termes, et plus il y a de bruit. Une évaluation indique donc chacune des deux erreurs, en plus d’un score qui les combine.

Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.

Figure 5. Une liste classée de candidats coupée à trois endroits, comparée à un étalon de référence de huit termes.

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Mise à jour 8 octobre 2026

Sources

Hripcsak, G., & Rothschild, A. S. (2005). Agreement, the F-measure, and reliability in information retrieval. Journal of the American Medical Informatics Association, 12(3), 296–298. https://doi.org/10.1197/jamia.M1733
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/

Sources

Hripcsak, G., & Rothschild, A. S. (2005). Agreement, the F-measure, and reliability in information retrieval. Journal of the American Medical Informatics Association, 12(3), 296–298. https://doi.org/10.1197/jamia.M1733
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/

False positives and false negativesFaux positifs et faux négatifs

Extraction and classification

An example of each error

The four outcomes

Noise and silence

True negatives

The trade-off between the two errors

Extraction et classification

Un exemple de chaque erreur

Les quatre cas

Le bruit et le silence

Les vrais négatifs

Le compromis entre les deux erreurs

Sources

Sources

Spotted an error? Une erreur ?