Teach · Evaluating extraction and classification

Extraction et classification

Ce chapitre porte sur deux types de système (Figure 1figure 1) :

les systèmes qui repèrent des éléments dans un texte, comme un extracteur de termes ou un système de reconnaissance d’entités nommées ;
les systèmes qui classent des éléments (classification), comme un filtre antipourriel, ou un système qui étiquette une critique comme positive ou négative.

Deux panneaux. À gauche, l'extraction, repérer des éléments dans un texte, ici les termes : la phrase Le cavalier demande un changement de pied après le demi-arrêt, une flèche, et les deux termes repérés, changement de pied et demi-arrêt ; sortie : la liste des éléments repérés. À droite, la classification, classer des éléments, ici des critiques : trois courtes critiques, chacune suivie d'une étiquette. Excellent film, bien joué : positive. Deux heures de perdues : négative. Une agréable surprise : positive. En dessous : sortie, une étiquette par élément. — Figure 1. Les deux types de système de ce chapitre : l'un donne la liste des éléments qu'il a repérés dans un texte, l'autre donne une étiquette à chaque élément.

De tels systèmes sont le plus souvent évalués en comparant leur sortie à un étalon de référence, les réponses que des personnes ont données pour les mêmes données (see also the gold standard page) (voir aussi la page L'étalon de référence). Plusieurs mesures permettent de transformer cette comparaison en score. Ce chapitre se concentre sur trois mesures couramment utilisées ensemble : la précision, le rappel et le score F1.

La portée de ce chapitre

Ce chapitre ne fait pas le tour complet de l’évaluation de tels systèmes, et il en dit plus sur le premier type de système que sur le second. Ses exemples de classification ont deux classes : avec plus de deux classes, les mêmes scores s’appliquent, mais les combiner demande d’autres principes, que le chapitre ne fait que nommer (see also the Precision, recall and F1 page) (voir aussi la page Précision, rappel et score F1).

Pour l’extraction de termes, les exemples comparent deux listes, les candidats d’un outil et les termes de l’étalon de référence, où chaque terme figure une seule fois. Évaluer les termes à chaque endroit où ils apparaissent dans un texte est plus complexe, parce qu’un terme n’a pas de longueur fixe (see also the Matching rules page) (voir aussi la page Les règles de correspondance).

Un exemple de chaque erreur

Par exemple, un extracteur de termes, un outil qui dresse la liste des termes spécialisés d’un texte, traite une phrase sur le dressage, un sport équestre (Figure 2figure 2) :

l’outil propose une liste de trois candidats : changement de pied, dernier coin et galop rassemblé ;
l’étalon de référence est une liste de trois termes : changement de pied, demi-arrêt et galop rassemblé.

Deux candidats figurent sur les deux listes : ils sont donc corrects. L’outil a aussi fait deux erreurs, de types différents :

dernier coin a été proposé, mais ce n’est pas un terme ;
demi-arrêt est un terme, mais il n’a pas été trouvé.

Trois parties. Le texte : Le cavalier demande un changement de pied avant le dernier coin, puis un demi-arrêt et un galop rassemblé. L'étalon de référence, les termes repérés : changement de pied, correct, sur les deux listes ; demi-arrêt, manqué, un terme, non trouvé ; galop rassemblé, correct. La sortie, les candidats de l'outil : changement de pied, correct ; dernier coin, erroné, proposé, pas un terme ; galop rassemblé, correct. — Figure 2. Un texte, la liste de l'étalon de référence et la liste proposée par un outil : deux candidats corrects, un terme manqué et un candidat qui n'est pas un terme.

Les quatre cas

Quand la sortie d’un système est comparée à un étalon de référence, chaque décision correspond à l’un de quatre cas, définis dans les encadrés ci-dessous et souvent abrégés VP, FP, FN et VN.

evaluationévaluation DefinitionDéfinition · false positive (FP)faux positif (FP) · fr: faux positif· en : false positive

An item that a system returned, or assigned to the class it looks for, but that the gold standard does not contain: for example, a candidate that is not a term, or a legitimate message stopped by a spam filter.Élément qu'un système a trouvé, ou classé dans la classe recherchée, mais que la référence ne contient pas : par exemple, un candidat qui n'est pas un terme, ou un message légitime arrêté par un filtre antipourriel. (Jurafsky & Martin, 2026, section 4.9)

NotesRemarques Taken together, the false positives are also called noise. They lower precision.Pris ensemble, les faux positifs forment le bruit. Ils font baisser la précision.

evaluationévaluation DefinitionDéfinition · true negative (TN)vrai négatif (VN) · fr: vrai négatif· en : true negative

An item that the gold standard does not contain and that a system did not return, or did not assign to the class it looks for: for example, a legitimate message that a spam filter lets through.Élément que la référence ne contient pas et qu'un système n'a ni trouvé ni classé dans la classe recherchée : par exemple, un message légitime qu'un filtre antipourriel laisse passer. (Jurafsky & Martin, 2026, section 4.9)

NotesRemarques For a system that finds things in a text, such as a term extractor, the true negatives cannot be counted in a useful way, which is why precision and recall leave them out.Pour un système qui repère des éléments dans un texte, comme un extracteur de termes, les vrais négatifs ne peuvent pas être comptés de façon utile, et c'est pourquoi la précision et le rappel les laissent de côté.

Dans l’exemple ci-dessus, changement de pied et galop rassemblé sont des vrais positifs, dernier coin est un faux positif et demi-arrêt est un faux négatif. Les vrais négatifs sont tout le reste du texte. La Figure 3figure 3 construit les quatre cas pour un extracteur de termes.

Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.

Figure 3. Les quatre cas sous forme de zones : ce qui est dans l'étalon de référence, ce que le système a trouvé, et là où les deux se chevauchent.

Jurafsky et Martin (2026) présentent les mêmes quatre cas sous forme de tableau, appelé matrice de confusion, pour un système qui classe des éléments en deux classes, comme un filtre antipourriel : un message arrêté par erreur est un faux positif, et un pourriel qui arrive dans la boîte de réception est un faux négatif.

	Dans l’étalon de référence	Absent de l’étalon de référence
Trouvé par le système	vrai positif	faux positif
Non trouvé par le système	faux négatif	vrai négatif

Les quatre cas sous forme de matrice de confusion.

Le bruit et le silence

L’ensemble des faux positifs s’appelle aussi le bruit, et l’ensemble des faux négatifs, le silence. Les deux mots peuvent se comprendre littéralement : le bruit est ce qui ne devrait pas se trouver dans la sortie, et le silence, ce qui y manque.

Les vrais négatifs

Le quatrième cas n’est pas le même pour les deux types de système (Figure 4figure 4) :

Pour un filtre antipourriel, chaque message est un élément : les vrais négatifs, les messages qui ne sont pas des pourriels et que le filtre a laissés passer, peuvent donc être comptés.
Pour un système qui repère des éléments dans un texte, comme un extracteur de termes, les vrais négatifs seraient chaque mot et chaque suite de mots qui n’est pas un terme et n’a pas été trouvée. Ces unités varient en longueur et se chevauchent : leur nombre n’est donc pas bien défini (Hripcsak & Rothschild, 2005).

Deux parties, l'une au-dessus de l'autre. Classification : dix messages, chacun un élément. Trois sont des pourriels, et le filtre en a arrêté deux, ainsi qu'un message qui n'est pas un pourriel. Vrais négatifs : 6 messages, ni pourriels ni arrêtés. Extraction : le passage un demi-arrêt et un galop rassemblé, et en dessous toutes les unités d'un à six mots, rangée par rangée : six unités d'un mot, cinq de deux mots, quatre de trois, trois de quatre, deux de cinq et une de six. Deux d'entre elles, demi-arrêt et galop rassemblé, sont des termes. Vrais négatifs : leur nombre dépend des unités que l'on compte ; ce seul passage compte 21 unités d'un à six mots, dont deux sont des termes. — Figure 4. Les vrais négatifs dans les deux types de système : les messages peuvent être comptés, mais les unités d'un texte qui ne sont pas des termes varient en longueur et se chevauchent.

Les scores les plus utilisés pour les deux types de système, la précision et le rappel, se calculent à partir des trois autres cas seulement (Jurafsky & Martin, 2026) (see also the Precision, recall and F1 page) (voir aussi la page Précision, rappel et score F1).

Le compromis entre les deux erreurs

Les deux erreurs s’opposent. Un outil réglé pour proposer plus de candidats manque moins de termes, mais il propose aussi plus d’unités qui ne sont pas des termes. Un outil réglé pour proposer moins de candidats fait l’inverse.

Dans Figure 5figure 5, un outil a classé douze candidats, et la liste est coupée à trois endroits. Plus la coupure se fait bas dans la liste, moins il manque de termes, et plus il y a de bruit. Une évaluation indique donc chacune des deux erreurs, en plus d’un score qui les combine.