Agreement as an F1 scoreL'accord mesuré par le score F1

TRA2600 S9 · in classS9 · en classe

TRA6008 S5 · in classS5 · en classe

One annotator as the gold standard

Inter-annotator agreement inter-annotator agreement (IAA)accord inter-annotateurs evaluationévaluation How far two or more people who annotate the same data independently give the same answers.Mesure dans laquelle deux personnes ou plus qui annotent les mêmes données séparément donnent les mêmes réponses. (IAA) measures how far people who annotate the same data separately agree, and so how reliable a gold standard is (see also the Agreement between annotators page) (voir aussi la page L'accord entre annotateurs). Several measures exist for it. When two people have each made a list of the terms in the same text, their agreement can be measured with the scores of this chapter, by taking one list as the gold standard gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. and scoring the other like the output of a system:

• the terms on both lists are true positives true positive (TP)vrai positif (VP) evaluationévaluation An item that a system returned, or assigned to the class it looks for, and that the gold standard also contains: for example, a candidate that is a term, or spam stopped by a spam filter.Élément qu'un système a trouvé, ou classé dans la classe recherchée, et que la référence contient aussi : par exemple, un candidat qui est un terme, ou un pourriel arrêté par un filtre antipourriel. ;
• the terms on the second list only are false positives false positive (FP)faux positif (FP) evaluationévaluation An item that a system returned, or assigned to the class it looks for, but that the gold standard does not contain: for example, a candidate that is not a term, or a legitimate message stopped by a spam filter.Élément qu'un système a trouvé, ou classé dans la classe recherchée, mais que la référence ne contient pas : par exemple, un candidat qui n'est pas un terme, ou un message légitime arrêté par un filtre antipourriel. , the noise noisebruit evaluationévaluation The items a system returns that are not correct: in term extraction, the candidates that are not terms.Éléments trouvés par un système qui ne sont pas corrects : en extraction de termes, les candidats qui ne sont pas des termes. ;
• the terms on the first list only are false negatives false negative (FN)faux négatif (FN) evaluationévaluation An item that the gold standard contains but that a system did not return, or did not assign to the class it looks for: for example, a term that was not proposed, or spam that reaches the inbox.Élément que la référence contient, mais qu'un système n'a ni trouvé ni classé dans la classe recherchée : par exemple, un terme qui n'a pas été proposé, ou un pourriel qui arrive dans la boîte de réception. , the silence silencesilence evaluationévaluation The correct items a system fails to return: in term extraction, the terms of the gold standard that were not proposed.Éléments corrects qu'un système ne trouve pas : en extraction de termes, les termes de la référence qui n'ont pas été proposés. .

In Figure 14figure 14, the list of annotator A has five terms and the list of annotator B six, and four terms are on both lists. With A as the gold standard, B has a precision precisionprécision evaluationévaluation The share of the items a system returned that are correct according to the gold standard.Part des éléments trouvés par un système qui sont corrects selon la référence. of 4 / 6 and a recall recallrappel evaluationévaluation The share of the items in the gold standard that a system returned.Part des éléments de la référence qu'un système a trouvés. of 4 / 5. With B as the gold standard, the two values change places. The F1 score F1 scorescore F1 evaluationévaluation The harmonic mean of precision and recall: a single number between 0 and 1 that is high only when both are high.Moyenne harmonique de la précision et du rappel : un seul nombre entre 0 et 1, qui n'est élevé que si les deux le sont. is 0.73 either way, so the IAA between two people is one number, whichever of them is taken as the gold standard. With three annotators or more, each pair is compared in turn and the scores are averaged.

This measure fits the annotation data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. of terms and other things marked in a text, where there is no fixed list of items and the things nobody marked cannot be counted (Hripcsak & Rothschild, 2005) (see also the False positives and false negatives page) (voir aussi la page Faux positifs et faux négatifs).

Measured this way, the IAA between people is on the same scale as the score of a system, and the two can be set side by side.

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Updated 4 October 2026

Un annotateur comme étalon de référence

L’accord inter-annotateurs inter-annotator agreement (IAA)accord inter-annotateurs evaluationévaluation How far two or more people who annotate the same data independently give the same answers.Mesure dans laquelle deux personnes ou plus qui annotent les mêmes données séparément donnent les mêmes réponses. mesure à quel point des personnes qui annotent les mêmes données séparément sont d’accord, et donc à quel point un étalon de référence est fiable (see also the Agreement between annotators page) (voir aussi la page L'accord entre annotateurs). Il existe plusieurs mesures de cet accord. Quand deux personnes ont chacune dressé la liste des termes d’un même texte, leur accord peut se mesurer avec les scores de ce chapitre, en prenant une des listes comme étalon de référence gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. et en évaluant l’autre comme la sortie d’un système :

• les termes qui figurent sur les deux listes sont des vrais positifs true positive (TP)vrai positif (VP) evaluationévaluation An item that a system returned, or assigned to the class it looks for, and that the gold standard also contains: for example, a candidate that is a term, or spam stopped by a spam filter.Élément qu'un système a trouvé, ou classé dans la classe recherchée, et que la référence contient aussi : par exemple, un candidat qui est un terme, ou un pourriel arrêté par un filtre antipourriel.  ;
• les termes qui ne figurent que sur la deuxième liste sont des faux positifs false positive (FP)faux positif (FP) evaluationévaluation An item that a system returned, or assigned to the class it looks for, but that the gold standard does not contain: for example, a candidate that is not a term, or a legitimate message stopped by a spam filter.Élément qu'un système a trouvé, ou classé dans la classe recherchée, mais que la référence ne contient pas : par exemple, un candidat qui n'est pas un terme, ou un message légitime arrêté par un filtre antipourriel. , le bruit noisebruit evaluationévaluation The items a system returns that are not correct: in term extraction, the candidates that are not terms.Éléments trouvés par un système qui ne sont pas corrects : en extraction de termes, les candidats qui ne sont pas des termes.  ;
• les termes qui ne figurent que sur la première liste sont des faux négatifs false negative (FN)faux négatif (FN) evaluationévaluation An item that the gold standard contains but that a system did not return, or did not assign to the class it looks for: for example, a term that was not proposed, or spam that reaches the inbox.Élément que la référence contient, mais qu'un système n'a ni trouvé ni classé dans la classe recherchée : par exemple, un terme qui n'a pas été proposé, ou un pourriel qui arrive dans la boîte de réception. , le silence silencesilence evaluationévaluation The correct items a system fails to return: in term extraction, the terms of the gold standard that were not proposed.Éléments corrects qu'un système ne trouve pas : en extraction de termes, les termes de la référence qui n'ont pas été proposés. .

Dans Figure 14figure 14, la liste de l’annotateur A compte cinq termes et celle de l’annotateur B, six, et quatre termes figurent sur les deux listes. Avec A comme étalon de référence, B a une précision precisionprécision evaluationévaluation The share of the items a system returned that are correct according to the gold standard.Part des éléments trouvés par un système qui sont corrects selon la référence. de 4 / 6 et un rappel recallrappel evaluationévaluation The share of the items in the gold standard that a system returned.Part des éléments de la référence qu'un système a trouvés. de 4 / 5. Avec B comme étalon de référence, les deux valeurs s’inversent. Le score F1 F1 scorescore F1 evaluationévaluation The harmonic mean of precision and recall: a single number between 0 and 1 that is high only when both are high.Moyenne harmonique de la précision et du rappel : un seul nombre entre 0 et 1, qui n'est élevé que si les deux le sont. vaut 0,73 dans les deux cas : l’accord inter-annotateurs entre deux personnes est donc un seul nombre, quelle que soit celle qui sert d’étalon de référence. Avec trois annotateurs ou plus, on compare chaque paire à tour de rôle et on fait la moyenne des scores.

Cette mesure convient à l’annotation data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. de termes et d’autres éléments repérés dans un texte, où il n’y a pas de liste fixe d’éléments et où l’on ne peut pas compter ce que personne n’a repéré (Hripcsak & Rothschild, 2005) (see also the False positives and false negatives page) (voir aussi la page Faux positifs et faux négatifs).

Mesuré ainsi, l’accord inter-annotateurs est sur la même échelle que le score d’un système, et les deux peuvent être comparés directement.

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Mise à jour 4 octobre 2026