Steps of an evaluationLes étapes d'une évaluation
TRA2600 S9 · in classS9 · en classe
TRA6008 S5 · in classS5 · en classe
The steps in order
The steps below apply to the evaluation of any system that finds things in a text or sorts items into classes, for instance term extractors, systems for named entity recognition named entity recognition (NER)reconnaissance d'entités nommées (REN) NLPTAL The task of finding the spans of a text that are proper names, and labelling the category, most often a person, a location or an organization.Tâche qui consiste à repérer dans un texte les segments qui sont des noms propres, et à en étiqueter la catégorie, le plus souvent une personne, un lieu ou une organisation. or spam filters. They are the same for a few systems compared by hand on one short text and for a large evaluation on thousands of items.
- The gold standard gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. is made first. People annotate data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. the evaluation data, following written guidelines, before anyone looks at the output of a system: a term added because a tool found it makes the gold standard depend on that tool. The choices made along the way are written down, for example whether names count as terms, or where a name starts and ends (see also the gold standard page) (voir aussi la page L'étalon de référence).
- Some or all of the data is annotated more than once. Several people annotate the same items separately, which gives the inter-annotator agreement inter-annotator agreement (IAA)accord inter-annotateurs evaluationévaluation How far two or more people who annotate the same data independently give the same answers.Mesure dans laquelle deux personnes ou plus qui annotent les mêmes données séparément donnent les mêmes réponses. (see also the Agreement as an F1 score page) (voir aussi la page L'accord mesuré par le score F1). When all of the data is annotated several times, the annotations can also be combined into the gold standard, for instance by majority vote (see also the Agreement between annotators page) (voir aussi la page L'accord entre annotateurs). On a large dataset, this is often done for a sample only, and the rest is annotated by one person.
- Each system runs on the same evaluation data, and its output is kept as it is, whatever its length. For a chatbot, the prompt promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. , the model, its version and the date are recorded as well.
- All outputs are put in the same form as the gold standard, with the matching rules decided beforehand and applied to every system, for example one entry per term, in lowercase, with one decision on plurals (see also the Matching rules page) (voir aussi la page Les règles de correspondance).
- The counting gives the true positives true positive (TP)vrai positif (VP) evaluationévaluation An item that a system returned, or assigned to the class it looks for, and that the gold standard also contains: for example, a candidate that is a term, or spam stopped by a spam filter.Élément qu'un système a trouvé, ou classé dans la classe recherchée, et que la référence contient aussi : par exemple, un candidat qui est un terme, ou un pourriel arrêté par un filtre antipourriel. , the false positives false positive (FP)faux positif (FP) evaluationévaluation An item that a system returned, or assigned to the class it looks for, but that the gold standard does not contain: for example, a candidate that is not a term, or a legitimate message stopped by a spam filter.Élément qu'un système a trouvé, ou classé dans la classe recherchée, mais que la référence ne contient pas : par exemple, un candidat qui n'est pas un terme, ou un message légitime arrêté par un filtre antipourriel. and the false negatives false negative (FN)faux négatif (FN) evaluationévaluation An item that the gold standard contains but that a system did not return, or did not assign to the class it looks for: for example, a term that was not proposed, or spam that reaches the inbox.Élément que la référence contient, mais qu'un système n'a ni trouvé ni classé dans la classe recherchée : par exemple, un terme qui n'a pas été proposé, ou un pourriel qui arrive dans la boîte de réception. for each system, and from them precision precisionprécision evaluationévaluation The share of the items a system returned that are correct according to the gold standard.Part des éléments trouvés par un système qui sont corrects selon la référence. , recall recallrappel evaluationévaluation The share of the items in the gold standard that a system returned.Part des éléments de la référence qu'un système a trouvés. and the F1 score F1 scorescore F1 evaluationévaluation The harmonic mean of precision and recall: a single number between 0 and 1 that is high only when both are high.Moyenne harmonique de la précision et du rappel : un seul nombre entre 0 et 1, qui n'est élevé que si les deux le sont. (see also the Precision, recall and F1 page) (voir aussi la page Précision, rappel et score F1).
- The scores are compared with the agreement between people and with a baseline baselineétalon evaluationévaluation The score that a very simple method reaches on a test, with which the score of a system is compared.Score qu'une méthode très simple obtient à un test, et auquel on compare le score d'un système. , for example the score of a system that is already in use (see also the Baselines page) (voir aussi la page Les étalons).
- The errors are examined: the kinds of item each system missed, and the kinds it returned wrongly (see also the Interpreting a score page) (voir aussi la page Interpréter un score).
Les étapes dans l’ordre
Les étapes ci-dessous s’appliquent à l’évaluation de tout système qui repère des éléments dans un texte ou qui classe des éléments, par exemple des extracteurs de termes, des systèmes de reconnaissance d’entités nommées named entity recognition (NER)reconnaissance d'entités nommées (REN) NLPTAL The task of finding the spans of a text that are proper names, and labelling the category, most often a person, a location or an organization.Tâche qui consiste à repérer dans un texte les segments qui sont des noms propres, et à en étiqueter la catégorie, le plus souvent une personne, un lieu ou une organisation. ou des filtres antipourriel. Elles sont les mêmes pour quelques systèmes comparés à la main sur un court texte et pour une grande évaluation sur des milliers d’éléments.
- L’étalon de référence gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. est établi d’abord. Des personnes annotent data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. les données d’évaluation en suivant des consignes écrites, avant que quiconque ait vu la sortie d’un système : un terme ajouté parce qu’un outil l’a trouvé rend l’étalon de référence dépendant de cet outil. Les choix faits en cours de route sont consignés, par exemple si les noms propres comptent comme des termes, ou où un nom commence et finit (see also the gold standard page) (voir aussi la page L'étalon de référence).
- Une partie ou la totalité des données est annotée plus d’une fois. Plusieurs personnes annotent les mêmes éléments séparément, ce qui donne l’accord inter-annotateurs inter-annotator agreement (IAA)accord inter-annotateurs evaluationévaluation How far two or more people who annotate the same data independently give the same answers.Mesure dans laquelle deux personnes ou plus qui annotent les mêmes données séparément donnent les mêmes réponses. (see also the Agreement as an F1 score page) (voir aussi la page L'accord mesuré par le score F1). Quand toutes les données sont annotées plusieurs fois, les annotations peuvent aussi être combinées en un étalon de référence, par exemple par un vote majoritaire (see also the Agreement between annotators page) (voir aussi la page L'accord entre annotateurs). Sur un grand jeu de données, on ne le fait souvent que pour un échantillon, et une seule personne annote le reste.
- Chaque système traite les mêmes données d’évaluation, et sa sortie est gardée telle quelle, quelle que soit sa longueur. Pour un agent conversationnel, la requête promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. , le modèle, sa version et la date sont aussi consignés.
- Toutes les sorties sont mises sous la même forme que l’étalon de référence, avec des règles de correspondance fixées à l’avance et appliquées à tous les systèmes, par exemple une entrée par terme, en minuscules, avec une seule décision sur les pluriels (see also the Matching rules page) (voir aussi la page Les règles de correspondance).
- Le comptage donne les vrais positifs true positive (TP)vrai positif (VP) evaluationévaluation An item that a system returned, or assigned to the class it looks for, and that the gold standard also contains: for example, a candidate that is a term, or spam stopped by a spam filter.Élément qu'un système a trouvé, ou classé dans la classe recherchée, et que la référence contient aussi : par exemple, un candidat qui est un terme, ou un pourriel arrêté par un filtre antipourriel. , les faux positifs false positive (FP)faux positif (FP) evaluationévaluation An item that a system returned, or assigned to the class it looks for, but that the gold standard does not contain: for example, a candidate that is not a term, or a legitimate message stopped by a spam filter.Élément qu'un système a trouvé, ou classé dans la classe recherchée, mais que la référence ne contient pas : par exemple, un candidat qui n'est pas un terme, ou un message légitime arrêté par un filtre antipourriel. et les faux négatifs false negative (FN)faux négatif (FN) evaluationévaluation An item that the gold standard contains but that a system did not return, or did not assign to the class it looks for: for example, a term that was not proposed, or spam that reaches the inbox.Élément que la référence contient, mais qu'un système n'a ni trouvé ni classé dans la classe recherchée : par exemple, un terme qui n'a pas été proposé, ou un pourriel qui arrive dans la boîte de réception. de chaque système, et à partir d’eux la précision precisionprécision evaluationévaluation The share of the items a system returned that are correct according to the gold standard.Part des éléments trouvés par un système qui sont corrects selon la référence. , le rappel recallrappel evaluationévaluation The share of the items in the gold standard that a system returned.Part des éléments de la référence qu'un système a trouvés. et le score F1 F1 scorescore F1 evaluationévaluation The harmonic mean of precision and recall: a single number between 0 and 1 that is high only when both are high.Moyenne harmonique de la précision et du rappel : un seul nombre entre 0 et 1, qui n'est élevé que si les deux le sont. (see also the Precision, recall and F1 page) (voir aussi la page Précision, rappel et score F1).
- Les scores sont comparés à l’accord entre personnes et à un étalon baselineétalon evaluationévaluation The score that a very simple method reaches on a test, with which the score of a system is compared.Score qu'une méthode très simple obtient à un test, et auquel on compare le score d'un système. , par exemple le score d’un système déjà en usage (see also the Baselines page) (voir aussi la page Les étalons).
- Les erreurs sont examinées : les types d’éléments que chaque système a manqués, et ceux qu’il a trouvés à tort (see also the Interpreting a score page) (voir aussi la page Interpréter un score).