Interpreting a scoreInterpréter un score
TRA2600 OptionalFacultatif
TRA6008 S5 · in classS5 · en classe
What a score depends on
A score of 0.53 for a term extractor, or of 80 % for a chatbot on a set of questions, looks like a property of the system, but five other things produced it:
- The texts. A tool scores differently on another domain, another language or another kind of document (see also the Benchmarks and test sets page) (voir aussi la page Tests de performances et jeux de test).
- The gold standard gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. , or the judges. Another gold standard gives another score (see also the gold standard page) (voir aussi la page L'étalon de référence). Where people judge the output directly, other judges can rank the same systems differently (Freitag et al., 2021) (see also the Ways of evaluating page) (voir aussi la page Les façons d'évaluer).
- What counts as correct. An evaluation has to decide how strictly an output must match the gold standard. For example, if a tool returns half-halts and the gold standard has half-halt, the output can be counted as correct or as wrong. The stricter the rule, the lower the score (see also the Matching rules page) (voir aussi la page Les règles de correspondance).
- The run. A system built on a large language model large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. can give different output for the same request from one run to the next, so a result obtained once may not come out again (Ouyang et al., 2025) (see also the LLMs are non-deterministic page, in the LLM lifecycle module) (voir aussi la page Les GML ne sont pas déterministes, dans le module Cycle de vie des GML). An evaluation of such a system states the model, its version, the date and the settings, and is run more than once.
- The measure. A measure captures one aspect of quality, and a high score says nothing about the aspects it does not capture (see also the Benchmarks and test sets page) (voir aussi la page Tests de performances et jeux de test).
Error analysis
A score says how often a system was wrong, but not how. Whatever the way of evaluating, looking at the output itself always adds something to the score, and it can be done in two ways:
- Quantitative error analysis: the errors are sorted into kinds, and each kind is counted, for example how many of the terms a tool missed are long ones and how many are rare ones. Where the evaluation is itself an error annotation data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. , as is common for translation, these counts are already part of it (see also the Ways of evaluating page) (voir aussi la page Les façons d'évaluer).
- Qualitative error analysis: a person reads a sample of the output, wrong and correct, and describes what the system does.
Error analysis has two uses:
- It finds flaws that a score does not show. For example, a large language model can score very poorly because its answers are not in the format that was asked for, so the program that counts them cannot read them, although the answers themselves are good.
- It shows how a system fails, and so how it might be improved. Two tools with the same score can fail in different ways. When several teams tested their term extractors on the same data, some reached higher precision precisionprécision evaluationévaluation The share of the items a system returned that are correct according to the gold standard.Part des éléments trouvés par un système qui sont corrects selon la référence. (less of what they returned was wrong) and others higher recall recallrappel evaluationévaluation The share of the items in the gold standard that a system returned.Part des éléments de la référence qu'un système a trouvés. (they missed less), and they found different kinds of terms (Rigouts Terryn et al., 2020b) (see also the Precision, recall and F1 page) (voir aussi la page Précision, rappel et score F1).
Comparing two scores
A difference between two scores means something only when the texts, the gold standard or the judges, and the rule for what counts as correct are the same for both.
Even then, a small difference can arise by chance. The smaller the evaluation data, the more easily that happens, and for a system built on a large language model, two runs of the same evaluation can already give different scores. Statistical significance tests estimate whether a difference is larger than chance would produce (Dror et al., 2018). In practice, a difference is more convincing when the evaluation data are large, when the evaluation was run several times, and when the difference is larger than the variation between runs.
Ce dont dépend un score
Un score de 0,53 pour un extracteur de termes, ou de 80 % pour un agent conversationnel sur un ensemble de questions, a l’air d’une propriété du système, mais cinq autres éléments l’ont produit :
- Les textes. Un outil obtient un autre score sur un autre domaine, une autre langue ou un autre type de document (see also the Benchmarks and test sets page) (voir aussi la page Tests de performances et jeux de test).
- L’étalon de référence gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. , ou les juges. Un autre étalon de référence donne un autre score (see also the gold standard page) (voir aussi la page L'étalon de référence). Lorsque des personnes jugent la sortie directement, d’autres juges peuvent classer les mêmes systèmes autrement (Freitag et al., 2021) (see also the Ways of evaluating page) (voir aussi la page Les façons d'évaluer).
- Les sorties comptées comme correctes. Une évaluation doit décider avec quelle rigueur une sortie doit correspondre à l’étalon de référence. Par exemple, si un outil renvoie demi-arrêts et que l’étalon de référence contient demi-arrêt, la sortie peut être comptée comme correcte ou comme fausse. Plus la règle est stricte, plus le score est bas (see also the Matching rules page) (voir aussi la page Les règles de correspondance).
- L’exécution. Un système construit sur un grand modèle de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. peut donner une sortie différente pour la même requête d’une exécution à l’autre, de sorte qu’un résultat obtenu une fois peut ne pas se reproduire (Ouyang et al., 2025) (see also the LLMs are non-deterministic page, in the LLM lifecycle module) (voir aussi la page Les GML ne sont pas déterministes, dans le module Cycle de vie des GML). L’évaluation d’un tel système précise le modèle, sa version, la date et les réglages, et elle est exécutée plus d’une fois.
- La mesure. Une mesure rend compte d’un seul aspect de la qualité, et un score élevé ne dit rien des aspects dont elle ne rend pas compte (see also the Benchmarks and test sets page) (voir aussi la page Tests de performances et jeux de test).
L’analyse des erreurs
Un score dit à quelle fréquence un système s’est trompé, mais pas comment. Quelle que soit la façon d’évaluer, examiner la sortie elle-même ajoute toujours quelque chose au score, et cela peut se faire de deux façons :
- L’analyse quantitative des erreurs : les erreurs sont triées par types, et chaque type est compté, par exemple combien des termes qu’un outil a manqués sont longs et combien sont rares. Lorsque l’évaluation est elle-même une annotation data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. des erreurs, comme c’est courant en traduction, ces décomptes en font déjà partie (see also the Ways of evaluating page) (voir aussi la page Les façons d'évaluer).
- L’analyse qualitative des erreurs : une personne lit un échantillon de la sortie, fautif et correct, et décrit ce que fait le système.
L’analyse des erreurs a deux utilités :
- Elle révèle des défauts qu’un score ne montre pas. Par exemple, un grand modèle de langue peut obtenir un très mauvais score parce que ses réponses ne sont pas dans le format demandé, de sorte que le programme qui les compte ne peut pas les lire, alors que les réponses elles-mêmes sont bonnes.
- Elle montre comment un système échoue, et donc comment il pourrait être amélioré. Deux outils qui ont le même score peuvent échouer de façons différentes. Lorsque plusieurs équipes ont testé leurs extracteurs de termes sur les mêmes données, certaines ont atteint une précision precisionprécision evaluationévaluation The share of the items a system returned that are correct according to the gold standard.Part des éléments trouvés par un système qui sont corrects selon la référence. plus élevée (une moindre part de ce qu’elles renvoyaient était fausse) et d’autres un rappel recallrappel evaluationévaluation The share of the items in the gold standard that a system returned.Part des éléments de la référence qu'un système a trouvés. plus élevé (elles manquaient moins de termes), et elles ont trouvé des types de termes différents (Rigouts Terryn et al., 2020b) (see also the Precision, recall and F1 page) (voir aussi la page Précision, rappel et score F1).
Comparer deux scores
Une différence entre deux scores n’a de sens que si les textes, l’étalon de référence ou les juges, et la règle qui fixe les sorties comptées comme correctes sont les mêmes pour les deux.
Même dans ce cas, une petite différence peut être due au hasard. Plus les données d’évaluation sont peu nombreuses, plus cela se produit facilement, et pour un système construit sur un grand modèle de langue, deux exécutions de la même évaluation peuvent déjà donner des scores différents. Les tests de signification statistique estiment si une différence est plus grande que ce que le hasard produirait (Dror et al., 2018). En pratique, une différence est plus convaincante lorsque les données d’évaluation sont nombreuses, lorsque l’évaluation a été exécutée plusieurs fois et lorsque la différence est plus grande que la variation entre les exécutions.
Sources
- Dror, R., Baumer, G., Shlomov, S., & Reichart, R. (2018). The Hitchhiker's Guide to Testing Statistical Significance in Natural Language Processing. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 1383–1392. https://doi.org/10.18653/v1/P18-1128
- Freitag, M., Foster, G., Grangier, D., Ratnakar, V., Tan, Q., & Macherey, W. (2021). Experts, Errors, and Context: A Large-Scale Study of Human Evaluation for Machine Translation. Transactions of the Association for Computational Linguistics, 9, 1460–1474. https://doi.org/10.1162/tacl_a_00437
- Ouyang, S., Zhang, J. M., Harman, M., & Wang, M. (2025). An Empirical Study of the Non-Determinism of ChatGPT in Code Generation. ACM Transactions on Software Engineering and Methodology, 34(2). https://doi.org/10.1145/3697010
- Rigouts Terryn, A., Hoste, V., Drouin, P., & Lefever, E. (2020b). TermEval 2020: Shared Task on Automatic Term Extraction Using the Annotated Corpora for Term Extraction Research (ACTER) Dataset. Proceedings of the 6th International Workshop on Computational Terminology (CompuTerm 2020), 85–94. https://aclanthology.org/2020.computerm-1.12/
Sources
- Dror, R., Baumer, G., Shlomov, S., & Reichart, R. (2018). The Hitchhiker's Guide to Testing Statistical Significance in Natural Language Processing. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 1383–1392. https://doi.org/10.18653/v1/P18-1128
- Freitag, M., Foster, G., Grangier, D., Ratnakar, V., Tan, Q., & Macherey, W. (2021). Experts, Errors, and Context: A Large-Scale Study of Human Evaluation for Machine Translation. Transactions of the Association for Computational Linguistics, 9, 1460–1474. https://doi.org/10.1162/tacl_a_00437
- Ouyang, S., Zhang, J. M., Harman, M., & Wang, M. (2025). An Empirical Study of the Non-Determinism of ChatGPT in Code Generation. ACM Transactions on Software Engineering and Methodology, 34(2). https://doi.org/10.1145/3697010
- Rigouts Terryn, A., Hoste, V., Drouin, P., & Lefever, E. (2020b). TermEval 2020: Shared Task on Automatic Term Extraction Using the Annotated Corpora for Term Extraction Research (ACTER) Dataset. Proceedings of the 6th International Workshop on Computational Terminology (CompuTerm 2020), 85–94. https://aclanthology.org/2020.computerm-1.12/