De l’export au score
INCEpTION exporte un fichier par texte et par personne, avec une ligne par mot. Voici le début d’une phrase de en_02 dans l’annotation data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. d’une personne, l’annotateur A :
#FORMAT=WebAnno TSV 3.3
#T_SP=webanno.custom.Terme|Commentaire
#Text=Among the various cardiovascular diseases, heart failure (HF) is projected to have the largest increases in incidence over the coming decades; therefore, improving HF prediction is of significant value.
2-6 187-201 cardiovascular *[8]
2-7 202-210 diseases *[8]
2-8 210-211 , _
2-9 212-217 heart *[9]
2-10 218-225 failure *[9]
2-11 226-227 ( _
2-12 227-229 HF *
2-13 229-230 ) _
2-14 231-233 is _
…
2-20 264-273 increases _
2-21 274-276 in _
2-22 277-286 incidence * Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.
Le calcul est le même pour les 36 paires du groupe, une fois par langue et par règle de correspondance exact matchcorrespondance exacte CAT toolsTAO A translation-memory match in which the stored source segment is identical to the segment being translated, character for character, so the tool can insert the stored translation as it is.Correspondance de mémoire de traduction dans laquelle le segment source stocké est identique, caractère pour caractère, au segment à traduire, de sorte que l'outil peut insérer la traduction stockée telle quelle. .
Le tableau
| AB | FD | GH | JD | JC | JP | LA | MI | VL | meanmoyenne | termstermes | |
|---|---|---|---|---|---|---|---|---|---|---|---|
| AB | · | 0.560,56 | 140 | ||||||||
| FD | · | 0.460,46 | 157 | ||||||||
| GH | · | 0.520,52 | 317 | ||||||||
| JD | · | 0.510,51 | 163 | ||||||||
| JC | · | 0.580,58 | 219 | ||||||||
| JP | · | 0.530,53 | 158 | ||||||||
| LA | · | 0.430,43 | 83 | ||||||||
| MI | · | 0.560,56 | 156 | ||||||||
| VL | · | 0.510,51 | 110 |
| AB | FD | GH | JD | JC | JP | LA | MI | VL | meanmoyenne | termstermes | |
|---|---|---|---|---|---|---|---|---|---|---|---|
| AB | · | 0.570,57 | 135 | ||||||||
| FD | · | 0.470,47 | 156 | ||||||||
| GH | · | 0.530,53 | 297 | ||||||||
| JD | · | 0.530,53 | 157 | ||||||||
| JC | · | 0.580,58 | 205 | ||||||||
| JP | · | 0.530,53 | 154 | ||||||||
| LA | · | 0.430,43 | 79 | ||||||||
| MI | · | 0.570,57 | 149 | ||||||||
| VL | · | 0.520,52 | 104 |
| AB | FD | GH | JD | JC | JP | LA | MI | VL | meanmoyenne | termstermes | |
|---|---|---|---|---|---|---|---|---|---|---|---|
| AB | · | 0.570,57 | 128 | ||||||||
| FD | · | 0.490,49 | 154 | ||||||||
| GH | · | 0.530,53 | 281 | ||||||||
| JD | · | 0.530,53 | 150 | ||||||||
| JC | · | 0.590,59 | 194 | ||||||||
| JP | · | 0.540,54 | 147 | ||||||||
| LA | · | 0.440,44 | 75 | ||||||||
| MI | · | 0.580,58 | 140 | ||||||||
| VL | · | 0.530,53 | 101 |
| AB | FD | GH | JD | JC | JP | LA | MI | VL | meanmoyenne | termstermes | |
|---|---|---|---|---|---|---|---|---|---|---|---|
| AB | · | 0.660,66 | 185 | ||||||||
| FD | · | 0.530,53 | 121 | ||||||||
| GH | · | 0.620,62 | 250 | ||||||||
| JD | · | 0.600,60 | 212 | ||||||||
| JC | · | 0.610,61 | 232 | ||||||||
| JP | · | 0.630,63 | 176 | ||||||||
| LA | · | 0.490,49 | 108 | ||||||||
| MI | · | 0.580,58 | 162 | ||||||||
| VL | · | 0.600,60 | 120 |
| AB | FD | GH | JD | JC | JP | LA | MI | VL | meanmoyenne | termstermes | |
|---|---|---|---|---|---|---|---|---|---|---|---|
| AB | · | 0.650,65 | 169 | ||||||||
| FD | · | 0.560,56 | 120 | ||||||||
| GH | · | 0.620,62 | 229 | ||||||||
| JD | · | 0.600,60 | 196 | ||||||||
| JC | · | 0.610,61 | 212 | ||||||||
| JP | · | 0.640,64 | 162 | ||||||||
| LA | · | 0.490,49 | 97 | ||||||||
| MI | · | 0.580,58 | 147 | ||||||||
| VL | · | 0.600,60 | 108 |
| AB | FD | GH | JD | JC | JP | LA | MI | VL | meanmoyenne | termstermes | |
|---|---|---|---|---|---|---|---|---|---|---|---|
| AB | · | 0.660,66 | 163 | ||||||||
| FD | · | 0.580,58 | 118 | ||||||||
| GH | · | 0.630,63 | 216 | ||||||||
| JD | · | 0.610,61 | 186 | ||||||||
| JC | · | 0.610,61 | 203 | ||||||||
| JP | · | 0.650,65 | 152 | ||||||||
| LA | · | 0.500,50 | 94 | ||||||||
| MI | · | 0.590,59 | 135 | ||||||||
| VL | · | 0.610,61 | 106 |
Click a cell to see the two lists of that pair.Cliquez sur une case pour voir les deux listes de cette paire.
Compare these two lists term by termComparer ces deux listes terme par terme
Scores computed on 5 October 2026 from the INCEpTION export; initials instead of names.Scores calculés le 5 octobre 2026 à partir de l'export INCEpTION ; des initiales plutôt que des noms.
Lire le tableau
- Chaque case est l’accord inter-annotator agreement (IAA)accord inter-annotateurs evaluationévaluation How far two or more people who annotate the same data independently give the same answers.Mesure dans laquelle deux personnes ou plus qui annotent les mêmes données séparément donnent les mêmes réponses. entre deux personnes, leur score F1 F1 scorescore F1 evaluationévaluation The harmonic mean of precision and recall: a single number between 0 and 1 that is high only when both are high.Moyenne harmonique de la précision et du rappel : un seul nombre entre 0 et 1, qui n'est élevé que si les deux le sont. .
- La colonne « moyenne », au bout de votre ligne, est votre accord moyen avec les huit autres personnes, pour la langue et la règle choisies au-dessus du tableau : c’est le chiffre que demande le rapport individuel (section 3.1, règle 3).
- Les couleurs vont du score le plus bas de ce tableau au plus haut ; la légende donne les deux valeurs.
- Cliquer sur une case affiche les deux listes en cercles, proportionnels à leur taille, avec la précision precisionprécision evaluationévaluation The share of the items a system returned that are correct according to the gold standard.Part des éléments trouvés par un système qui sont corrects selon la référence. et le rappel recallrappel evaluationévaluation The share of the items in the gold standard that a system returned.Part des éléments de la référence qu'un système a trouvés. quand l’une sert de référence gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. (see also the Agreement as an F1 score page, in the Evaluating language technology module) (voir aussi la page L'accord mesuré par le score F1, dans le module L'évaluation des technologies langagières), et un lien vers la comparaison des deux listes, terme par terme.
- Les causes de désaccord : la frontière du terme, les sigles, les mots courants au sens spécialisé, le degré de spécialisation. Vos propres cas sont sur la page de comparaison (see also the Comparing two lists, term by term page) (voir aussi la page Comparer deux listes, terme par terme).
L’accord moyen du groupe
L’accord moyen du groupe est la moyenne des 36 scores F1 du tableau, une fois par langue et par règle de correspondance.
| Rule 1: exactRègle 1 : exacte | Rule 2: formRègle 2 : forme | Rule 3: pluralRègle 3 : pluriel | |
|---|---|---|---|
| English textsTextes en anglais | |||
| Mean agreement (F1)Accord moyen (F1) | 0.520,52 | 0.530,53 | 0.530,53 |
| Terms marked by at least one personTermes marqués par au moins une personne | 434 | 407 | 389 |
| Mean size of a listTaille moyenne d'une liste | 167 | 160 | 152 |
| Shortest and longest listListe la plus courte et la plus longue | 83 and 31783 et 317 | 79 and 29779 et 297 | 75 and 28175 et 281 |
| Majority listListe majoritaire | 133 | 127 | 118 |
| French textsTextes en français | |||
| Mean agreement (F1)Accord moyen (F1) | 0.590,59 | 0.590,59 | 0.600,60 |
| Terms marked by at least one personTermes marqués par au moins une personne | 414 | 379 | 357 |
| Mean size of a listTaille moyenne d'une liste | 174 | 160 | 153 |
| Shortest and longest listListe la plus courte et la plus longue | 108 and 250108 et 250 | 97 and 22997 et 229 | 94 and 21694 et 216 |
| Majority listListe majoritaire | 146 | 131 | 125 |
Les règles de correspondance
Les règles 2 et 3 réunissent des formes que la règle 1 sépare, par exemple « disease » et « diseases » (see also the Project 1 · Step by step page) (voir aussi la page Projet 1 · Pas à pas). Le tableau montre ce que cela change pour ce groupe : de la règle 1 à la règle 3, les termes différents, les listes et la liste majoritaire raccourcissent d’environ un dixième en anglais et un peu plus en français, mais l’accord monte à peine. Les désaccords portent donc rarement sur la forme d’un terme : ils portent sur ce qui compte comme terme et sur ses frontières, que les règles ne touchent pas.
L’anglais et le français
Le groupe s’accorde mieux sur les textes français, selon les trois règles. Les textes français et anglais sont des résumés différents : l’écart peut donc venir des textes autant que de la langue.
Le nombre de termes
Ensemble, les neuf personnes ont marqué bien plus de termes différents qu’une seule liste n’en contient : selon la règle 3, 389 en anglais et 357 en français, contre 152 et 153 dans une liste moyenne.
Les listes diffèrent par les termes retenus, et aussi par leur nombre : en anglais, la plus longue compte près de quatre fois plus de termes que la plus courte. Deux listes de tailles très différentes ne peuvent pas avoir un F1 élevé, même si la plus courte est entièrement comprise dans la plus longue : pour ces deux listes extrêmes, le F1 ne peut pas dépasser 0,42.
Par rapport à la recherche
Les scores d’accord du groupe sont du même ordre que ceux d’études publiées. Dans une étude sur des résumés scientifiques en anglais sur l’insuffisance cardiaque, huit personnes aux profils variés obtenaient un F1 moyen de 0,48 avec de simples définitions du terme, et de 0,59 avec des consignes complètes, calculé comme ici entre chaque paire de personnes et sur les formes distinctes (Rigouts Terryn et al., 2020a, tableau 2). Un accord entre 0,5 et 0,6 reflète la difficulté de la tâche.
Sources
- Rigouts Terryn, A., Hoste, V., & Lefever, E. (2020a). In No Uncertain Terms: A Dataset for Monolingual and Multilingual Automatic Term Extraction from Comparable Corpora. Language Resources and Evaluation, 54(2), 385–418. https://doi.org/10.1007/s10579-019-09453-9
This page is only available in French.