Where people disagree about termsLes points de désaccord sur les termes

TRA2600 S8 · in classS8 · en classe

TRA6008 To read for S5À lire pour la S5

How much annotators disagree

Disagreement between the people who annotate the same data is common across NLP tasks. In many cases more than one answer is correct, and even where there is a single correct answer, the disagreement makes it hard to settle on a gold standard gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. (Basile et al., 2021). Term annotation data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. is no exception. In one study, three annotators marked the terms in the same texts, in three languages and three domains, and only a third of the 4,207 terms they found were marked by all three (Figure 3figure 3). More elaborate annotation guidelines raised the agreement between annotators, but two people’s lists still remained far from identical (Rigouts Terryn et al., 2020a). The agreement is measured as an F1 score F1 scorescore F1 evaluationévaluation The harmonic mean of precision and recall: a single number between 0 and 1 that is high only when both are high.Moyenne harmonique de la précision et du rappel : un seul nombre entre 0 et 1, qui n'est élevé que si les deux le sont. (see also the Agreement as an F1 score page, in the Evaluating language technology module) (voir aussi la page L'accord mesuré par le score F1, dans le module L'évaluation des technologies langagières).

Term boundaries

In “the horse moves on in posting trot”, is the term posting trot, trot, posting, or all three? There is no universally correct answer to that question, so this is where annotation guidelines can reduce some of the variation. The guidelines of the ACTER dataset, for instance, answer “all three”: when part of a longer term is a term in its own right, the longer term and the shorter one are both marked. In the dressage texts, posting trot was marked as a whole, and posting and trot were marked as well (Rigouts Terryn, 2021a).

Other annotation schemes keep only the longest unit (Liu et al., 2025). Terms interrupted by other words are another case to settle: in “collected and extended trot”, collected trot is there in meaning but never appears as such in the text. Figure 4figure 4 shows both cases as an annotation tool records them.

Everyday words with a specialized sense

Some terms look like ordinary words; the table below gives three from dressage. A reader who does not know the domain reads straight past them; for a translator, they are exactly the words that need checking.

Word	Everyday sense	In dressage
collection	a set of objects	the way a horse shifts its weight towards its hindquarters and shortens its strides; collected and collect follow it
contact	touching, or being in touch	the connection between the rider’s hands and the horse’s mouth through the reins
passage	a way through, or an extract from a text	a movement: a very collected, elevated trot

Named entities

FEI, the international federation for equestrian sports, and Grand Prix, the highest level of dressage test, are proper names. In NLP, something that is referred to by a proper name is called a named entity, and finding named entities in a text is a task of its own, named entity recognition named entity recognition (NER)reconnaissance d'entités nommées (REN) NLPTAL The task of finding the spans of a text that are proper names, and labelling the category, most often a person, a location or an organization.Tâche qui consiste à repérer dans un texte les segments qui sont des noms propres, et à en étiqueter la catégorie, le plus souvent une personne, un lieu ou une organisation. (NER) (see also the A tour of NLP tasks chapter) (voir aussi le chapitre Tour d'horizon des tâches du TAL). Term annotation projects differ on what to do with them: some mark named entities with a label of their own, some leave them out, and some treat them like any other term if a translator would need them.

Degree of specialization

Annotators also disagree about how specialized a unit has to be to count as a term. One way to make that decision explicit is to ask two separate questions, as the ACTER guidelines do (Rigouts Terryn, 2021a):

• Is it specific to the domain? Does the unit relate to the subject of the texts? This dimension is called domain specificity.
• Is it specific in the lexicon? Is it known only to specialists, or is it part of everyday vocabulary? This dimension is called lexicon specificity.

Different term labels can be defined from these two dimensions. Figure 5figure 5 shows the three labels of the ACTER scheme: a unit that is specific on both dimensions is a Specific Term, one that is specific to the domain only is a Common Term, and one that is specific in the lexicon only is an Out-of-Domain Term.

Both answers depend on who is asking, and the edge of the domain is a decision too. When the dressage texts were annotated, terms from other equestrian sports, such as gymkhana or voltige (vaulting), were labelled as out of the domain, because the domain was taken to be dressage rather than riding as a whole (Rigouts Terryn et al., 2019).

Knowing a domain well does not settle it either. I annotated the dressage texts myself, and I know the sport well: I understood the terminology without effort, but found it harder to tell terms from general vocabulary, because the terms had become part of my own everyday vocabulary (Rigouts Terryn et al., 2020a).

Two ways of settling the cases

A project that needs a list of terms has to settle the cases annotators disagree about, such as term boundaries and everyday words with a specialized sense. It can do so in two broad ways.

• Categories. A scheme such as ACTER’s keeps the disagreement visible by giving each unit a label: one of the three term labels above, or Named Entity. A list can then be made strict or broad afterwards, by choosing which labels count.
• A purpose. A project can also define a term by what the list is for, for instance everything a translator would add to their own termbase termbasebase terminologique terminologyterminologie A database of terminological entries organized by concept, grouping the terms of several languages with metadata such as definitions, domains and usage status.Base de données d'entrées terminologiques organisée par concept, contenant les termes de plusieurs langues et des métadonnées comme des définitions, des domaines et des marques d'usage. before translating similar texts. The decision then depends on the reader’s needs rather than on a property of the unit.

Neither way removes the disagreement. Every list of terms depends on such choices, whether a person or a tool made it, and two lists made with different choices cannot simply be compared as right and wrong.

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Updated 6 October 2026

L’ampleur du désaccord entre annotateurs

Le désaccord entre les personnes qui annotent les mêmes données est courant dans les tâches de TAL. Dans bien des cas, plus d’une réponse est correcte, et même lorsqu’il n’existe qu’une réponse correcte, le désaccord rend difficile l’établissement d’une référence gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. (Basile et al., 2021). L’annotation data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. de termes ne fait pas exception. Dans une étude, trois annotateurs ont repéré les termes des mêmes textes, dans trois langues et trois domaines, et seul un tiers des 4 207 termes trouvés avait été retenu par les trois (Figure 3figure 3). Des consignes d’annotation plus détaillées ont fait monter l’accord entre annotateurs, mais les listes de deux personnes restaient loin d’être identiques (Rigouts Terryn et al., 2020a). L’accord se mesure par un score F1 F1 scorescore F1 evaluationévaluation The harmonic mean of precision and recall: a single number between 0 and 1 that is high only when both are high.Moyenne harmonique de la précision et du rappel : un seul nombre entre 0 et 1, qui n'est élevé que si les deux le sont. (see also the Agreement as an F1 score page, in the Evaluating language technology module) (voir aussi la page L'accord mesuré par le score F1, dans le module L'évaluation des technologies langagières).

Les frontières d’un terme

Dans « le cheval repart au trot enlevé », le terme est-il trot enlevé, trot, enlevé, ou les trois ? Cette question n’a pas de réponse universellement correcte, et c’est donc là que des consignes d’annotation peuvent réduire une partie de la variation. Les consignes du jeu de données ACTER, par exemple, répondent « les trois » : quand une partie d’un terme plus long est elle-même un terme, le terme long et le terme court sont tous deux annotés. Dans les textes anglais sur le dressage, posting trot (trot enlevé) a été annoté en entier, et posting et trot l’ont été aussi (Rigouts Terryn, 2021a).

D’autres schémas d’annotation ne gardent que l’unité la plus longue (Liu et al., 2025). Les termes interrompus par d’autres mots sont un autre cas à trancher : dans « trot rassemblé et allongé », trot allongé est là par le sens, mais n’apparaît jamais tel quel dans le texte. La Figure 4figure 4 montre les deux cas tels qu’un outil d’annotation les enregistre.

Les mots courants qui ont un sens spécialisé

Certains termes ressemblent à des mots ordinaires ; le tableau ci-dessous en donne trois, tirés du dressage. Une personne qui ne connaît pas le domaine ne s’y arrête pas ; pour un traducteur, ce sont justement les mots à vérifier.

Mot	Sens courant	En dressage
rassembler	réunir des personnes ou des choses	l’attitude d’un cheval qui reporte son poids vers l’arrière-main et raccourcit ses foulées ; rassemblé en vient
contact	le fait de toucher, ou d’être en relation	la liaison entre les mains du cavalier et la bouche du cheval, par les rênes
passage	un endroit où l’on passe, ou un extrait de texte	un mouvement : un trot très rassemblé et relevé

Les entités nommées

FEI, la fédération internationale des sports équestres, et Grand Prix, le niveau le plus élevé des reprises de dressage, sont des noms propres. En TAL, ce que désigne un nom propre s’appelle une entité nommée, et repérer les entités nommées d’un texte est une tâche à part entière, la reconnaissance d’entités nommées named entity recognition (NER)reconnaissance d'entités nommées (REN) NLPTAL The task of finding the spans of a text that are proper names, and labelling the category, most often a person, a location or an organization.Tâche qui consiste à repérer dans un texte les segments qui sont des noms propres, et à en étiqueter la catégorie, le plus souvent une personne, un lieu ou une organisation. (REN) (see also the A tour of NLP tasks chapter) (voir aussi le chapitre Tour d'horizon des tâches du TAL). Les projets d’annotation de termes ne les traitent pas tous de la même façon : certains donnent aux entités nommées une étiquette à part, d’autres les écartent, et d’autres encore les traitent comme n’importe quel terme si un traducteur en a besoin.

Le degré de spécialisation

Les annotateurs ne s’accordent pas non plus sur le degré de spécialisation qu’une unité doit avoir pour compter comme terme. Une façon de rendre cette décision explicite consiste à poser deux questions distinctes, comme le font les consignes d’ACTER (Rigouts Terryn, 2021a) :

• Est-elle spécifique au domaine ? L’unité se rapporte-t-elle au sujet des textes ? Cette dimension s’appelle la spécificité au domaine.
• Est-elle spécifique dans le lexique ? Est-elle connue des seuls spécialistes, ou fait-elle partie du vocabulaire courant ? Cette dimension s’appelle la spécificité lexicale.

Ces deux dimensions permettent de définir différentes étiquettes de termes. La Figure 5figure 5 montre les trois étiquettes du schéma d’ACTER : une unité spécifique sur les deux dimensions est un terme spécifique (Specific Term), une unité spécifique au domaine seulement est un terme commun (Common Term), et une unité spécifique dans le lexique seulement est un terme hors domaine (Out-of-Domain Term).

Les deux réponses dépendent de la personne qui les donne, et la limite du domaine est elle aussi une décision. Quand les textes sur le dressage ont été annotés, les termes d’autres sports équestres, comme gymkhana ou voltige, ont été étiquetés hors domaine, parce que le domaine retenu était le dressage et non l’équitation dans son ensemble (Rigouts Terryn et al., 2019).

Bien connaître un domaine ne règle pas la question non plus. J’ai annoté moi-même les textes sur le dressage, et je connais bien ce sport : je comprenais la terminologie sans effort, mais j’avais plus de mal à distinguer les termes du vocabulaire général, parce que ces termes faisaient désormais partie de mon vocabulaire courant (Rigouts Terryn et al., 2020a).

Deux façons de trancher les cas

Un projet qui a besoin d’une liste de termes doit trancher les cas sur lesquels les annotateurs ne s’accordent pas, comme les frontières d’un terme et les mots courants qui ont un sens spécialisé. Il peut le faire de deux grandes façons.

• Des catégories. Un schéma comme celui d’ACTER garde le désaccord visible en donnant à chaque unité une étiquette : l’une des trois étiquettes de termes ci-dessus, ou celle d’entité nommée. La liste peut ensuite être rendue stricte ou large, selon les étiquettes retenues.
• Une finalité. Un projet peut aussi définir le terme par l’usage prévu de la liste, par exemple tout ce qu’un traducteur ajouterait à sa propre base terminologique termbasebase terminologique terminologyterminologie A database of terminological entries organized by concept, grouping the terms of several languages with metadata such as definitions, domains and usage status.Base de données d'entrées terminologiques organisée par concept, contenant les termes de plusieurs langues et des métadonnées comme des définitions, des domaines et des marques d'usage. avant de traduire des textes semblables. La décision dépend alors des besoins du lecteur plutôt que d’une propriété de l’unité.

Aucune des deux façons ne supprime le désaccord. Toute liste de termes repose sur de tels choix, qu’elle vienne d’une personne ou d’un outil, et deux listes établies avec des choix différents ne peuvent pas simplement être comparées comme une bonne et une mauvaise.

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Mise à jour 6 octobre 2026