Projet 1 · TerminologieProjet 1 · Terminologie

Terms in a specialized text

When you read a text about dressage without knowing the sport, many of its words need no thought: horse, rider, arena, yesterday. Others send you to a dictionary, a termbase termbasebase terminologique terminologyterminologie A database of terminological entries organized by concept, grouping the terms of several languages with metadata such as definitions, domains and usage status.Base de données d'entrées terminologiques organisée par concept, contenant les termes de plusieurs langues et des métadonnées comme des définitions, des domaines et des marques d'usage. or an expert: half-halt, piaffe, flying change, collected canter. A rider needs no dictionary for those: each one names a specific movement or gait in the sport. They are examples of terms, in the sense of the definition below.

A term is a single unit. The word terminology is used in two senses: the set of all the terms of a domain (the terminology of dressage), and the discipline that studies terms and how to record them.

Terms take up a real share of a translator’s time. In studies from the 2000s, translators estimated that they spent roughly 15 to 30% of their working time on terminology, most of it on looking terms up (Champagne, 2004; Gornostay, 2010).Both studies date from before neural machine translation and large language models, and no comparable figures for today’s tools are cited here. The share depends on the translator and on the field: in Champagne’s study it was highest in financial institutions and lowest in language firms, and the participants put it at 40 to 60% for a translator new to the job. Translating a term often takes knowledge of the domain as well as of the two languages. Translators are therefore among the main users of terminological resources such as termbases and glossaries.

Figure 1figure 1 shows four of the movements that dressage terms name.The photographs are from Wikimedia Commons, cropped and resized: the piaffe, the passage and the extended trot by Eponimm, under CC BY 4.0; the canter pirouette by World Dressage Masters, under CC BY 2.0.

Terms are often recorded in termbases, which tend to organize them by concept. In a multilingual termbase, you can then see the terms used for one concept in several languages. The example in Figure 2figure 2, taken from TERMIUM Plus, also shows that the ideal of one term per concept in each language is often not reached in practice: the record suggests three English terms for a single French one.

Terms of several words

In the texts a translator works on, many terms are longer than one word. Flying change names one movement, in which the horse changes its leading leg in the air between two strides of canter, and its meaning does not follow from flying and change looked up separately. Recognizing a term therefore includes deciding where it starts and where it ends: in “the collected canter pirouette”, you might record canter pirouette, collected canter, canter, pirouette, or all four.

Les termes dans un texte spécialisé

Quand vous lisez un texte sur le dressage sans connaître ce sport, beaucoup de ses mots ne vous arrêtent pas : cheval, cavalier, manège, hier. D’autres vous envoient vers un dictionnaire, une base terminologique termbasebase terminologique terminologyterminologie A database of terminological entries organized by concept, grouping the terms of several languages with metadata such as definitions, domains and usage status.Base de données d'entrées terminologiques organisée par concept, contenant les termes de plusieurs langues et des métadonnées comme des définitions, des domaines et des marques d'usage. ou une personne experte : demi-arrêt, piaffer, changement de pied, galop rassemblé. Un cavalier n’a pas besoin de dictionnaire pour ceux-là : chacun désigne un mouvement ou une allure précis de ce sport. Ce sont des exemples de termes, au sens de la définition ci-dessous.

Un terme est une unité. Le mot terminologie s’emploie en deux sens : l’ensemble des termes d’un domaine (la terminologie du dressage), et la discipline qui étudie les termes et la façon de les consigner.

Les termes occupent une part réelle du temps de traduction. Dans des études des années 2000, des traducteurs estimaient consacrer de 15 à 30 % environ de leur temps de travail à la terminologie, surtout à la recherche de termes (Champagne, 2004 ; Gornostay, 2010).Les deux études datent d’avant la traduction automatique neuronale et les grands modèles de langue, et aucun chiffre comparable pour les outils d’aujourd’hui n’est cité ici. Cette part dépend de la personne et du secteur : dans l’étude de Champagne, elle était la plus élevée dans les institutions financières et la plus faible dans les cabinets de traduction, et les participants l’estimaient à 40 à 60 % pour une personne qui débute dans le métier. Traduire un terme demande souvent de connaître le domaine, en plus des deux langues. Les traducteurs comptent donc parmi les principaux utilisateurs de ressources terminologiques comme les bases terminologiques et les glossaires.

La Figure 1figure 1 montre quatre des mouvements que désignent les termes du dressage.Les photographies viennent de Wikimedia Commons, recadrées et redimensionnées : le piaffer, le passage et le trot allongé par Eponimm, sous licence CC BY 4.0 ; la pirouette au galop par World Dressage Masters, sous licence CC BY 2.0.

Les termes sont souvent consignés dans des bases terminologiques, qui tendent à les organiser par concept. Dans une base multilingue, vous voyez alors les termes employés pour un même concept dans plusieurs langues. L’exemple de la Figure 2figure 2, tiré de TERMIUM Plus, montre aussi que l’idéal d’un seul terme par concept dans chaque langue ne se vérifie souvent pas en pratique : la fiche propose trois termes anglais pour un seul terme français.

Les termes de plusieurs mots

Dans les textes sur lesquels travaille une traductrice ou un traducteur, beaucoup de termes dépassent un mot. Changement de pied désigne un seul mouvement, dans lequel le cheval change de pied en l’air entre deux foulées de galop, et son sens ne se déduit pas de changement et de pied cherchés séparément. Reconnaître un terme suppose donc de décider où il commence et où il finit : dans « la pirouette au galop rassemblé », vous pourriez consigner pirouette au galop, galop rassemblé, galop, pirouette, ou les quatre.

How much annotators disagree

Disagreement between the people who annotate the same data is common across NLP tasks. In many cases more than one answer is correct, and even where there is a single correct answer, the disagreement makes it hard to settle on a gold standard gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. (Basile et al., 2021). Term annotation data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. is no exception. In one study, three annotators marked the terms in the same texts, in three languages and three domains, and only a third of the 4,207 terms they found were marked by all three (Figure 3figure 3). More elaborate annotation guidelines raised the agreement between annotators, but two people’s lists still remained far from identical (Rigouts Terryn et al., 2020a). The agreement is measured as an F1 score F1 scorescore F1 evaluationévaluation The harmonic mean of precision and recall: a single number between 0 and 1 that is high only when both are high.Moyenne harmonique de la précision et du rappel : un seul nombre entre 0 et 1, qui n'est élevé que si les deux le sont. (see also the Agreement as an F1 score page, in the Evaluating language technology module) (voir aussi la page L'accord mesuré par le score F1, dans le module L'évaluation des technologies langagières).

Term boundaries

In “the horse moves on in posting trot”, is the term posting trot, trot, posting, or all three? There is no universally correct answer to that question, so this is where annotation guidelines can reduce some of the variation. The guidelines of the ACTER dataset, for instance, answer “all three”: when part of a longer term is a term in its own right, the longer term and the shorter one are both marked. In the dressage texts, posting trot was marked as a whole, and posting and trot were marked as well (Rigouts Terryn, 2021a).

Other annotation schemes keep only the longest unit (Liu et al., 2025). Terms interrupted by other words are another case to settle: in “collected and extended trot”, collected trot is there in meaning but never appears as such in the text. Figure 4figure 4 shows both cases as an annotation tool records them.

Everyday words with a specialized sense

Some terms look like ordinary words; the table below gives three from dressage. A reader who does not know the domain reads straight past them; for a translator, they are exactly the words that need checking.

Named entities

FEI, the international federation for equestrian sports, and Grand Prix, the highest level of dressage test, are proper names. In NLP, something that is referred to by a proper name is called a named entity, and finding named entities in a text is a task of its own, named entity recognition named entity recognition (NER)reconnaissance d'entités nommées (REN) NLPTAL The task of finding the spans of a text that are proper names, and labelling the category, most often a person, a location or an organization.Tâche qui consiste à repérer dans un texte les segments qui sont des noms propres, et à en étiqueter la catégorie, le plus souvent une personne, un lieu ou une organisation. (NER) (see also the A tour of NLP tasks chapter, in the Classical NLP module) (voir aussi le chapitre Tour d'horizon des tâches du TAL, dans le module TAL classique). Term annotation projects differ on what to do with them: some mark named entities with a label of their own, some leave them out, and some treat them like any other term if a translator would need them.

Degree of specialization

Annotators also disagree about how specialized a unit has to be to count as a term. One way to make that decision explicit is to ask two separate questions, as the ACTER guidelines do (Rigouts Terryn, 2021a):

• Is it specific to the domain? Does the unit relate to the subject of the texts? This dimension is called domain specificity.
• Is it specific in the lexicon? Is it known only to specialists, or is it part of everyday vocabulary? This dimension is called lexicon specificity.

Different term labels can be defined from these two dimensions. Figure 5figure 5 shows the three labels of the ACTER scheme: a unit that is specific on both dimensions is a Specific Term, one that is specific to the domain only is a Common Term, and one that is specific in the lexicon only is an Out-of-Domain Term.

Both answers depend on who is asking, and the edge of the domain is a decision too. When the dressage texts were annotated, terms from other equestrian sports, such as gymkhana or voltige (vaulting), were labelled as out of the domain, because the domain was taken to be dressage rather than riding as a whole (Rigouts Terryn et al., 2019).

Knowing a domain well does not settle it either. I annotated the dressage texts myself, and I know the sport well: I understood the terminology without effort, but found it harder to tell terms from general vocabulary, because the terms had become part of my own everyday vocabulary (Rigouts Terryn et al., 2020a).

Two ways of settling the cases

A project that needs a list of terms has to settle the cases annotators disagree about, such as term boundaries and everyday words with a specialized sense. It can do so in two broad ways.

• Categories. A scheme such as ACTER’s keeps the disagreement visible by giving each unit a label: one of the three term labels above, or Named Entity. A list can then be made strict or broad afterwards, by choosing which labels count.
• A purpose. A project can also define a term by what the list is for, for instance everything a translator would add to their own termbase termbasebase terminologique terminologyterminologie A database of terminological entries organized by concept, grouping the terms of several languages with metadata such as definitions, domains and usage status.Base de données d'entrées terminologiques organisée par concept, contenant les termes de plusieurs langues et des métadonnées comme des définitions, des domaines et des marques d'usage. before translating similar texts. The decision then depends on the reader’s needs rather than on a property of the unit.

Neither way removes the disagreement. Every list of terms depends on such choices, whether a person or a tool made it, and two lists made with different choices cannot simply be compared as right and wrong.

L’ampleur du désaccord entre annotateurs

Le désaccord entre les personnes qui annotent les mêmes données est courant dans les tâches de TAL. Dans bien des cas, plus d’une réponse est correcte, et même lorsqu’il n’existe qu’une réponse correcte, le désaccord rend difficile l’établissement d’une référence gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. (Basile et al., 2021). L’annotation data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. de termes ne fait pas exception. Dans une étude, trois annotateurs ont repéré les termes des mêmes textes, dans trois langues et trois domaines, et seul un tiers des 4 207 termes trouvés avait été retenu par les trois (Figure 3figure 3). Des consignes d’annotation plus détaillées ont fait monter l’accord entre annotateurs, mais les listes de deux personnes restaient loin d’être identiques (Rigouts Terryn et al., 2020a). L’accord se mesure par un score F1 F1 scorescore F1 evaluationévaluation The harmonic mean of precision and recall: a single number between 0 and 1 that is high only when both are high.Moyenne harmonique de la précision et du rappel : un seul nombre entre 0 et 1, qui n'est élevé que si les deux le sont. (see also the Agreement as an F1 score page, in the Evaluating language technology module) (voir aussi la page L'accord mesuré par le score F1, dans le module L'évaluation des technologies langagières).

Les frontières d’un terme

Dans « le cheval repart au trot enlevé », le terme est-il trot enlevé, trot, enlevé, ou les trois ? Cette question n’a pas de réponse universellement correcte, et c’est donc là que des consignes d’annotation peuvent réduire une partie de la variation. Les consignes du jeu de données ACTER, par exemple, répondent « les trois » : quand une partie d’un terme plus long est elle-même un terme, le terme long et le terme court sont tous deux annotés. Dans les textes anglais sur le dressage, posting trot (trot enlevé) a été annoté en entier, et posting et trot l’ont été aussi (Rigouts Terryn, 2021a).

D’autres schémas d’annotation ne gardent que l’unité la plus longue (Liu et al., 2025). Les termes interrompus par d’autres mots sont un autre cas à trancher : dans « trot rassemblé et allongé », trot allongé est là par le sens, mais n’apparaît jamais tel quel dans le texte. La Figure 4figure 4 montre les deux cas tels qu’un outil d’annotation les enregistre.

Les mots courants qui ont un sens spécialisé

Certains termes ressemblent à des mots ordinaires ; le tableau ci-dessous en donne trois, tirés du dressage. Une personne qui ne connaît pas le domaine ne s’y arrête pas ; pour un traducteur, ce sont justement les mots à vérifier.

Les entités nommées

FEI, la fédération internationale des sports équestres, et Grand Prix, le niveau le plus élevé des reprises de dressage, sont des noms propres. En TAL, ce que désigne un nom propre s’appelle une entité nommée, et repérer les entités nommées d’un texte est une tâche à part entière, la reconnaissance d’entités nommées named entity recognition (NER)reconnaissance d'entités nommées (REN) NLPTAL The task of finding the spans of a text that are proper names, and labelling the category, most often a person, a location or an organization.Tâche qui consiste à repérer dans un texte les segments qui sont des noms propres, et à en étiqueter la catégorie, le plus souvent une personne, un lieu ou une organisation. (REN) (see also the A tour of NLP tasks chapter, in the Classical NLP module) (voir aussi le chapitre Tour d'horizon des tâches du TAL, dans le module TAL classique). Les projets d’annotation de termes ne les traitent pas tous de la même façon : certains donnent aux entités nommées une étiquette à part, d’autres les écartent, et d’autres encore les traitent comme n’importe quel terme si un traducteur en a besoin.

Le degré de spécialisation

Les annotateurs ne s’accordent pas non plus sur le degré de spécialisation qu’une unité doit avoir pour compter comme terme. Une façon de rendre cette décision explicite consiste à poser deux questions distinctes, comme le font les consignes d’ACTER (Rigouts Terryn, 2021a) :

• Est-elle spécifique au domaine ? L’unité se rapporte-t-elle au sujet des textes ? Cette dimension s’appelle la spécificité au domaine.
• Est-elle spécifique dans le lexique ? Est-elle connue des seuls spécialistes, ou fait-elle partie du vocabulaire courant ? Cette dimension s’appelle la spécificité lexicale.

Ces deux dimensions permettent de définir différentes étiquettes de termes. La Figure 5figure 5 montre les trois étiquettes du schéma d’ACTER : une unité spécifique sur les deux dimensions est un terme spécifique (Specific Term), une unité spécifique au domaine seulement est un terme commun (Common Term), et une unité spécifique dans le lexique seulement est un terme hors domaine (Out-of-Domain Term).

Les deux réponses dépendent de la personne qui les donne, et la limite du domaine est elle aussi une décision. Quand les textes sur le dressage ont été annotés, les termes d’autres sports équestres, comme gymkhana ou voltige, ont été étiquetés hors domaine, parce que le domaine retenu était le dressage et non l’équitation dans son ensemble (Rigouts Terryn et al., 2019).

Bien connaître un domaine ne règle pas la question non plus. J’ai annoté moi-même les textes sur le dressage, et je connais bien ce sport : je comprenais la terminologie sans effort, mais j’avais plus de mal à distinguer les termes du vocabulaire général, parce que ces termes faisaient désormais partie de mon vocabulaire courant (Rigouts Terryn et al., 2020a).

Deux façons de trancher les cas

Un projet qui a besoin d’une liste de termes doit trancher les cas sur lesquels les annotateurs ne s’accordent pas, comme les frontières d’un terme et les mots courants qui ont un sens spécialisé. Il peut le faire de deux grandes façons.

• Des catégories. Un schéma comme celui d’ACTER garde le désaccord visible en donnant à chaque unité une étiquette : l’une des trois étiquettes de termes ci-dessus, ou celle d’entité nommée. La liste peut ensuite être rendue stricte ou large, selon les étiquettes retenues.
• Une finalité. Un projet peut aussi définir le terme par l’usage prévu de la liste, par exemple tout ce qu’un traducteur ajouterait à sa propre base terminologique termbasebase terminologique terminologyterminologie A database of terminological entries organized by concept, grouping the terms of several languages with metadata such as definitions, domains and usage status.Base de données d'entrées terminologiques organisée par concept, contenant les termes de plusieurs langues et des métadonnées comme des définitions, des domaines et des marques d'usage. avant de traduire des textes semblables. La décision dépend alors des besoins du lecteur plutôt que d’une propriété de l’unité.

Aucune des deux façons ne supprime le désaccord. Toute liste de termes repose sur de tels choix, qu’elle vienne d’une personne ou d’un outil, et deux listes établies avec des choix différents ne peuvent pas simplement être comparées comme une bonne et une mauvaise.

Why extract terms

A list of the terms in a set of texts is useful in several kinds of work, for instance:

• for a translator, the terms in a client’s earlier documents show the terminology that client uses;
• the terms in a text you are about to translate can be looked up and settled in one go before you start, where you would otherwise stop to research each term as you come to it;
• outside translation, the terms in a company’s manuals are the starting point for a glossary for new staff, and the terms in a book for its index.

Marking those terms by hand is slow, and the result depends on the person doing it. Termbases do not solve the problem either: new terms appear all the time, and a termbase termbasebase terminologique terminologyterminologie A database of terminological entries organized by concept, grouping the terms of several languages with metadata such as definitions, domains and usage status.Base de données d'entrées terminologiques organisée par concept, contenant les termes de plusieurs langues et des métadonnées comme des définitions, des domaines et des marques d'usage. for your domain and your language pair may simply not exist. Many translators therefore build their own lists of terms from the texts they work on (Lefever & Rigouts Terryn, 2024).

From a text to candidate terms

Having a program find the terms in a text, or in a collection of texts on one subject, is called automatic term extraction.

No method is flawless, which is why the program’s output is called a list of candidates (Lefever & Rigouts Terryn, 2024).

The input is usually a specialized corpus corpuscorpus corporacorpus A collection of written texts, speech recordings or transcribed language assembled for analysis or use in language technology (plural: corpora).Ensemble de textes écrits, d'enregistrements de parole ou de langue transcrite réuni pour l'analyse ou pour les technologies langagières. , a collection of texts about one domain. Some methods need a large one, because they rely on how often words occur; others work on a single document or even a single sentence (Rigouts Terryn et al., 2022a).

Two forms of output

A term extractor can return its candidate terms in two forms (Figure 6figure 6):

• A list. Each candidate appears once, however often it occurs, usually ranked by a score that estimates how likely it is to be a term. The person who validates the list decides where to stop reading it (Rigouts Terryn et al., 2019).
• The terms in the text. Every occurrence is marked where it appears, the way a person highlights terms in a document (Lefever & Rigouts Terryn, 2024). The same word can then be marked in one sentence and left unmarked in another, where it has its everyday sense (Rigouts Terryn, 2021a).

The two forms are also checked differently: a list is compared with another list, and marked text occurrence by occurrence (see also the Matching rules page, in the Evaluating language technology module) (voir aussi la page Les règles de correspondance, dans le module L'évaluation des technologies langagières).

Making the notion of a term measurable

Finding all the terms in a long text is slow and repetitive, which makes it a typical task to hand over to a computer. Before large language models large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. , however, you could not simply tell a program to find the terms in a text. A program works with what it can count or check in the text itself, and the definition of a term, a word or group of words that names a concept in a specialized domain, gives it nothing of that kind.

The challenge was therefore to translate the human notion of a term into characteristics that a program can measure. Each method in this chapter is one answer to that challenge, and each answer is imperfect in its own way.

Three families of methods

Methods for term extraction fall into three broad families, but the older ones are still in use: tools built on rules remain competitive with machine learning machine learning (ML)apprentissage automatique machine learningapprentissage automatique An approach to artificial intelligence in which a model is trained on data or experience so that its adjustable parameters come to reflect patterns relevant to a task.Approche de l'intelligence artificielle dans laquelle un modèle est entraîné sur des données ou sur l'expérience, de sorte que ses paramètres ajustables en viennent à refléter des régularités pertinentes pour une tâche. (Lefever & Rigouts Terryn, 2024). The table below sets the three side by side.

Pourquoi extraire des termes

La liste des termes d’un ensemble de textes est utile dans plusieurs types de travail, par exemple :

• pour un traducteur, les termes des documents antérieurs d’un client montrent la terminologie que ce client emploie ;
• les termes d’un texte que vous allez traduire peuvent être cherchés et fixés en une fois avant de commencer, au lieu de vous arrêter pour chercher chaque terme au moment où vous le rencontrez ;
• en dehors de la traduction, les termes des manuels d’une entreprise sont le point de départ d’un glossaire pour le nouveau personnel, et les termes d’un livre, celui de son index.

Repérer ces termes à la main est lent, et le résultat dépend de la personne qui s’en charge. Les bases terminologiques ne règlent pas le problème non plus : de nouveaux termes apparaissent sans cesse, et une base terminologique termbasebase terminologique terminologyterminologie A database of terminological entries organized by concept, grouping the terms of several languages with metadata such as definitions, domains and usage status.Base de données d'entrées terminologiques organisée par concept, contenant les termes de plusieurs langues et des métadonnées comme des définitions, des domaines et des marques d'usage. pour votre domaine et votre paire de langues n’existe peut-être tout simplement pas. Beaucoup de traducteurs construisent donc leurs propres listes de termes à partir des textes sur lesquels ils travaillent (Lefever et Rigouts Terryn, 2024).

Du texte aux candidats terminologiques

Faire repérer par un programme les termes d’un texte, ou d’un ensemble de textes sur un même sujet, s’appelle l’extraction automatique de termes.

Aucune méthode n’est sans défaut, et c’est pourquoi le résultat du programme s’appelle une liste de candidats (Lefever et Rigouts Terryn, 2024).

L’entrée est le plus souvent un corpus corpuscorpus corporacorpus A collection of written texts, speech recordings or transcribed language assembled for analysis or use in language technology (plural: corpora).Ensemble de textes écrits, d'enregistrements de parole ou de langue transcrite réuni pour l'analyse ou pour les technologies langagières. spécialisé, c’est-à-dire un ensemble de textes sur un même domaine. Certaines méthodes en demandent un grand, parce qu’elles reposent sur la fréquence des mots ; d’autres fonctionnent sur un seul document, voire une seule phrase (Rigouts Terryn et al., 2022a).

Deux formes de résultat

Un extracteur de termes peut renvoyer ses candidats terminologiques sous deux formes (Figure 6figure 6) :

• Une liste. Chaque candidat y figure une fois, quel que soit son nombre d’occurrences, le plus souvent classé selon un score qui estime la probabilité qu’il soit un terme. La personne qui valide la liste décide où arrêter sa lecture (Rigouts Terryn et al., 2019).
• Les termes dans le texte. Chaque occurrence est marquée là où elle apparaît, comme lorsqu’on surligne les termes d’un document (Lefever et Rigouts Terryn, 2024). Le même mot peut alors être marqué dans une phrase et ne pas l’être dans une autre, où il a son sens courant (Rigouts Terryn, 2021a).

Les deux formes ne se vérifient pas non plus de la même façon : une liste se compare à une autre liste, et un texte marqué se compare occurrence par occurrence (see also the Matching rules page, in the Evaluating language technology module) (voir aussi la page Les règles de correspondance, dans le module L'évaluation des technologies langagières).

Rendre mesurable la notion de terme

Repérer tous les termes d’un long texte est lent et répétitif, ce qui en fait une tâche typique à confier à un ordinateur. Avant les grands modèles de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. (GML), cependant, il n’était pas possible de simplement demander à un programme de trouver les termes d’un texte. Un programme travaille avec ce qu’il peut compter ou vérifier dans le texte lui-même, et la définition du terme, un mot ou un groupe de mots qui désigne un concept dans un domaine spécialisé, ne lui donne rien de tel.

Le défi consistait donc à traduire la notion humaine de terme en caractéristiques qu’un programme peut mesurer. Chaque méthode de ce chapitre est une réponse à ce défi, et chaque réponse est imparfaite à sa manière.

Trois familles de méthodes

Les méthodes d’extraction de termes se répartissent en trois grandes familles, mais les plus anciennes servent toujours : les outils à base de règles restent compétitifs face à l’apprentissage automatique machine learning (ML)apprentissage automatique machine learningapprentissage automatique An approach to artificial intelligence in which a model is trained on data or experience so that its adjustable parameters come to reflect patterns relevant to a task.Approche de l'intelligence artificielle dans laquelle un modèle est entraîné sur des données ou sur l'expérience, de sorte que ses paramètres ajustables en viennent à refléter des régularités pertinentes pour une tâche. (Lefever et Rigouts Terryn, 2024). Le tableau ci-dessous présente les trois côte à côte.

Two methods with opposite weaknesses

Linguistic and statistical methods fail in different ways, as the table below sets out, and each does well where the other fails.

A hybrid extractor combines the two.

The two steps

A hybrid extractor works in two steps (Figure 13figure 13).

1. A linguistic step collects candidates. The text is split into words, each word gets its part of speech part-of-speech tagging (POS tagging)étiquetage morphosyntaxique NLPTAL The task of taking a sequence of tokenized words and a tagset, and assigning to each word one tag naming its grammatical class, such as noun or verb.Tâche qui consiste à prendre une suite de mots segmentés et un jeu d'étiquettes, puis à attribuer à chaque mot une étiquette nommant sa classe grammaticale, par exemple nom ou verbe. , and every sequence that matches a pattern typical of terms, such as an adjective followed by a noun, becomes a candidate (see also the Linguistic methods: part-of-speech patterns page, in the Classical NLP module) (voir aussi la page Méthodes linguistiques : les patrons morphosyntaxiques, dans le module TAL classique).
2. A statistical step ranks them. Each candidate gets a score for termhood termhooddegré de termitude terminologyterminologie The degree to which a unit of language is related to the concepts of a specialized domain.Degré auquel une unité de la langue se rattache aux concepts d'un domaine spécialisé. , how specific it is to the domain compared with a general corpus corpuscorpus corporacorpus A collection of written texts, speech recordings or transcribed language assembled for analysis or use in language technology (plural: corpora).Ensemble de textes écrits, d'enregistrements de parole ou de langue transcrite réuni pour l'analyse ou pour les technologies langagières. , and candidates of several words often also for unithood unithooddegré de figement terminologyterminologie The degree to which a sequence of words forms a stable unit.Degré auquel une suite de mots forme une unité stable. , how firmly their words belong together (Kageura & Umino, 1996) (see also the Statistical methods: termhood and unithood page, in the Classical NLP module) (voir aussi la page Méthodes statistiques : degré de termitude et degré de figement, dans le module TAL classique).

The result is a list of candidates ordered from most to least likely to be a term. Nothing in it says where the terms stop: the person who uses the list chooses a cut-off, reads the top of it, or sets a threshold on the score (Rigouts Terryn et al., 2019). TermoStat is a tool of this kind (see also the TermoStat: a hybrid extractor page, in the Classical NLP module) (voir aussi la page TermoStat : un extracteur hybride, dans le module TAL classique).

Strengths and limits

The table below sets the strengths of a hybrid extractor beside its limits.

On the size of the corpus, TermoStat’s guide recommends at least 50,000 words and warns that under 10,000 few candidates come out as statistically significant.TermoStat, Guide de l’utilisateur, version 4.0 beta, read 30 September 2026. The Keywords function of Sketch Engine ranks words by the same kind of comparison and has the same limit (see also the Going further page, in the Corpus analysis module) (voir aussi la page Pour aller plus loin, dans le module L'analyse de corpus).

Deux méthodes aux faiblesses opposées

Les méthodes linguistiques et statistiques échouent de façons différentes, comme le montre le tableau ci-dessous, et chacune réussit là où l’autre échoue.

Un extracteur hybride combine les deux.

Les deux étapes

Un extracteur hybride procède en deux étapes (Figure 13figure 13).

1. Une étape linguistique recueille les candidats. Le texte est découpé en mots, chaque mot reçoit sa partie du discours part-of-speech tagging (POS tagging)étiquetage morphosyntaxique NLPTAL The task of taking a sequence of tokenized words and a tagset, and assigning to each word one tag naming its grammatical class, such as noun or verb.Tâche qui consiste à prendre une suite de mots segmentés et un jeu d'étiquettes, puis à attribuer à chaque mot une étiquette nommant sa classe grammaticale, par exemple nom ou verbe. , et toute suite qui correspond à un patron typique des termes, par exemple un nom suivi d’un adjectif, devient un candidat (see also the Linguistic methods: part-of-speech patterns page, in the Classical NLP module) (voir aussi la page Méthodes linguistiques : les patrons morphosyntaxiques, dans le module TAL classique).
2. Une étape statistique les classe. Chaque candidat reçoit un score pour son degré de termitude termhooddegré de termitude terminologyterminologie The degree to which a unit of language is related to the concepts of a specialized domain.Degré auquel une unité de la langue se rattache aux concepts d'un domaine spécialisé. , c’est-à-dire sa spécificité au domaine par rapport à un corpus corpuscorpus corporacorpus A collection of written texts, speech recordings or transcribed language assembled for analysis or use in language technology (plural: corpora).Ensemble de textes écrits, d'enregistrements de parole ou de langue transcrite réuni pour l'analyse ou pour les technologies langagières. général, et les candidats de plusieurs mots en reçoivent souvent un aussi pour leur degré de figement unithooddegré de figement terminologyterminologie The degree to which a sequence of words forms a stable unit.Degré auquel une suite de mots forme une unité stable. , c’est-à-dire la solidité du lien entre leurs mots (Kageura et Umino, 1996) (see also the Statistical methods: termhood and unithood page, in the Classical NLP module) (voir aussi la page Méthodes statistiques : degré de termitude et degré de figement, dans le module TAL classique).

Le résultat est une liste de candidats classés du plus probable au moins probable comme terme. Rien n’y indique où les termes s’arrêtent : la personne qui utilise la liste choisit un seuil, en lit le début, ou fixe un score minimal (Rigouts Terryn et al., 2019). TermoStat est un outil de ce type (see also the TermoStat: a hybrid extractor page, in the Classical NLP module) (voir aussi la page TermoStat : un extracteur hybride, dans le module TAL classique).

Les forces et les limites

Le tableau ci-dessous met les forces d’un extracteur hybride en regard de ses limites.

Sur la taille du corpus, le guide de TermoStat recommande au moins 50 000 mots et prévient qu’en dessous de 10 000, peu de candidats ressortent comme statistiquement significatifs.TermoStat, Guide de l’utilisateur, version 4.0 bêta, consulté le 30 septembre 2026. La fonction Keywords de Sketch Engine classe les mots selon le même type de comparaison et a la même limite (see also the Going further page, in the Corpus analysis module) (voir aussi la page Pour aller plus loin, dans le module L'analyse de corpus).

Origin and method

TermoStat, developed by Patrick Drouin at the Université de Montréal, is a hybrid term extractor, free for academic use.TermoStat runs in the browser at termostat.ling.umontreal.ca, in English or French, and asks for a free account. The method behind it compares a specialized corpus corpuscorpus corporacorpus A collection of written texts, speech recordings or transcribed language assembled for analysis or use in language technology (plural: corpora).Ensemble de textes écrits, d'enregistrements de parole ou de langue transcrite réuni pour l'analyse ou pour les technologies langagières. with a reference corpus of non-technical text; in the original study, 13,746 articles from The Gazette, a Montreal newspaper, 7.4 million words in all. It keeps the nouns and adjectives that occur significantly more often in the specialized corpus than the comparison predicts, and builds the candidate terms candidate termcandidat terminologique NLPTAL A unit that a term extraction program proposes as a possible term, before a person has validated it.Unité qu'un programme d'extraction automatique de termes propose comme terme possible, avant qu'une personne ne l'ait validée. around those words, which cuts down the number of candidates that are not terms (Drouin, 2003).

Settings

Running TermoStat takes three settingsTermoStat, Guide de l’utilisateur, version 4.0 beta, read 30 September 2026; the guide is in the tool’s Help menu, behind the login. (Figure 14figure 14):

• a corpus, which can be one file or many separate files, in plain text plain texttexte brut text encodingencodage du texte Text represented as a sequence of characters alone, with no formatting or layout of its own. A plain-text file opens in any text editor, whatever produced it, which is why interchange formats are written this way: markup languages record structure inside plain text, by writing that structure as characters in the text itself.Texte représenté par la seule suite de ses caractères, sans mise en forme ni mise en page propre. Un fichier en texte brut s'ouvre dans n'importe quel éditeur de texte, quel que soit le logiciel qui l'a produit, ce qui explique que les formats d'échange s'écrivent ainsi : les langages de balisage consignent la structure à l'intérieur du texte brut, en l'écrivant sous forme de caractères dans le texte lui-même. , PDF, Word or a few other formats;
• its language, one of eight;
• the parts of speech to extract, among nouns, noun phrases, adjectives, verbs and adverbs.

The ranked list and its scores

TermoStat returns a list of candidates ranked by specificity (Figure 15figure 15). Each row gives the candidate, the forms it takes in the corpus, its grammatical pattern, its frequency and its scores.

The first score, Spec, ranks the list (Drouin et al., 2020). The other columns measure the same comparison in other ways, as the table below sets out.

Term bank badges

In TermoStat’s list of results, a badge beside a candidate names a term bank that publishes a definition for it, and opening it shows the bank’s definitions with their subject fields (Figure 16figure 16). When a bank has several records, the tool orders them by how well they fit the corpus. Its own guide calls that order a hint and not a verdict, right about two times in three: for cheval, the records shown are a racquet-sports move and a gymnastics apparatus.

Validating and exporting

In the first column of TermoStat’s list of results, every candidate can be accepted or rejected, which is the validation step done inside the tool. The sentences a candidate occurs in are the quickest check on a doubtful one (Figure 17figure 17): they show whether the word always names a concept of the domain, or also turns up in its everyday sense. Other tabs give its collocates, the grammatical patterns of all the candidates, and a word cloud.

The list can be downloaded in two formats, which keep different parts of the result. The spreadsheet (TSV) has every column of the list, one candidate per row, and is the file to work from when you want to sort, filter or count; the first twenty rows are below.

rank	lemma	variants	pos	freq	spec	spec_beta	chi2	weirdness	logodd	ll	dispersion	validation
1	cheval	cheval|chevaux	Common_Noun	754	157.872	157.872	25579.0085	579.9283	6.3871	5099.8568	1	
2	épaule	épaule|épaules|epaule	Common_Noun	223	82.1229	73.9106	6899.0167	224.6315	5.4304	1408.7496	0.9	
3	cavalier	cavalier|cavaliers	Common_Noun	155	71.6309	71.6309	5238.2604	511.9848	6.2845	1045.3317	1	
4	galop	galop|galops	Common_Noun	134	68.0742	61.2668	4726.1266	1218.4255	7.2376	939.7621	0.9	
5	changement de pied	changement de pied|changements de pied|changements de pieds	Common_Noun Preposition Common_Noun	102	59.8532	35.9119	3644.8102	1859.227	7.8126	725.981	0.6	
6	hanche	hanches|hanche	Common_Noun	105	59.2659	59.2659	3574.614	546.6798	6.3752	712.513	1	
7	rêne	rêne|rênes	Common_Noun	84	51.7897	41.4369	2722.9489	306.8627	5.7733	548.45	0.8001	
8	appuyer	appuyer|appuyez|appuie	Verb	121	49.7402	39.7922	2520.7599	53.712	3.9879	606.8733	0.8	
9	exercice	exercice|exercices	Common_Noun	128	48.4306	48.4306	2390.8009	42.7256	3.7578	605.5295	1	
10	trot	trot	Common_Noun	66	48.1427	43.3718	2345.2454	1209.4001	7.3793	466.663	0.9009	
11	pli	pli	Common_Noun	64	47.4074	28.4776	2273.0552	1173.2986	7.3487	452.2695	0.6007	
12	équitation	équitation|equitation|équitations	Common_Noun	66	47.4004	37.9582	2273.4465	604.7001	6.532	452.4861	0.8008	
13	jambe	jambe|jambes	Common_Noun	98	47.322	42.5898	2277.1156	70.0794	4.2562	521.6902	0.9	
14	postérieur	postérieurs|postérieur	Common_Noun	57	44.7389	44.7389	2020.4001	1046.9434	7.2337	401.908	1	
15	équestre	équestre|équestres	Adjective	55	42.002	25.2768	1779.5304	288.812	5.7319	358.6113	0.6018	
16	extérieur	extérieure|extérieur|extérieures	Adjective	98	39.235	35.3115	1565.0385	32.1986	3.4731	426.6313	0.9	
17	cercle	cercle|cercles	Common_Noun	69	38.2647	34.4612	1482.1946	57.4342	4.0562	351.8606	0.9006	
18	changement	changement|changements	Common_Noun	146	37.37	29.896	1424.4873	16.0816	2.7783	487.0365	0.8	
19	droit	droite|droit|droits	Adjective	98	36.016	32.4144	1318.6281	24.6486	3.2049	389.4598	0.9	
20	rectitude	rectitude	Common_Noun	36	35.5517	21.8217	1262.6064	667.8777	6.7788	251.0434	0.6138	

The TBX TermBase eXchange (TBX)TermBase eXchange (TBX) exchange formatsformats d'échange The XML-based standard (ISO 30042) for exchanging termbases: each concept entry can gather the terms of several languages plus rich metadata such as definitions, part of speech, domain and usage notes.Norme fondée sur XML (ISO 30042) pour échanger des bases terminologiques : chaque entrée conceptuelle peut contenir les termes de plusieurs langues et des métadonnées riches comme des définitions, la partie du discours, le domaine et des notes d'usage. file keeps only the terms, their forms and their part of speech, one entry per candidate, in the exchange format interchange formatformat d'échange exchange formatsformats d'échange A documented way of organizing and representing data so that it can be transferred between different systems or applications. In translation technology, TMX is primarily used to exchange translation-memory data, TBX to exchange terminological data, and XLIFF to move localizable content, translations, and related workflow information. A standardized format facilitates interoperability, but successful exchange may still depend on the versions, optional features, and metadata supported by each tool.Manière documentée d'organiser et de représenter des données afin qu'elles puissent être transférées entre différents systèmes ou applications. En technologies de la traduction, TMX sert principalement à échanger des données de mémoire de traduction, TBX à échanger des données terminologiques, et XLIFF à transporter du contenu localisable, ses traductions et les informations de flux de travail associées. Un format normalisé facilite l'interopérabilité, mais la réussite de l'échange peut dépendre des versions, des fonctionnalités facultatives et des métadonnées que prend en charge chaque outil. a termbase termbasebase terminologique terminologyterminologie A database of terminological entries organized by concept, grouping the terms of several languages with metadata such as definitions, domains and usage status.Base de données d'entrées terminologiques organisée par concept, contenant les termes de plusieurs langues et des métadonnées comme des définitions, des domaines et des marques d'usage. can import (see also the TBX: exchanging termbases page, in the Exchange formats in translation module) (voir aussi la page TBX : échanger des bases terminologiques, dans le module Les formats d'échange en traduction). The first five entries are below. The export declares the current version of the standard in its namespace namespaceespace de noms XMLXML A name, written as a URI, that says which vocabulary an element or attribute belongs to.Nom, écrit sous la forme d'un URI, qui indique à quel vocabulaire appartient un élément ou un attribut. but keeps the older element elementélément XMLXML The building block of an XML document: an opening tag, the content it delimits and a closing tag, or a single empty-element tag when there is no content.Unité de base d'un document XML : une balise ouvrante, le contenu qu'elle délimite et une balise fermante, ou une seule balise d'élément vide quand il n'y a pas de contenu. name termEntry, which that version calls conceptEntry.

<?xml version="1.0" encoding="UTF-8"?>
<tbx type="TBX-Basic" style="dca" xml:lang="fr" xmlns="urn:iso:std:iso:30042:ed-2">
  <tbxHeader>
    <fileDesc>
      <titleStmt><title>Termostat export</title></titleStmt>
    </fileDesc>
  </tbxHeader>
  <text>
    <body>
      <!-- Extract: the first 5 of the 1,155 entries TermoStat exported for the dressage corpus (2026-09-30). -->
      <termEntry xml:id="te1">
        <langSec xml:lang="fr">
          <termSec>
            <term>cheval</term>
            <termNote type="partOfSpeech">Common_Noun</termNote>
          </termSec>
          <termSec>
            <term>chevaux</term>
            <termNote type="partOfSpeech">Common_Noun</termNote>
          </termSec>
        </langSec>
      </termEntry>
      <termEntry xml:id="te2">
        <langSec xml:lang="fr">
          <termSec>
            <term>épaule</term>
            <termNote type="partOfSpeech">Common_Noun</termNote>
          </termSec>
          <termSec>
            <term>épaules</term>
            <termNote type="partOfSpeech">Common_Noun</termNote>
          </termSec>
          <termSec>
            <term>epaule</term>
            <termNote type="partOfSpeech">Common_Noun</termNote>
          </termSec>
        </langSec>
      </termEntry>
      <termEntry xml:id="te3">
        <langSec xml:lang="fr">
          <termSec>
            <term>cavalier</term>
            <termNote type="partOfSpeech">Common_Noun</termNote>
          </termSec>
          <termSec>
            <term>cavaliers</term>
            <termNote type="partOfSpeech">Common_Noun</termNote>
          </termSec>
        </langSec>
      </termEntry>
      <termEntry xml:id="te4">
        <langSec xml:lang="fr">
          <termSec>
            <term>galop</term>
            <termNote type="partOfSpeech">Common_Noun</termNote>
          </termSec>
          <termSec>
            <term>galops</term>
            <termNote type="partOfSpeech">Common_Noun</termNote>
          </termSec>
        </langSec>
      </termEntry>
      <termEntry xml:id="te5">
        <langSec xml:lang="fr">
          <termSec>
            <term>changement de pied</term>
            <termNote type="partOfSpeech">Common_Noun Preposition Common_Noun</termNote>
          </termSec>
          <termSec>
            <term>changements de pied</term>
            <termNote type="partOfSpeech">Common_Noun Preposition Common_Noun</termNote>
          </termSec>
          <termSec>
            <term>changements de pieds</term>
            <termNote type="partOfSpeech">Common_Noun Preposition Common_Noun</termNote>
          </termSec>
        </langSec>
      </termEntry>
    </body>
  </text>
</tbx>

L’origine et la méthode

TermoStat, conçu par Patrick Drouin à l’Université de Montréal, est un extracteur de termes hybride, gratuit pour l’usage universitaire.TermoStat s’utilise dans le navigateur à l’adresse termostat.ling.umontreal.ca, en anglais ou en français, et demande un compte gratuit. Sa méthode compare un corpus corpuscorpus corporacorpus A collection of written texts, speech recordings or transcribed language assembled for analysis or use in language technology (plural: corpora).Ensemble de textes écrits, d'enregistrements de parole ou de langue transcrite réuni pour l'analyse ou pour les technologies langagières. spécialisé à un corpus de référence de textes non techniques ; dans l’étude d’origine, 13 746 articles de The Gazette, un quotidien montréalais, soit 7,4 millions de mots. Elle retient les noms et les adjectifs nettement plus fréquents dans le corpus spécialisé que ne le prédit la comparaison, et construit les candidats terminologiques candidate termcandidat terminologique NLPTAL A unit that a term extraction program proposes as a possible term, before a person has validated it.Unité qu'un programme d'extraction automatique de termes propose comme terme possible, avant qu'une personne ne l'ait validée. autour de ces mots, ce qui réduit le nombre de candidats qui ne sont pas des termes (Drouin, 2003).

Les réglages

Lancer TermoStat demande trois réglagesTermoStat, Guide de l’utilisateur, version 4.0 bêta, consulté le 30 septembre 2026 ; le guide se trouve dans le menu Aide de l’outil, après connexion. (Figure 14figure 14) :

• un corpus, qui peut être un seul fichier ou plusieurs fichiers distincts, en texte brut plain texttexte brut text encodingencodage du texte Text represented as a sequence of characters alone, with no formatting or layout of its own. A plain-text file opens in any text editor, whatever produced it, which is why interchange formats are written this way: markup languages record structure inside plain text, by writing that structure as characters in the text itself.Texte représenté par la seule suite de ses caractères, sans mise en forme ni mise en page propre. Un fichier en texte brut s'ouvre dans n'importe quel éditeur de texte, quel que soit le logiciel qui l'a produit, ce qui explique que les formats d'échange s'écrivent ainsi : les langages de balisage consignent la structure à l'intérieur du texte brut, en l'écrivant sous forme de caractères dans le texte lui-même. , en PDF, en Word ou dans quelques autres formats ;
• sa langue, parmi huit ;
• les parties du discours à extraire, parmi les noms, les syntagmes nominaux, les adjectifs, les verbes et les adverbes.

La liste classée et ses scores

TermoStat renvoie une liste de candidats classés par spécificité (Figure 15figure 15). Chaque ligne donne le candidat, les formes qu’il prend dans le corpus, son patron grammatical, sa fréquence et ses scores.

Le premier score, Spec, classe la liste (Drouin et al., 2020). Les autres colonnes mesurent la même comparaison d’autres façons, comme le présente le tableau ci-dessous.

Les badges de banques terminologiques

Dans la liste de résultats de TermoStat, un badge à côté d’un candidat nomme une banque terminologique qui en publie une définition, et l’ouvrir affiche les définitions de la banque avec leurs domaines (Figure 16figure 16). Quand une banque a plusieurs fiches, l’outil les ordonne selon leur proximité avec le corpus. Son propre guide présente cet ordre comme un indice et non comme un verdict, juste environ deux fois sur trois : pour cheval, les fiches affichées concernent un déplacement des sports de raquette et un agrès de gymnastique.

La validation et l’exportation

Dans la première colonne de la liste de résultats de TermoStat, chaque candidat peut être accepté ou rejeté : c’est l’étape de validation, faite dans l’outil même. Les phrases où un candidat apparaît sont le moyen le plus rapide de vérifier un cas douteux (Figure 17figure 17) : elles montrent si le mot désigne toujours un concept du domaine, ou s’il apparaît aussi dans son sens courant. D’autres onglets donnent ses cooccurrents, les patrons grammaticaux de tous les candidats et un nuage de mots.

La liste se télécharge dans deux formats, qui ne conservent pas les mêmes parties du résultat. Le tableur (TSV) contient toutes les colonnes de la liste, un candidat par ligne, et c’est le fichier à utiliser pour trier, filtrer ou compter ; les vingt premières lignes figurent ci-dessous.

rank	lemma	variants	pos	freq	spec	spec_beta	chi2	weirdness	logodd	ll	dispersion	validation
1	cheval	cheval|chevaux	Common_Noun	754	157.872	157.872	25579.0085	579.9283	6.3871	5099.8568	1	
2	épaule	épaule|épaules|epaule	Common_Noun	223	82.1229	73.9106	6899.0167	224.6315	5.4304	1408.7496	0.9	
3	cavalier	cavalier|cavaliers	Common_Noun	155	71.6309	71.6309	5238.2604	511.9848	6.2845	1045.3317	1	
4	galop	galop|galops	Common_Noun	134	68.0742	61.2668	4726.1266	1218.4255	7.2376	939.7621	0.9	
5	changement de pied	changement de pied|changements de pied|changements de pieds	Common_Noun Preposition Common_Noun	102	59.8532	35.9119	3644.8102	1859.227	7.8126	725.981	0.6	
6	hanche	hanches|hanche	Common_Noun	105	59.2659	59.2659	3574.614	546.6798	6.3752	712.513	1	
7	rêne	rêne|rênes	Common_Noun	84	51.7897	41.4369	2722.9489	306.8627	5.7733	548.45	0.8001	
8	appuyer	appuyer|appuyez|appuie	Verb	121	49.7402	39.7922	2520.7599	53.712	3.9879	606.8733	0.8	
9	exercice	exercice|exercices	Common_Noun	128	48.4306	48.4306	2390.8009	42.7256	3.7578	605.5295	1	
10	trot	trot	Common_Noun	66	48.1427	43.3718	2345.2454	1209.4001	7.3793	466.663	0.9009	
11	pli	pli	Common_Noun	64	47.4074	28.4776	2273.0552	1173.2986	7.3487	452.2695	0.6007	
12	équitation	équitation|equitation|équitations	Common_Noun	66	47.4004	37.9582	2273.4465	604.7001	6.532	452.4861	0.8008	
13	jambe	jambe|jambes	Common_Noun	98	47.322	42.5898	2277.1156	70.0794	4.2562	521.6902	0.9	
14	postérieur	postérieurs|postérieur	Common_Noun	57	44.7389	44.7389	2020.4001	1046.9434	7.2337	401.908	1	
15	équestre	équestre|équestres	Adjective	55	42.002	25.2768	1779.5304	288.812	5.7319	358.6113	0.6018	
16	extérieur	extérieure|extérieur|extérieures	Adjective	98	39.235	35.3115	1565.0385	32.1986	3.4731	426.6313	0.9	
17	cercle	cercle|cercles	Common_Noun	69	38.2647	34.4612	1482.1946	57.4342	4.0562	351.8606	0.9006	
18	changement	changement|changements	Common_Noun	146	37.37	29.896	1424.4873	16.0816	2.7783	487.0365	0.8	
19	droit	droite|droit|droits	Adjective	98	36.016	32.4144	1318.6281	24.6486	3.2049	389.4598	0.9	
20	rectitude	rectitude	Common_Noun	36	35.5517	21.8217	1262.6064	667.8777	6.7788	251.0434	0.6138	

Le fichier TBX TermBase eXchange (TBX)TermBase eXchange (TBX) exchange formatsformats d'échange The XML-based standard (ISO 30042) for exchanging termbases: each concept entry can gather the terms of several languages plus rich metadata such as definitions, part of speech, domain and usage notes.Norme fondée sur XML (ISO 30042) pour échanger des bases terminologiques : chaque entrée conceptuelle peut contenir les termes de plusieurs langues et des métadonnées riches comme des définitions, la partie du discours, le domaine et des notes d'usage. ne conserve que les termes, leurs formes et leur partie du discours, une entrée par candidat, dans le format d’échange interchange formatformat d'échange exchange formatsformats d'échange A documented way of organizing and representing data so that it can be transferred between different systems or applications. In translation technology, TMX is primarily used to exchange translation-memory data, TBX to exchange terminological data, and XLIFF to move localizable content, translations, and related workflow information. A standardized format facilitates interoperability, but successful exchange may still depend on the versions, optional features, and metadata supported by each tool.Manière documentée d'organiser et de représenter des données afin qu'elles puissent être transférées entre différents systèmes ou applications. En technologies de la traduction, TMX sert principalement à échanger des données de mémoire de traduction, TBX à échanger des données terminologiques, et XLIFF à transporter du contenu localisable, ses traductions et les informations de flux de travail associées. Un format normalisé facilite l'interopérabilité, mais la réussite de l'échange peut dépendre des versions, des fonctionnalités facultatives et des métadonnées que prend en charge chaque outil. qu’une base terminologique termbasebase terminologique terminologyterminologie A database of terminological entries organized by concept, grouping the terms of several languages with metadata such as definitions, domains and usage status.Base de données d'entrées terminologiques organisée par concept, contenant les termes de plusieurs langues et des métadonnées comme des définitions, des domaines et des marques d'usage. peut importer (see also the TBX: exchanging termbases page, in the Exchange formats in translation module) (voir aussi la page TBX : échanger des bases terminologiques, dans le module Les formats d'échange en traduction). Les cinq premières entrées figurent ci-dessous. Le fichier exporté déclare la version actuelle de la norme dans son espace de noms namespaceespace de noms XMLXML A name, written as a URI, that says which vocabulary an element or attribute belongs to.Nom, écrit sous la forme d'un URI, qui indique à quel vocabulaire appartient un élément ou un attribut. , mais garde l’ancien nom d’élément elementélément XMLXML The building block of an XML document: an opening tag, the content it delimits and a closing tag, or a single empty-element tag when there is no content.Unité de base d'un document XML : une balise ouvrante, le contenu qu'elle délimite et une balise fermante, ou une seule balise d'élément vide quand il n'y a pas de contenu. termEntry, que cette version appelle conceptEntry.

<?xml version="1.0" encoding="UTF-8"?>
<tbx type="TBX-Basic" style="dca" xml:lang="fr" xmlns="urn:iso:std:iso:30042:ed-2">
  <tbxHeader>
    <fileDesc>
      <titleStmt><title>Termostat export</title></titleStmt>
    </fileDesc>
  </tbxHeader>
  <text>
    <body>
      <!-- Extract: the first 5 of the 1,155 entries TermoStat exported for the dressage corpus (2026-09-30). -->
      <termEntry xml:id="te1">
        <langSec xml:lang="fr">
          <termSec>
            <term>cheval</term>
            <termNote type="partOfSpeech">Common_Noun</termNote>
          </termSec>
          <termSec>
            <term>chevaux</term>
            <termNote type="partOfSpeech">Common_Noun</termNote>
          </termSec>
        </langSec>
      </termEntry>
      <termEntry xml:id="te2">
        <langSec xml:lang="fr">
          <termSec>
            <term>épaule</term>
            <termNote type="partOfSpeech">Common_Noun</termNote>
          </termSec>
          <termSec>
            <term>épaules</term>
            <termNote type="partOfSpeech">Common_Noun</termNote>
          </termSec>
          <termSec>
            <term>epaule</term>
            <termNote type="partOfSpeech">Common_Noun</termNote>
          </termSec>
        </langSec>
      </termEntry>
      <termEntry xml:id="te3">
        <langSec xml:lang="fr">
          <termSec>
            <term>cavalier</term>
            <termNote type="partOfSpeech">Common_Noun</termNote>
          </termSec>
          <termSec>
            <term>cavaliers</term>
            <termNote type="partOfSpeech">Common_Noun</termNote>
          </termSec>
        </langSec>
      </termEntry>
      <termEntry xml:id="te4">
        <langSec xml:lang="fr">
          <termSec>
            <term>galop</term>
            <termNote type="partOfSpeech">Common_Noun</termNote>
          </termSec>
          <termSec>
            <term>galops</term>
            <termNote type="partOfSpeech">Common_Noun</termNote>
          </termSec>
        </langSec>
      </termEntry>
      <termEntry xml:id="te5">
        <langSec xml:lang="fr">
          <termSec>
            <term>changement de pied</term>
            <termNote type="partOfSpeech">Common_Noun Preposition Common_Noun</termNote>
          </termSec>
          <termSec>
            <term>changements de pied</term>
            <termNote type="partOfSpeech">Common_Noun Preposition Common_Noun</termNote>
          </termSec>
          <termSec>
            <term>changements de pieds</term>
            <termNote type="partOfSpeech">Common_Noun Preposition Common_Noun</termNote>
          </termSec>
        </langSec>
      </termEntry>
    </body>
  </text>
</tbx>

Prompting for terms

The simplest way to extract terms with an LLM is to paste a text into a chatbot and ask for the terms in it. Nothing but the model’s training then settles what counts as a term. A more careful prompt promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. gives the model the information a person would need to decide which units are terms:

• what a term is;
• whether names and single words count;
• whether a shorter term inside a longer one counts;
• in what form to return each candidate.

Every decision on which people disagree becomes a decision written into the prompt, so two people who prompt differently can get different lists from the same model.

In a research study, the prompt should resemble the annotation data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. guidelines that the people who made the gold standard gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. followed, so that the model and the annotators work from the same instructions.

The two screenshots below show the difference on one text about dressage. With a bare request (Figure 25figure 25), the chatbot returns the terms that the text defines, each with a definition. With a prompt written like guidelines (Figure 26figure 26), the answer is a plain list in the form the prompt asked for.

Results of LLMs

Early studies, with GPT-3.5 and Llama 2, found that prompting an LLM came close to tools trained on annotated examples (Banerjee et al., 2024; Tran et al., 2024). With models available in 2025, the gap closed: on the twelve corpora of the ACTER dataset, four LLMs were competitive with tools trained for the task, and in the range of the agreement between annotators (Rigouts Terryn, 2026) (see also the Agreement as an F1 score page, in the Evaluating language technology module) (voir aussi la page L'accord mesuré par le score F1, dans le module L'évaluation des technologies langagières).GPT-5 and GPT-5-mini (snapshots of 7 August 2025), Mistral Large (2411) and Magistral Medium (2507). Three findings of that study:

• The texts changed the results more than the model did. The domain and the language of a text counted for more than the choice among the four models.
• A detailed prompt helped more than examples in the prompt.
• The models proposed too much rather than too little, for instance general words, several terms joined by and, and descriptive phrases.

Candidates that are not in the text

A tool built on rules or trained to mark words can only return words that are in the text. An LLM writes its answer, so a candidate can differ from the text. In the same study, about 2% of the candidates did not appear in the text word for word, which is often counted as a hallucination hallucinationfabulation de l'IA language modelsmodèles de langue Content generated by an AI model that is factually incorrect or fabricated, even though it may sound plausible.Contenu généré par un modèle d'IA qui est factuellement inexact ou fabriqué, même s'il peut sembler plausible. . Most of them were tidied forms of terms that are in the text, such as a shortened term given in full or punctuation dropped, and real inventions were rare (Rigouts Terryn, 2026). Each candidate still has to be checked against the text.

Formuler une requête pour obtenir des termes

La façon la plus simple d’extraire des termes avec un GML est de coller un texte dans un agent conversationnel et de lui demander les termes qu’il contient. Seul l’entraînement du modèle détermine alors ce qui compte comme terme. Une requête promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. plus soignée donne au modèle les informations dont une personne aurait besoin pour décider quelles unités sont des termes :

• ce qu’est un terme ;
• si les noms propres et les mots isolés comptent ;
• si un terme court à l’intérieur d’un terme plus long compte ;
• sous quelle forme renvoyer chaque candidat.

Chaque décision sur laquelle les personnes ne s’accordent pas devient une décision écrite dans la requête, si bien que deux personnes qui formulent leur requête différemment peuvent obtenir des listes différentes du même modèle.

Dans une étude de recherche, la requête devrait ressembler aux consignes d’annotation data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. qu’ont suivies les personnes qui ont établi l’étalon de référence gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. , de sorte que le modèle et les annotateurs travaillent à partir des mêmes instructions.

Les deux captures d’écran ci-dessous montrent la différence sur un texte anglais sur le dressage. Avec une demande nue (Figure 25figure 25), l’agent conversationnel renvoie les termes que le texte définit, chacun avec une définition. Avec une requête rédigée comme des consignes (Figure 26figure 26), la réponse est une simple liste, sous la forme demandée par la requête.

Les résultats des GML

Les premières études, avec GPT-3.5 et Llama 2, ont constaté qu’une requête adressée à un GML approchait les outils entraînés sur des exemples annotés (Banerjee et al., 2024 ; Tran et al., 2024). Avec les modèles disponibles en 2025, l’écart s’est comblé : sur les douze corpus corpuscorpus corporacorpus A collection of written texts, speech recordings or transcribed language assembled for analysis or use in language technology (plural: corpora).Ensemble de textes écrits, d'enregistrements de parole ou de langue transcrite réuni pour l'analyse ou pour les technologies langagières. du jeu de données ACTER, quatre GML étaient compétitifs face aux outils entraînés pour la tâche, et dans la zone de l’accord entre annotateurs (Rigouts Terryn, 2026) (see also the Agreement as an F1 score page, in the Evaluating language technology module) (voir aussi la page L'accord mesuré par le score F1, dans le module L'évaluation des technologies langagières).GPT-5 et GPT-5-mini (versions du 7 août 2025), Mistral Large (2411) et Magistral Medium (2507). Trois constats de cette étude :

• Les textes ont changé les résultats plus que le modèle. Le domaine et la langue d’un texte ont compté davantage que le choix parmi les quatre modèles.
• Une requête détaillée a aidé plus que des exemples dans la requête.
• Les modèles en ont proposé trop plutôt que trop peu, par exemple des mots généraux, plusieurs termes joints par et, et des expressions descriptives.

Les candidats qui ne figurent pas dans le texte

Un outil à base de règles, ou entraîné à marquer des mots, ne peut renvoyer que des mots qui figurent dans le texte. Un GML rédige sa réponse, si bien qu’un candidat peut différer du texte. Dans la même étude, environ 2 % des candidats ne figuraient pas tels quels dans le texte, ce qui est souvent compté comme une fabulation hallucinationfabulation de l'IA language modelsmodèles de langue Content generated by an AI model that is factually incorrect or fabricated, even though it may sound plausible.Contenu généré par un modèle d'IA qui est factuellement inexact ou fabriqué, même s'il peut sembler plausible. . La plupart étaient des formes retouchées de termes présents dans le texte, par exemple un terme abrégé donné en entier ou une ponctuation supprimée, et les vraies inventions étaient rares (Rigouts Terryn, 2026). Chaque candidat doit tout de même être vérifié dans le texte.

Dedicated tools and LLMs

A dedicated term extractor, such as TermoStat or the D-Terminer demo, was built for this one task; a chatbot was not, but it can be asked to do it. The table below sets out how a dedicated tool and a large language model large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. (LLM) differ.

No single difference settles the choice between a dedicated tool and an LLM, but some situations point one way:

• A large corpus in one domain, to go through the same way every time, suits a dedicated tool: its ranked list can be read from the top, and running it again gives the same list.
• A single document, a language or domain no tool was trained for, or a list you want with labels and remarks, suits an LLM.
• A language with little text on the web is a reason for caution with either: the results of LLMs on this task were obtained on languages with many resources (Rigouts Terryn, 2026).

The two can also be combined: a large LLM marks the terms in many texts, and a much smaller, openly available model is trained on those marks, which avoids sending every new text to a provider (Senger et al., 2025).

Typical errors of each method

Each method of this chapter tends to go wrong in its own way, as the table below sums up.

The evaluation of a term extractor is explained in a chapter of its own (see also the Evaluating extraction and classification chapter, in the Evaluating language technology module) (voir aussi le chapitre Évaluation de l'extraction et de la classification, dans le module L'évaluation des technologies langagières).

Validation and storage

Whatever produced the list, a person still validates it (Lefever & Rigouts Terryn, 2024). The validated terms are then recorded where they can be used: a termbase termbasebase terminologique terminologyterminologie A database of terminological entries organized by concept, grouping the terms of several languages with metadata such as definitions, domains and usage status.Base de données d'entrées terminologiques organisée par concept, contenant les termes de plusieurs langues et des métadonnées comme des définitions, des domaines et des marques d'usage. organizes them by concept, with their equivalents, definitions and sources, and a CAT computer-assisted translation (CAT)traduction assistée par ordinateur (TAO) CAT toolsTAO Software that assists a human translator during the translation process, commonly by dividing texts into segments and providing functions such as translation-memory retrieval, terminology management, consistency checks and file management.Logiciel qui assiste un traducteur humain pendant le processus de traduction, généralement en divisant les textes en segments et en offrant des fonctions comme la recherche en mémoire de traduction, la gestion terminologique, les vérifications de cohérence et la gestion des fichiers. tool can show them while you translate (see also the Termbases page, in the CAT tools module) (voir aussi la page Les bases terminologiques, dans le module Outils de TAO).

Outils spécialisés et GML

Un extracteur de termes spécialisé, comme TermoStat ou la démonstration D-Terminer, a été conçu pour cette seule tâche ; un agent conversationnel ne l’a pas été, mais on peut lui demander de s’en charger. Le tableau ci-dessous présente ce qui distingue un outil spécialisé d’un grand modèle de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. (GML).

Aucune de ces différences ne tranche à elle seule entre un outil spécialisé et un GML, mais certaines situations orientent le choix :

• Un grand corpus dans un seul domaine, à traiter chaque fois de la même façon, convient à un outil spécialisé : sa liste classée se lit à partir du début, et le relancer donne la même liste.
• Un seul document, une langue ou un domaine pour lesquels aucun outil n’a été entraîné, ou une liste que vous voulez avec des étiquettes et des remarques, conviennent à un GML.
• Une langue peu présente sur le web est une raison d’être prudent avec l’un comme avec l’autre : les résultats des GML pour cette tâche ont été obtenus pour des langues bien dotées en ressources (Rigouts Terryn, 2026).

Les deux peuvent aussi se combiner : un grand GML marque les termes dans de nombreux textes, et un modèle beaucoup plus petit, librement accessible, est entraîné sur ces marques, ce qui évite d’envoyer chaque nouveau texte à un fournisseur (Senger et al., 2025).

Les erreurs typiques de chaque méthode

Chaque méthode de ce chapitre tend à échouer à sa manière, comme le résume le tableau ci-dessous.

L’évaluation d’un extracteur de termes est expliquée dans un chapitre à part (see also the Evaluating extraction and classification chapter, in the Evaluating language technology module) (voir aussi le chapitre Évaluation de l'extraction et de la classification, dans le module L'évaluation des technologies langagières).

La validation et la consignation

Quelle que soit l’origine de la liste, une personne doit encore la valider (Lefever et Rigouts Terryn, 2024). Les termes validés sont ensuite consignés là où ils peuvent servir : une base terminologique termbasebase terminologique terminologyterminologie A database of terminological entries organized by concept, grouping the terms of several languages with metadata such as definitions, domains and usage status.Base de données d'entrées terminologiques organisée par concept, contenant les termes de plusieurs langues et des métadonnées comme des définitions, des domaines et des marques d'usage. les organise par concept, avec leurs équivalents, leurs définitions et leurs sources, et un outil de TAO computer-assisted translation (CAT)traduction assistée par ordinateur (TAO) CAT toolsTAO Software that assists a human translator during the translation process, commonly by dividing texts into segments and providing functions such as translation-memory retrieval, terminology management, consistency checks and file management.Logiciel qui assiste un traducteur humain pendant le processus de traduction, généralement en divisant les textes en segments et en offrant des fonctions comme la recherche en mémoire de traduction, la gestion terminologique, les vérifications de cohérence et la gestion des fichiers. peut les afficher pendant que vous traduisez (see also the Termbases page, in the CAT tools module) (voir aussi la page Les bases terminologiques, dans le module Outils de TAO).

Limits of a first impression

When you try out a language tool, for example a machine translation system, a spelling checker or a chatbot, the obvious way to judge it is to look at some of its results and decide whether they seem good. That first impression is useful, but it is a weak basis for a conclusion:

• it relies on the few examples you happened to try;
• it depends on your own expertise, so another person can judge the same results differently, and it does not work for a subject or a language in which your own expertise is limited;
• it cannot be compared with another person’s impression of another tool, or with your own impression of the same tool a year later.

An evaluation is a more systematic way of judging a tool. The tool is run on evaluation data chosen in advance and its output is judged by a method that is stated, so that the result can be checked, repeated and compared.

Tasks without a single correct answer

For language technology language technologytechnologie langagière NLPTAL The field that builds usable tools and services out of the computational processing of human language, such as machine translation systems, terminology tools, speech interfaces and writing aids. By extension, the term also names those tools themselves.Domaine consacré à la conception d'outils et de services utilisables à partir du traitement informatique de la langue humaine : systèmes de traduction automatique, outils terminologiques, interfaces vocales, aides à la rédaction. Par extension, le terme désigne aussi ces outils eux-mêmes. , a systematic evaluation is less straightforward than it seems. Many tasks in natural language processing natural language processing (NLP)traitement automatique de la langue (TAL) NLPTAL An interdisciplinary field that develops and studies computational methods for analyzing, processing, and generating human language.Domaine interdisciplinaire qui développe et étudie des méthodes computationnelles pour analyser, traiter et générer le langage humain. (NLP) do not have a single answer that is unquestionably correct (Basile et al., 2021). For example, a sum has one correct answer, but a sentence can be translated well in several ways (Figure 1figure 1), and two specialists who list the terms of the same text rarely produce the same list (see also the Where people disagree about terms page, in the Classical NLP module) (voir aussi la page Les points de désaccord sur les termes, dans le module TAL classique). An evaluation therefore has to settle what counts as correct before anything can be counted.

Evaluation data, judgement and measure

An evaluation needs three things:

• Evaluation data: the texts the system is run on, which were not used to build it (see also the Benchmarks and test sets page, in the Evaluating language technology module) (voir aussi la page Tests de performances et jeux de test, dans le module L'évaluation des technologies langagières).
• A judgement of the output: most often a comparison with a gold standard gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. , which states what the output should have been according to people (see also the gold standard page, in the Evaluating language technology module) (voir aussi la page L'étalon de référence, dans le module L'évaluation des technologies langagières), but people can also judge the output directly (see also the Ways of evaluating page, in the Evaluating language technology module) (voir aussi la page Les façons d'évaluer, dans le module L'évaluation des technologies langagières).
• A measure: the rule that turns the judgements into a number.

A score can only be interpreted once all three are known (see also the Interpreting a score page, in the Evaluating language technology module) (voir aussi la page Interpréter un score, dans le module L'évaluation des technologies langagières).

Measures by kind of task

How the output is judged, and with which measure, depends on the kind of output a task has. The table below sets out three cases.

For tasks of the first kind, such as named entity recognition, evaluation has usually assumed that each item has one correct answer (Basile et al., 2021) (see also the Evaluating extraction and classification chapter, in the Evaluating language technology module) (voir aussi le chapitre Évaluation de l'extraction et de la classification, dans le module L'évaluation des technologies langagières). Tasks that produce text, such as machine translation machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. , cannot be evaluated on that assumption, because many different outputs can be right (see also the Evaluating machine translation chapter, in the Evaluating language technology module) (voir aussi le chapitre Évaluation de la traduction automatique, dans le module L'évaluation des technologies langagières). A large language model produces text whatever the task, so its evaluation raises the same difficulty.

Les limites d’une première impression

Quand vous essayez un outil langagier, par exemple un système de traduction automatique, un correcteur orthographique ou un agent conversationnel, la façon la plus évidente de le juger consiste à regarder quelques-uns de ses résultats et à décider s’ils semblent bons. Cette première impression est utile, mais c’est une base fragile pour une conclusion :

• elle dépend des quelques exemples que vous avez essayés ;
• elle dépend de votre propre expertise, de sorte qu’une autre personne peut juger les mêmes résultats autrement, et elle ne fonctionne pas pour un sujet ou une langue où votre expertise est limitée ;
• elle ne peut pas être comparée à l’impression d’une autre personne sur un autre outil, ni à votre propre impression du même outil un an plus tard.

Une évaluation est une façon plus systématique de juger un outil. L’outil fonctionne sur des données d’évaluation choisies à l’avance et sa sortie est jugée selon une méthode déclarée, de sorte que le résultat peut être vérifié, répété et comparé.

Les tâches sans réponse correcte unique

Pour les technologies langagières language technologytechnologie langagière NLPTAL The field that builds usable tools and services out of the computational processing of human language, such as machine translation systems, terminology tools, speech interfaces and writing aids. By extension, the term also names those tools themselves.Domaine consacré à la conception d'outils et de services utilisables à partir du traitement informatique de la langue humaine : systèmes de traduction automatique, outils terminologiques, interfaces vocales, aides à la rédaction. Par extension, le terme désigne aussi ces outils eux-mêmes. , une évaluation systématique est moins simple qu’il n’y paraît. Beaucoup de tâches du traitement automatique de la langue natural language processing (NLP)traitement automatique de la langue (TAL) NLPTAL An interdisciplinary field that develops and studies computational methods for analyzing, processing, and generating human language.Domaine interdisciplinaire qui développe et étudie des méthodes computationnelles pour analyser, traiter et générer le langage humain. (TAL) n’ont pas une réponse unique qui soit incontestablement correcte (Basile et al., 2021). Par exemple, une somme a une seule réponse correcte, mais une phrase peut être bien traduite de plusieurs façons (Figure 1figure 1), et deux spécialistes qui relèvent les termes d’un même texte produisent rarement la même liste (see also the Where people disagree about terms page, in the Classical NLP module) (voir aussi la page Les points de désaccord sur les termes, dans le module TAL classique). Une évaluation doit donc établir quelles réponses sont considérées comme correctes avant de pouvoir compter quoi que ce soit.

Données d’évaluation, jugement et mesure

Une évaluation a besoin de trois éléments :

• Des données d’évaluation : les textes sur lesquels le système fonctionne, et qui n’ont pas servi à le construire (see also the Benchmarks and test sets page, in the Evaluating language technology module) (voir aussi la page Tests de performances et jeux de test, dans le module L'évaluation des technologies langagières).
• Un jugement de la sortie : le plus souvent une comparaison avec un étalon de référence gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. (angl. gold standard), qui indique quelle aurait dû être la sortie selon des personnes (see also the gold standard page, in the Evaluating language technology module) (voir aussi la page L'étalon de référence, dans le module L'évaluation des technologies langagières), mais des personnes peuvent aussi juger la sortie directement (see also the Ways of evaluating page, in the Evaluating language technology module) (voir aussi la page Les façons d'évaluer, dans le module L'évaluation des technologies langagières).
• Une mesure : la règle qui transforme les jugements en un nombre.

Un score ne peut être interprété que lorsque les trois sont connus (see also the Interpreting a score page, in the Evaluating language technology module) (voir aussi la page Interpréter un score, dans le module L'évaluation des technologies langagières).

Les mesures selon le type de tâche

La façon de juger la sortie, et la mesure utilisée, dépendent du type de sortie d’une tâche. Le tableau ci-dessous présente trois cas.

Pour les tâches du premier type, comme la reconnaissance d’entités nommées, l’évaluation a généralement supposé que chaque élément a une seule réponse correcte (Basile et al., 2021) (see also the Evaluating extraction and classification chapter, in the Evaluating language technology module) (voir aussi le chapitre Évaluation de l'extraction et de la classification, dans le module L'évaluation des technologies langagières). Les tâches qui produisent du texte, comme la traduction automatique machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. , ne peuvent pas être évaluées à partir de cette hypothèse, parce que de nombreuses sorties différentes peuvent être correctes (see also the Evaluating machine translation chapter, in the Evaluating language technology module) (voir aussi le chapitre Évaluation de la traduction automatique, dans le module L'évaluation des technologies langagières). Un grand modèle de langue produit du texte quelle que soit la tâche, de sorte que son évaluation pose la même difficulté.

Output and gold standard

The most common way to evaluate an NLP system is to compare its output with a gold standard (see also the Ways of evaluating page, in the Evaluating language technology module) (voir aussi la page Les façons d'évaluer, dans le module L'évaluation des technologies langagières). The gold standard states what the output should have been, and it is most often made of the answers people gave for the same input (Jurafsky & Martin, 2026).

For example, in named entity recognition named entity recognition (NER)reconnaissance d'entités nommées (REN) NLPTAL The task of finding the spans of a text that are proper names, and labelling the category, most often a person, a location or an organization.Tâche qui consiste à repérer dans un texte les segments qui sont des noms propres, et à en étiqueter la catégorie, le plus souvent une personne, un lieu ou une organisation. , a system finds the names of people, places and organizations in a text. If such a system returned three names for a sentence, you could only say how well it worked by knowing which names people find in that sentence. Figure 3figure 3 builds up this example in three stages.

A gold standard has to be made for each task. To score a term extractor automatic term extraction (ATE)extraction automatique de termes NLPTAL The identification, by a program, of candidate terms in a text or a corpus, for a person to validate.Repérage, par un programme, de candidats terminologiques dans un texte ou un corpus, en vue de leur validation par une personne. , a tool that lists the specialized terms of a text, you need the list of terms that are in the text, and that list has to be made by hand: one or more people read the text and mark the terms, following written guidelines.

Gold standard, reference and ground truth

The general word for the answers that an output is compared with is the reference. A gold standard is a reference that people produced. For a translation system, it is a translation made by a person, called a reference translation.

Ground truth is often used as a synonym of gold standard, but the two answer different questions about a reference (Figure 4figure 4): a gold standard is produced by people, and a ground truth consists of verifiable facts. Where the answers depend on judgement, people can disagree and more than one answer can be correct (Basile et al., 2021), so a gold standard is then not a ground truth.

Limits of a gold standard

Every score computed against a gold standard is a comparison with one particular set of answers, and that set has limits of its own:

• It depends on the guidelines. The people who made it followed written guidelines and decided the unclear cases, for instance whether names count as terms or how long a term may be. Had they decided differently, the same system would score differently on the same text (see also the Where people disagree about terms page, in the Classical NLP module) (voir aussi la page Les points de désaccord sur les termes, dans le module TAL classique). For many language tasks, some of these decisions are a matter of judgement (Basile et al., 2021).
• It depends on the annotators. Other people, with other expertise, would mark some items differently, and any annotator makes mistakes (Artstein & Poesio, 2008). Comparing the annotators with each other shows how far a gold standard can be relied on (see also the Agreement between annotators page, in the Evaluating language technology module) (voir aussi la page L'accord entre annotateurs, dans le module L'évaluation des technologies langagières).
• It covers a limited set of texts. A score says how a system does on texts like those in the gold standard, from one domain, one language and one type of document, and it says less about other texts (see also the Interpreting a score page, in the Evaluating language technology module) (voir aussi la page Interpréter un score, dans le module L'évaluation des technologies langagières).
• It is costly to extend. A new domain or a new language needs a new gold standard, annotated by hand again.
• It can end up in training data. Once a gold standard is published, the systems it is meant to evaluate may have been trained on it (Sainz et al., 2023) (see also the Benchmarks and test sets page, in the Evaluating language technology module) (voir aussi la page Tests de performances et jeux de test, dans le module L'évaluation des technologies langagières).
• It lists a limited number of answers. For a system that produces text, such as a translation system or a chatbot, an output can be good without resembling any of them, which is one reason why people also judge such output directly (see also the Ways of evaluating page, in the Evaluating language technology module) (voir aussi la page Les façons d'évaluer, dans le module L'évaluation des technologies langagières).

La sortie et l’étalon de référence

La façon la plus courante d’évaluer un système de TAL est de comparer sa sortie avec un étalon de référence (angl. gold standard) (see also the Ways of evaluating page, in the Evaluating language technology module) (voir aussi la page Les façons d'évaluer, dans le module L'évaluation des technologies langagières). L’étalon de référence indique quelle aurait dû être la sortie, et il est le plus souvent constitué des réponses que des personnes ont données pour la même entrée (Jurafsky & Martin, 2026).

Par exemple, en reconnaissance d’entités nommées named entity recognition (NER)reconnaissance d'entités nommées (REN) NLPTAL The task of finding the spans of a text that are proper names, and labelling the category, most often a person, a location or an organization.Tâche qui consiste à repérer dans un texte les segments qui sont des noms propres, et à en étiqueter la catégorie, le plus souvent une personne, un lieu ou une organisation. , un système trouve les noms de personnes, de lieux et d’organisations dans un texte. Si un tel système renvoyait trois noms pour une phrase, vous ne pourriez dire s’il a bien fonctionné qu’en sachant quels noms des personnes trouvent dans cette phrase. La Figure 3figure 3 construit cet exemple en trois étapes.

Un étalon de référence doit être créé pour chaque tâche. Pour attribuer un score à un extracteur de termes automatic term extraction (ATE)extraction automatique de termes NLPTAL The identification, by a program, of candidate terms in a text or a corpus, for a person to validate.Repérage, par un programme, de candidats terminologiques dans un texte ou un corpus, en vue de leur validation par une personne. , un outil qui dresse la liste des termes spécialisés d’un texte, il faut la liste des termes qui se trouvent dans le texte, et cette liste doit être établie à la main : une ou plusieurs personnes lisent le texte et marquent les termes, en suivant des consignes écrites.

Étalon de référence, référence et réalité de terrain

Le mot général pour les réponses auxquelles une sortie est comparée est la référence. Un étalon de référence est une référence que des personnes ont produite. Pour un système de traduction, c’est une traduction faite par une personne, appelée traduction de référence.

Le terme réalité de terrain (angl. ground truth) est souvent employé comme synonyme d’étalon de référence, mais les deux répondent à des questions différentes sur une référence (Figure 4figure 4) : un étalon de référence est produit par des personnes, et une réalité de terrain est constituée de faits vérifiables. Lorsque les réponses dépendent d’un jugement, les personnes peuvent être en désaccord et plusieurs réponses peuvent être correctes (Basile et al., 2021) : un étalon de référence n’est alors pas une réalité de terrain.

Les limites d’un étalon de référence

Chaque score calculé par rapport à un étalon de référence est une comparaison avec un ensemble de réponses particulier, et cet ensemble a ses propres limites :

• Il dépend des consignes. Les personnes qui l’ont établi ont suivi des consignes écrites et ont tranché les cas flous, par exemple si les noms propres comptent comme des termes, ou quelle longueur un terme peut avoir. Si elles avaient décidé autrement, le même système obtiendrait un autre score sur le même texte (see also the Where people disagree about terms page, in the Classical NLP module) (voir aussi la page Les points de désaccord sur les termes, dans le module TAL classique). Pour beaucoup de tâches langagières, une partie de ces décisions relève du jugement (Basile et al., 2021).
• Il dépend des annotateurs. D’autres personnes, avec une autre expertise, marqueraient certains éléments autrement, et tout annotateur fait des erreurs (Artstein & Poesio, 2008). Comparer les annotateurs entre eux montre à quel point on peut se fier à un étalon de référence (see also the Agreement between annotators page, in the Evaluating language technology module) (voir aussi la page L'accord entre annotateurs, dans le module L'évaluation des technologies langagières).
• Il porte sur un ensemble limité de textes. Un score dit ce que donne un système sur des textes semblables à ceux de l’étalon de référence, d’un domaine, d’une langue et d’un type de document, et il en dit moins sur d’autres textes (see also the Interpreting a score page, in the Evaluating language technology module) (voir aussi la page Interpréter un score, dans le module L'évaluation des technologies langagières).
• Il coûte cher à étendre. Un nouveau domaine ou une nouvelle langue demande un nouvel étalon de référence, annoté de nouveau à la main.
• Il peut se retrouver dans les données d’entraînement. Une fois publié, un étalon de référence peut avoir servi à entraîner les systèmes qu’il doit évaluer (Sainz et al., 2023) (see also the Benchmarks and test sets page, in the Evaluating language technology module) (voir aussi la page Tests de performances et jeux de test, dans le module L'évaluation des technologies langagières).
• Il énumère un nombre limité de réponses. Pour un système qui produit du texte, comme un système de traduction ou un agent conversationnel, une sortie peut être bonne sans ressembler à aucune d’elles, et c’est l’une des raisons pour lesquelles des personnes jugent aussi de telles sorties directement (see also the Ways of evaluating page, in the Evaluating language technology module) (voir aussi la page Les façons d'évaluer, dans le module L'évaluation des technologies langagières).

What agreement measures

For many language tasks, there is no single answer that is objectively true (see also the Systematic evaluation page, in the Evaluating language technology module) (voir aussi la page L'évaluation systématique, dans le module L'évaluation des technologies langagières), so people who annotate the same data separately do not produce the same gold standard gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. . The extent to which they agree is called inter-annotator agreement (IAA).

Inter-annotator agreement is a measure of the reliability of a gold standard: high agreement suggests that the annotators understood the guidelines in the same way (Artstein & Poesio, 2008). In Figure 5figure 5, three annotators have marked six units between them, and only two of the six were marked by all three.

Agreement is also measured when people judge the output of a system directly (see also the Ways of evaluating page, in the Evaluating language technology module) (voir aussi la page Les façons d'évaluer, dans le module L'évaluation des technologies langagières). For translations, for example, both ratings on a scale and error annotation data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. generally show low agreement between the people who judge (Kocmi et al., 2024a).

Measures of agreement

The simplest measure is the share of items on which the annotators gave the same answer. Part of any agreement arises by chance, and some measures correct for it (Artstein & Poesio, 2008). When annotators mark things in running text, such as terms, their agreement can be measured with the same scores as a system (Hripcsak & Rothschild, 2005) (see also the Agreement as an F1 score page, in the Evaluating language technology module) (voir aussi la page L'accord mesuré par le score F1, dans le module L'évaluation des technologies langagières).

Low and high agreement

• Low agreement is a finding about the task. Either some annotators are wrong, or the guidelines do not fit the data (Artstein & Poesio, 2008). For many language tasks there is a third possibility, that more than one answer is right (Basile et al., 2021).
• A task with low agreement is harder to evaluate, and often harder to automate. The gold standard that a system is scored against is itself uncertain, and where people do not agree on the answer, a system has no consistent answer to learn or to reproduce. In a review of published results in biomedical NLP, Boguslav and Cohen (2017) found that tasks with higher agreement between annotators also had higher system scores.
• High agreement is not proof. Reliability is a precondition for a gold standard being right, but two people can share the same mistaken idea and agree completely (Artstein & Poesio, 2008).

Combining several annotators

Most evaluations compare a system with a single gold standard, so the differences between annotators have to be settled. This step is called adjudication, and it can be done in several ways, for instance:

• Discussion: the annotators compare their results and settle each difference together.
• Majority vote: a unit goes into the gold standard when most of the annotators marked it. Figure 6figure 6 applies it to the three annotators of Figure 5figure 5.
• One person checks: a single experienced annotator makes or reviews every decision, which keeps the gold standard consistent but makes it one person’s view.

Combining the annotations is not the only option. An evaluation can also keep the annotations of each person and compare a system with all of them, so that the items on which people disagree are counted as well (Basile et al., 2021).

Agreement and the score of a system

A score against a gold standard cannot be interpreted without the agreement between the people who made it. When two careful people reach 0.6 against each other, a system that reaches 0.6 against one of them does about as well as a second person would (see also the Agreement as an F1 score page, in the Evaluating language technology module) (voir aussi la page L'accord mesuré par le score F1, dans le module L'évaluation des technologies langagières).

The agreement is often assumed to be the upper limit of what a system can reach, but systems do score above it (Boguslav & Cohen, 2017). A higher score is not always feasible, and it is not always desirable: a much higher score can mean that the system reproduces the choices of the particular people who made the gold standard.

Ce que mesure l’accord

Pour beaucoup de tâches langagières, il n’existe pas de réponse unique qui soit objectivement vraie (see also the Systematic evaluation page, in the Evaluating language technology module) (voir aussi la page L'évaluation systématique, dans le module L'évaluation des technologies langagières) : des personnes qui annotent les mêmes données séparément ne produisent donc pas le même étalon de référence gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. . La mesure dans laquelle elles sont d’accord s’appelle l’accord inter-annotateurs.

L’accord inter-annotateurs est une mesure de la fiabilité d’un étalon de référence : un accord élevé suggère que les annotateurs ont compris les consignes de la même façon (Artstein & Poesio, 2008). Dans Figure 5figure 5, trois annotateurs ont marqué six unités à eux trois, et seules deux des six ont été marquées par les trois.

L’accord se mesure aussi lorsque des personnes jugent directement la sortie d’un système (see also the Ways of evaluating page, in the Evaluating language technology module) (voir aussi la page Les façons d'évaluer, dans le module L'évaluation des technologies langagières). Pour les traductions, par exemple, la notation sur une échelle et l’annotation data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. des erreurs donnent toutes deux, en général, un accord faible entre les personnes qui jugent (Kocmi et al., 2024a).

Les mesures de l’accord

La mesure la plus simple est la proportion d’éléments pour lesquels les annotateurs ont donné la même réponse. Une partie de tout accord est due au hasard, et certaines mesures en tiennent compte (Artstein & Poesio, 2008). Lorsque les annotateurs marquent des éléments dans un texte suivi, comme des termes, leur accord peut être mesuré avec les mêmes scores qu’un système (Hripcsak & Rothschild, 2005) (see also the Agreement as an F1 score page, in the Evaluating language technology module) (voir aussi la page L'accord mesuré par le score F1, dans le module L'évaluation des technologies langagières).

Accord faible et accord élevé

• Un accord faible est un constat sur la tâche. Soit certains annotateurs se trompent, soit les consignes ne conviennent pas aux données (Artstein & Poesio, 2008). Pour beaucoup de tâches langagières, il existe une troisième possibilité : plusieurs réponses sont correctes (Basile et al., 2021).
• Une tâche où l’accord est faible est plus difficile à évaluer, et souvent plus difficile à automatiser. L’étalon de référence auquel un système est comparé est lui-même incertain, et lorsque les personnes ne s’entendent pas sur la réponse, un système n’a pas de réponse constante à apprendre ou à reproduire. Dans une analyse de résultats publiés en TAL biomédical, Boguslav et Cohen (2017) ont constaté que les tâches où l’accord entre annotateurs était plus élevé obtenaient aussi des scores de systèmes plus élevés.
• Un accord élevé n’est pas une preuve. La fiabilité est une condition préalable pour qu’un étalon de référence soit juste, mais deux personnes peuvent partager la même idée fausse et être entièrement d’accord (Artstein & Poesio, 2008).

Combiner plusieurs annotateurs

La plupart des évaluations comparent un système à un seul étalon de référence : les différences entre annotateurs doivent donc être tranchées. Cette étape s’appelle l’arbitrage, et elle peut se faire de plusieurs façons, par exemple :

• La discussion : les annotateurs comparent leurs résultats et tranchent chaque différence ensemble.
• Le vote majoritaire : une unité entre dans l’étalon de référence lorsque la majorité des annotateurs l’ont marquée. La Figure 6figure 6 l’applique aux trois annotateurs de Figure 5figure 5.
• La vérification par une seule personne : un seul annotateur expérimenté prend ou révise chaque décision, ce qui garde l’étalon de référence cohérent, mais en fait le point de vue d’une seule personne.

Combiner les annotations n’est pas la seule possibilité. Une évaluation peut aussi conserver les annotations de chaque personne et comparer un système à toutes, de sorte que les éléments sur lesquels les personnes sont en désaccord sont comptés eux aussi (Basile et al., 2021).

L’accord et le score d’un système

Un score par rapport à un étalon de référence ne peut pas être interprété sans l’accord entre les personnes qui l’ont établi. Lorsque deux personnes soigneuses atteignent 0,6 l’une par rapport à l’autre, un système qui atteint 0,6 par rapport à l’une d’elles fait à peu près aussi bien que le ferait une deuxième personne (see also the Agreement as an F1 score page, in the Evaluating language technology module) (voir aussi la page L'accord mesuré par le score F1, dans le module L'évaluation des technologies langagières).

L’accord est souvent considéré comme la limite supérieure de ce qu’un système peut atteindre, mais des systèmes obtiennent bel et bien des scores supérieurs (Boguslav & Cohen, 2017). Un score plus élevé n’est pas toujours réalisable, et il n’est pas toujours souhaitable : un score beaucoup plus élevé peut signifier que le système reproduit les choix des personnes qui ont établi l’étalon de référence.

A score compared with a simple method

A score does not say, on its own, whether a system is good. If you are told that a spam filter is right for 90 messages out of 100, you still need to know what a very simple method would score on the same messages. If 90 of the 100 messages are not spam, a filter that lets every message through is also right 90 times out of 100, and it has not stopped any spam (Figure 8figure 8).

The score of such a simple method is called a baseline.

A baseline is evaluated exactly like the system, on the same evaluation data and, where there is one, against the same gold standard gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. and with the same measure, so that the two scores can be compared (see also the Interpreting a score page, in the Evaluating language technology module) (voir aussi la page Interpréter un score, dans le module L'évaluation des technologies langagières). A system that does not score clearly above its baseline has not shown that it does the task.

Baselines for classification

For a task where a system sorts items into classes (classification classificationclassification machine learningapprentissage automatique A task whose answer is one of a fixed set of categories: the system is asked which of k classes an input belongs to.Tâche dont la réponse est l'une des catégories d'un ensemble fixe : le système doit dire à laquelle des k classes appartient une entrée. ), the table below gives three simple baselines.

A baseline can also be an existing tool: a new system is then expected to do better than the one it replaces.The third baseline is not always possible: it needs labelled examples, and the items of the test have to come back from those examples, as words do in running text. Jurafsky and Martin (2026) give it for part-of-speech tagging. No two emails are identical, so a spam filter has no such baseline.

In the examples above, the baselines were measured with accuracy accuracyexactitude evaluationévaluation The share of all decisions of a system that are correct, true positives and true negatives together.Part de toutes les décisions d'un système qui sont correctes, vrais positifs et vrais négatifs ensemble. , the share of items that receive the right answer. When the class to find is rare, as spam is, another measure such as the F1 score F1 scorescore F1 evaluationévaluation The harmonic mean of precision and recall: a single number between 0 and 1 that is high only when both are high.Moyenne harmonique de la précision et du rappel : un seul nombre entre 0 et 1, qui n'est élevé que si les deux le sont. is less likely to give a naive baseline a high score (see also the Precision, recall and F1 page, in the Evaluating language technology module) (voir aussi la page Précision, rappel et score F1, dans le module L'évaluation des technologies langagières).

Baseline and human performance

A score is interpreted between two points of comparison: the baseline, and the level people reach on the same task (see also the Agreement between annotators page, in the Evaluating language technology module) (voir aussi la page L'accord entre annotateurs, dans le module L'évaluation des technologies langagières).

In part-of-speech tagging part-of-speech tagging (POS tagging)étiquetage morphosyntaxique NLPTAL The task of taking a sequence of tokenized words and a tagset, and assigning to each word one tag naming its grammatical class, such as noun or verb.Tâche qui consiste à prendre une suite de mots segmentés et un jeu d'étiquettes, puis à attribuer à chaque mot une étiquette nommant sa classe grammaticale, par exemple nom ou verbe. , each word of a text is labelled as a noun, a verb, an adjective and so on. For English, Jurafsky and Martin (2026) report that a baseline which gives each word its most frequent label is right for about 92 % of the words, and that the best systems reach about 97 %, which is also about the level people reach (Figure 9figure 9). The systems therefore differ from the baseline by five points, and a score of 93 % for English is close to the baseline. The figures are for English only: for another language, both points of comparison have to be measured again.

Un score comparé à une méthode simple

Un score ne dit pas, à lui seul, si un système est bon. Si l’on vous dit qu’un filtre antipourriel a raison pour 90 messages sur 100, il vous reste à savoir quel score une méthode très simple obtiendrait sur les mêmes messages. Si 90 des 100 messages ne sont pas des pourriels, un filtre qui laisse passer tous les messages a lui aussi raison 90 fois sur 100, et il n’a arrêté aucun pourriel (Figure 8figure 8).

Le score d’une telle méthode simple s’appelle un étalon.

Un étalon est évalué exactement comme le système, sur les mêmes données d’évaluation et, lorsqu’il y en a un, par rapport au même étalon de référence gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. et avec la même mesure, afin que les deux scores puissent être comparés (see also the Interpreting a score page, in the Evaluating language technology module) (voir aussi la page Interpréter un score, dans le module L'évaluation des technologies langagières). Un système qui n’obtient pas un score nettement supérieur à son étalon n’a pas montré qu’il accomplit la tâche.

Les étalons pour la classification

Pour une tâche où un système répartit des éléments en classes (classification classificationclassification machine learningapprentissage automatique A task whose answer is one of a fixed set of categories: the system is asked which of k classes an input belongs to.Tâche dont la réponse est l'une des catégories d'un ensemble fixe : le système doit dire à laquelle des k classes appartient une entrée. ), le tableau ci-dessous présente trois étalons simples.

Un étalon peut aussi être un outil existant : on attend alors d’un nouveau système qu’il fasse mieux que celui qu’il remplace.Le troisième étalon n’est pas toujours possible : il lui faut des exemples étiquetés, et les éléments du test doivent revenir dans ces exemples, comme le font les mots dans un texte suivi. Jurafsky et Martin (2026) le donnent pour l’étiquetage morphosyntaxique. Il n’y a pas deux courriels identiques, de sorte qu’un filtre antipourriel n’a pas d’étalon de ce type.

Dans les exemples ci-dessus, les étalons ont été mesurés avec l’exactitude accuracyexactitude evaluationévaluation The share of all decisions of a system that are correct, true positives and true negatives together.Part de toutes les décisions d'un système qui sont correctes, vrais positifs et vrais négatifs ensemble. , la proportion d’éléments qui reçoivent la bonne réponse. Quand la classe à trouver est rare, comme les pourriels, une autre mesure, par exemple le score F1 F1 scorescore F1 evaluationévaluation The harmonic mean of precision and recall: a single number between 0 and 1 that is high only when both are high.Moyenne harmonique de la précision et du rappel : un seul nombre entre 0 et 1, qui n'est élevé que si les deux le sont. , risque moins de donner un score élevé à un étalon naïf (see also the Precision, recall and F1 page, in the Evaluating language technology module) (voir aussi la page Précision, rappel et score F1, dans le module L'évaluation des technologies langagières).

L’étalon et la performance humaine

Un score s’interprète entre deux points de comparaison : l’étalon, et le niveau que des personnes atteignent pour la même tâche (see also the Agreement between annotators page, in the Evaluating language technology module) (voir aussi la page L'accord entre annotateurs, dans le module L'évaluation des technologies langagières).

En étiquetage morphosyntaxique part-of-speech tagging (POS tagging)étiquetage morphosyntaxique NLPTAL The task of taking a sequence of tokenized words and a tagset, and assigning to each word one tag naming its grammatical class, such as noun or verb.Tâche qui consiste à prendre une suite de mots segmentés et un jeu d'étiquettes, puis à attribuer à chaque mot une étiquette nommant sa classe grammaticale, par exemple nom ou verbe. , chaque mot d’un texte reçoit une étiquette : nom, verbe, adjectif, etc. Pour l’anglais, Jurafsky et Martin (2026) rapportent qu’un étalon qui donne à chaque mot son étiquette la plus fréquente a raison pour environ 92 % des mots, et que les meilleurs systèmes atteignent environ 97 %, ce qui est aussi à peu près le niveau que des personnes atteignent (Figure 9figure 9). Les systèmes diffèrent donc de l’étalon de cinq points, et un score de 93 % pour l’anglais est proche de l’étalon. Ces chiffres ne valent que pour l’anglais : pour une autre langue, les deux points de comparaison doivent être mesurés de nouveau.

What a score depends on

A score of 0.53 for a term extractor, or of 80 % for a chatbot on a set of questions, looks like a property of the system, but five other things produced it:

• The texts. A tool scores differently on another domain, another language or another kind of document (see also the Benchmarks and test sets page, in the Evaluating language technology module) (voir aussi la page Tests de performances et jeux de test, dans le module L'évaluation des technologies langagières).
• The gold standard gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. , or the judges. Another gold standard gives another score (see also the gold standard page, in the Evaluating language technology module) (voir aussi la page L'étalon de référence, dans le module L'évaluation des technologies langagières). Where people judge the output directly, other judges can rank the same systems differently (Freitag et al., 2021) (see also the Ways of evaluating page, in the Evaluating language technology module) (voir aussi la page Les façons d'évaluer, dans le module L'évaluation des technologies langagières).
• What counts as correct. An evaluation has to decide how strictly an output must match the gold standard. For example, if a tool returns half-halts and the gold standard has half-halt, the output can be counted as correct or as wrong. The stricter the rule, the lower the score (see also the Matching rules page, in the Evaluating language technology module) (voir aussi la page Les règles de correspondance, dans le module L'évaluation des technologies langagières).
• The run. A system built on a large language model large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. can give different output for the same request from one run to the next, so a result obtained once may not come out again (Ouyang et al., 2025) (see also the LLMs are non-deterministic page, in the LLM lifecycle module) (voir aussi la page Les GML ne sont pas déterministes, dans le module Cycle de vie des GML). An evaluation of such a system states the model, its version, the date and the settings, and is run more than once.
• The measure. A measure captures one aspect of quality, and a high score says nothing about the aspects it does not capture (see also the Benchmarks and test sets page, in the Evaluating language technology module) (voir aussi la page Tests de performances et jeux de test, dans le module L'évaluation des technologies langagières).

Error analysis

A score says how often a system was wrong, but not how. Whatever the way of evaluating, looking at the output itself always adds something to the score, and it can be done in two ways:

• Quantitative error analysis: the errors are sorted into kinds, and each kind is counted, for example how many of the terms a tool missed are long ones and how many are rare ones. Where the evaluation is itself an error annotation data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. , as is common for translation, these counts are already part of it (see also the Ways of evaluating page, in the Evaluating language technology module) (voir aussi la page Les façons d'évaluer, dans le module L'évaluation des technologies langagières).
• Qualitative error analysis: a person reads a sample of the output, wrong and correct, and describes what the system does.

Error analysis has two uses:

• It finds flaws that a score does not show. For example, a large language model can score very poorly because its answers are not in the format that was asked for, so the program that counts them cannot read them, although the answers themselves are good.
• It shows how a system fails, and so how it might be improved. Two tools with the same score can fail in different ways. When several teams tested their term extractors on the same data, some reached higher precision precisionprécision evaluationévaluation The share of the items a system returned that are correct according to the gold standard.Part des éléments trouvés par un système qui sont corrects selon la référence. (less of what they returned was wrong) and others higher recall recallrappel evaluationévaluation The share of the items in the gold standard that a system returned.Part des éléments de la référence qu'un système a trouvés. (they missed less), and they found different kinds of terms (Rigouts Terryn et al., 2020b) (see also the Precision, recall and F1 page, in the Evaluating language technology module) (voir aussi la page Précision, rappel et score F1, dans le module L'évaluation des technologies langagières).

Comparing two scores

A difference between two scores means something only when the texts, the gold standard or the judges, and the rule for what counts as correct are the same for both.

Even then, a small difference can arise by chance. The smaller the evaluation data, the more easily that happens, and for a system built on a large language model, two runs of the same evaluation can already give different scores. Statistical significance tests estimate whether a difference is larger than chance would produce (Dror et al., 2018). In practice, a difference is more convincing when the evaluation data are large, when the evaluation was run several times, and when the difference is larger than the variation between runs.

Ce dont dépend un score

Un score de 0,53 pour un extracteur de termes, ou de 80 % pour un agent conversationnel sur un ensemble de questions, a l’air d’une propriété du système, mais cinq autres éléments l’ont produit :

• Les textes. Un outil obtient un autre score sur un autre domaine, une autre langue ou un autre type de document (see also the Benchmarks and test sets page, in the Evaluating language technology module) (voir aussi la page Tests de performances et jeux de test, dans le module L'évaluation des technologies langagières).
• L’étalon de référence gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. , ou les juges. Un autre étalon de référence donne un autre score (see also the gold standard page, in the Evaluating language technology module) (voir aussi la page L'étalon de référence, dans le module L'évaluation des technologies langagières). Lorsque des personnes jugent la sortie directement, d’autres juges peuvent classer les mêmes systèmes autrement (Freitag et al., 2021) (see also the Ways of evaluating page, in the Evaluating language technology module) (voir aussi la page Les façons d'évaluer, dans le module L'évaluation des technologies langagières).
• Les sorties comptées comme correctes. Une évaluation doit décider avec quelle rigueur une sortie doit correspondre à l’étalon de référence. Par exemple, si un outil renvoie demi-arrêts et que l’étalon de référence contient demi-arrêt, la sortie peut être comptée comme correcte ou comme fausse. Plus la règle est stricte, plus le score est bas (see also the Matching rules page, in the Evaluating language technology module) (voir aussi la page Les règles de correspondance, dans le module L'évaluation des technologies langagières).
• L’exécution. Un système construit sur un grand modèle de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. peut donner une sortie différente pour la même requête d’une exécution à l’autre, de sorte qu’un résultat obtenu une fois peut ne pas se reproduire (Ouyang et al., 2025) (see also the LLMs are non-deterministic page, in the LLM lifecycle module) (voir aussi la page Les GML ne sont pas déterministes, dans le module Cycle de vie des GML). L’évaluation d’un tel système précise le modèle, sa version, la date et les réglages, et elle est exécutée plus d’une fois.
• La mesure. Une mesure rend compte d’un seul aspect de la qualité, et un score élevé ne dit rien des aspects dont elle ne rend pas compte (see also the Benchmarks and test sets page, in the Evaluating language technology module) (voir aussi la page Tests de performances et jeux de test, dans le module L'évaluation des technologies langagières).

L’analyse des erreurs

Un score dit à quelle fréquence un système s’est trompé, mais pas comment. Quelle que soit la façon d’évaluer, examiner la sortie elle-même ajoute toujours quelque chose au score, et cela peut se faire de deux façons :

• L’analyse quantitative des erreurs : les erreurs sont triées par types, et chaque type est compté, par exemple combien des termes qu’un outil a manqués sont longs et combien sont rares. Lorsque l’évaluation est elle-même une annotation data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. des erreurs, comme c’est courant en traduction, ces décomptes en font déjà partie (see also the Ways of evaluating page, in the Evaluating language technology module) (voir aussi la page Les façons d'évaluer, dans le module L'évaluation des technologies langagières).
• L’analyse qualitative des erreurs : une personne lit un échantillon de la sortie, fautif et correct, et décrit ce que fait le système.

L’analyse des erreurs a deux utilités :

• Elle révèle des défauts qu’un score ne montre pas. Par exemple, un grand modèle de langue peut obtenir un très mauvais score parce que ses réponses ne sont pas dans le format demandé, de sorte que le programme qui les compte ne peut pas les lire, alors que les réponses elles-mêmes sont bonnes.
• Elle montre comment un système échoue, et donc comment il pourrait être amélioré. Deux outils qui ont le même score peuvent échouer de façons différentes. Lorsque plusieurs équipes ont testé leurs extracteurs de termes sur les mêmes données, certaines ont atteint une précision precisionprécision evaluationévaluation The share of the items a system returned that are correct according to the gold standard.Part des éléments trouvés par un système qui sont corrects selon la référence. plus élevée (une moindre part de ce qu’elles renvoyaient était fausse) et d’autres un rappel recallrappel evaluationévaluation The share of the items in the gold standard that a system returned.Part des éléments de la référence qu'un système a trouvés. plus élevé (elles manquaient moins de termes), et elles ont trouvé des types de termes différents (Rigouts Terryn et al., 2020b) (see also the Precision, recall and F1 page, in the Evaluating language technology module) (voir aussi la page Précision, rappel et score F1, dans le module L'évaluation des technologies langagières).

Comparer deux scores

Une différence entre deux scores n’a de sens que si les textes, l’étalon de référence ou les juges, et la règle qui fixe les sorties comptées comme correctes sont les mêmes pour les deux.

Même dans ce cas, une petite différence peut être due au hasard. Plus les données d’évaluation sont peu nombreuses, plus cela se produit facilement, et pour un système construit sur un grand modèle de langue, deux exécutions de la même évaluation peuvent déjà donner des scores différents. Les tests de signification statistique estiment si une différence est plus grande que ce que le hasard produirait (Dror et al., 2018). En pratique, une différence est plus convaincante lorsque les données d’évaluation sont nombreuses, lorsque l’évaluation a été exécutée plusieurs fois et lorsque la différence est plus grande que la variation entre les exécutions.

Extraction and classification

This chapter is about two kinds of system (Figure 1figure 1):

• systems that find things in a text, such as a term extractor automatic term extraction (ATE)extraction automatique de termes NLPTAL The identification, by a program, of candidate terms in a text or a corpus, for a person to validate.Repérage, par un programme, de candidats terminologiques dans un texte ou un corpus, en vue de leur validation par une personne. or a system for named entity recognition named entity recognition (NER)reconnaissance d'entités nommées (REN) NLPTAL The task of finding the spans of a text that are proper names, and labelling the category, most often a person, a location or an organization.Tâche qui consiste à repérer dans un texte les segments qui sont des noms propres, et à en étiqueter la catégorie, le plus souvent une personne, un lieu ou une organisation. ;
• systems that sort items into classes (classification classificationclassification machine learningapprentissage automatique A task whose answer is one of a fixed set of categories: the system is asked which of k classes an input belongs to.Tâche dont la réponse est l'une des catégories d'un ensemble fixe : le système doit dire à laquelle des k classes appartient une entrée. ), such as a spam filter, or a system that labels a review as positive or negative.

Such systems are most often evaluated by comparing their output with a gold standard gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. , the answers that people gave for the same input (see also the gold standard page, in the Evaluating language technology module) (voir aussi la page L'étalon de référence, dans le module L'évaluation des technologies langagières). Several measures can turn that comparison into a score. The focus here is on three that are commonly used together: precision precisionprécision evaluationévaluation The share of the items a system returned that are correct according to the gold standard.Part des éléments trouvés par un système qui sont corrects selon la référence. , recall recallrappel evaluationévaluation The share of the items in the gold standard that a system returned.Part des éléments de la référence qu'un système a trouvés. and the F1 score F1 scorescore F1 evaluationévaluation The harmonic mean of precision and recall: a single number between 0 and 1 that is high only when both are high.Moyenne harmonique de la précision et du rappel : un seul nombre entre 0 et 1, qui n'est élevé que si les deux le sont. .

An example of each error

For example, a term extractor, a tool that lists the specialized terms of a text, is run on a sentence about dressage, an equestrian sport (Figure 2figure 2):

• the tool returns a list of three candidates: flying change, last corner and collected canter;
• the gold standard is a list of three terms: flying change, half-halt and collected canter.

Two candidates are on both lists, so they are correct. The tool has also made two errors, of different kinds:

• last corner was returned, but it is not a term;
• half-halt is a term, but it was not returned.

The four outcomes

When the output of a system is compared with a gold standard, every decision is one of four cases, defined in the boxes below and often abbreviated TP, FP, FN and TN.

In the example above, flying change and collected canter are true positives, last corner is a false positive and half-halt is a false negative. The true negatives are everything else in the text. Figure 3figure 3 builds up the four cases for a term extractor.

Jurafsky and Martin (2026) present the same four cases as a table, called a confusion matrix, for a system that sorts items into two classes, such as a spam filter: a message stopped by mistake is a false positive, and spam that reaches the inbox is a false negative.

Noise and silence

The false positives are also called noise, and the false negatives silence. You can interpret the two words quite literally: noise is output that should not be there, and silence is output that is missing.

True negatives

The fourth case differs between the two kinds of system (Figure 4figure 4):

• For a spam filter, each message is one item, so the true negatives, the messages that are not spam and were let through, can be counted.
• For a system that finds things in a text, such as a term extractor, the true negatives would be every word and every sequence of words that is not a term and was not returned. Such units vary in length and overlap, so their number is not well defined (Hripcsak & Rothschild, 2005).

The scores most often used for both kinds of system, precision and recall, are calculated from the other three cases only (Jurafsky & Martin, 2026) (see also the Precision, recall and F1 page, in the Evaluating language technology module) (voir aussi la page Précision, rappel et score F1, dans le module L'évaluation des technologies langagières).

The trade-off between the two errors

The two errors work against each other. A tool set to return more candidates misses fewer terms, but it also returns more units that are not terms. A tool set to return fewer candidates does the reverse.

In Figure 5figure 5, a tool has ranked twelve candidates, and the list is cut at three points. The further down the list the cut is made, the fewer terms are missed and the more noise comes with them. An evaluation therefore reports each of the two errors as well as a score that combines them.

Extraction et classification

Ce chapitre porte sur deux types de système (Figure 1figure 1) :

• les systèmes qui repèrent des éléments dans un texte, comme un extracteur de termes automatic term extraction (ATE)extraction automatique de termes NLPTAL The identification, by a program, of candidate terms in a text or a corpus, for a person to validate.Repérage, par un programme, de candidats terminologiques dans un texte ou un corpus, en vue de leur validation par une personne. ou un système de reconnaissance d’entités nommées named entity recognition (NER)reconnaissance d'entités nommées (REN) NLPTAL The task of finding the spans of a text that are proper names, and labelling the category, most often a person, a location or an organization.Tâche qui consiste à repérer dans un texte les segments qui sont des noms propres, et à en étiqueter la catégorie, le plus souvent une personne, un lieu ou une organisation.  ;
• les systèmes qui classent des éléments (classification classificationclassification machine learningapprentissage automatique A task whose answer is one of a fixed set of categories: the system is asked which of k classes an input belongs to.Tâche dont la réponse est l'une des catégories d'un ensemble fixe : le système doit dire à laquelle des k classes appartient une entrée. ), comme un filtre antipourriel, ou un système qui étiquette une critique comme positive ou négative.

De tels systèmes sont le plus souvent évalués en comparant leur sortie à un étalon de référence gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. , les réponses que des personnes ont données pour les mêmes données (see also the gold standard page, in the Evaluating language technology module) (voir aussi la page L'étalon de référence, dans le module L'évaluation des technologies langagières). Plusieurs mesures permettent de transformer cette comparaison en score. Ce chapitre se concentre sur trois mesures couramment utilisées ensemble : la précision precisionprécision evaluationévaluation The share of the items a system returned that are correct according to the gold standard.Part des éléments trouvés par un système qui sont corrects selon la référence. , le rappel recallrappel evaluationévaluation The share of the items in the gold standard that a system returned.Part des éléments de la référence qu'un système a trouvés. et le score F1 F1 scorescore F1 evaluationévaluation The harmonic mean of precision and recall: a single number between 0 and 1 that is high only when both are high.Moyenne harmonique de la précision et du rappel : un seul nombre entre 0 et 1, qui n'est élevé que si les deux le sont. .

Un exemple de chaque erreur

Par exemple, un extracteur de termes, un outil qui dresse la liste des termes spécialisés d’un texte, traite une phrase sur le dressage, un sport équestre (Figure 2figure 2) :

• l’outil propose une liste de trois candidats : changement de pied, dernier coin et galop rassemblé ;
• l’étalon de référence est une liste de trois termes : changement de pied, demi-arrêt et galop rassemblé.

Deux candidats figurent sur les deux listes : ils sont donc corrects. L’outil a aussi fait deux erreurs, de types différents :

• dernier coin a été proposé, mais ce n’est pas un terme ;
• demi-arrêt est un terme, mais il n’a pas été trouvé.

Les quatre cas

Quand la sortie d’un système est comparée à un étalon de référence, chaque décision correspond à l’un de quatre cas, définis dans les encadrés ci-dessous et souvent abrégés VP, FP, FN et VN.

Dans l’exemple ci-dessus, changement de pied et galop rassemblé sont des vrais positifs, dernier coin est un faux positif et demi-arrêt est un faux négatif. Les vrais négatifs sont tout le reste du texte. La Figure 3figure 3 construit les quatre cas pour un extracteur de termes.

Jurafsky et Martin (2026) présentent les mêmes quatre cas sous forme de tableau, appelé matrice de confusion, pour un système qui classe des éléments en deux classes, comme un filtre antipourriel : un message arrêté par erreur est un faux positif, et un pourriel qui arrive dans la boîte de réception est un faux négatif.

Le bruit et le silence

L’ensemble des faux positifs s’appelle aussi le bruit, et l’ensemble des faux négatifs, le silence. Les deux mots peuvent se comprendre littéralement : le bruit est ce qui ne devrait pas se trouver dans la sortie, et le silence, ce qui y manque.

Les vrais négatifs

Le quatrième cas n’est pas le même pour les deux types de système (Figure 4figure 4) :

• Pour un filtre antipourriel, chaque message est un élément : les vrais négatifs, les messages qui ne sont pas des pourriels et que le filtre a laissés passer, peuvent donc être comptés.
• Pour un système qui repère des éléments dans un texte, comme un extracteur de termes, les vrais négatifs seraient chaque mot et chaque suite de mots qui n’est pas un terme et n’a pas été trouvée. Ces unités varient en longueur et se chevauchent : leur nombre n’est donc pas bien défini (Hripcsak & Rothschild, 2005).

Les scores les plus utilisés pour les deux types de système, la précision et le rappel, se calculent à partir des trois autres cas seulement (Jurafsky & Martin, 2026) (see also the Precision, recall and F1 page, in the Evaluating language technology module) (voir aussi la page Précision, rappel et score F1, dans le module L'évaluation des technologies langagières).

Le compromis entre les deux erreurs

Les deux erreurs s’opposent. Un outil réglé pour proposer plus de candidats manque moins de termes, mais il propose aussi plus d’unités qui ne sont pas des termes. Un outil réglé pour proposer moins de candidats fait l’inverse.

Dans Figure 5figure 5, un outil a classé douze candidats, et la liste est coupée à trois endroits. Plus la coupure se fait bas dans la liste, moins il manque de termes, et plus il y a de bruit. Une évaluation indique donc chacune des deux erreurs, en plus d’un score qui les combine.

Precision and recall

For a system that finds things in a text, or that sorts items into two classes, the comparison with a gold standard gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. gives two scores (Jurafsky & Martin, 2026). Figure 6figure 6 shows the parts they are calculated from, for a term extractor.

Each score can be explained in several ways, and one may be clearer to you than the others:

• Precision
  • as a formula: precision = TP / (TP + FP);
  • as a share: the true positives true positive (TP)vrai positif (VP) evaluationévaluation An item that a system returned, or assigned to the class it looks for, and that the gold standard also contains: for example, a candidate that is a term, or spam stopped by a spam filter.Élément qu'un système a trouvé, ou classé dans la classe recherchée, et que la référence contient aussi : par exemple, un candidat qui est un terme, ou un pourriel arrêté par un filtre antipourriel. divided by everything the system returned, for a term extractor all its candidates;
  • as a question: of everything the system returned, how much is correct?
  • false positives false positive (FP)faux positif (FP) evaluationévaluation An item that a system returned, or assigned to the class it looks for, but that the gold standard does not contain: for example, a candidate that is not a term, or a legitimate message stopped by a spam filter.Élément qu'un système a trouvé, ou classé dans la classe recherchée, mais que la référence ne contient pas : par exemple, un candidat qui n'est pas un terme, ou un message légitime arrêté par un filtre antipourriel. , the noise noisebruit evaluationévaluation The items a system returns that are not correct: in term extraction, the candidates that are not terms.Éléments trouvés par un système qui ne sont pas corrects : en extraction de termes, les candidats qui ne sont pas des termes. , lower it.
• Recall
  • as a formula: recall = TP / (TP + FN);
  • as a share: the true positives divided by everything in the gold standard, for a term extractor all its terms;
  • as a question: of everything in the gold standard, how much did the system find?
  • false negatives false negative (FN)faux négatif (FN) evaluationévaluation An item that the gold standard contains but that a system did not return, or did not assign to the class it looks for: for example, a term that was not proposed, or spam that reaches the inbox.Élément que la référence contient, mais qu'un système n'a ni trouvé ni classé dans la classe recherchée : par exemple, un terme qui n'a pas été proposé, ou un pourriel qui arrive dans la boîte de réception. , the silence silencesilence evaluationévaluation The correct items a system fails to return: in term extraction, the terms of the gold standard that were not proposed.Éléments corrects qu'un système ne trouve pas : en extraction de termes, les termes de la référence qui n'ont pas été proposés. , lower it.

A worked example

In this example, a term extractor returns ten candidates for a short text about dressage, and the gold standard for that text has nine terms (Figure 7figure 7).

Five candidates are on both lists, so there are 5 true positives, 5 false positives and 4 false negatives (Figure 8figure 8):

• precision = 5 / (5 + 5) = 0.50;
• recall = 5 / (5 + 4) = 0.56.

The F1 score

The F1 score combines precision and recall into one number.

It is twice their product divided by their sum: F1 = 2 × precision × recall / (precision + recall), here 2 × 0.50 × 0.56 / (0.50 + 0.56) = 0.53. As a harmonic mean, it is closer to the lower of the two values than an ordinary average would be (Jurafsky & Martin, 2026), so a tool cannot score well by doing one thing only. For example, if a tool returned every word and every sequence of words of a text, it would have perfect recall, a precision close to zero, and an F1 score close to zero (Figure 9figure 9).

The scores change with the number of candidates a tool returns. Figure 10figure 10 gives the three scores after each candidate of the ranked list of Figure 5figure 5: as more candidates are kept, precision falls and recall rises, and the F1 score is highest after seven candidates.

More than two classes

When a system sorts items into more than two classes, for example emails into urgent, normal and spam, precision and recall are calculated for each class. The scores of the classes are then averaged (macroaveraging), or the decisions for all classes are pooled before the calculation (microaveraging), in which case the most frequent class has the most influence on the result (Jurafsky & Martin, 2026).

Accuracy

The most obvious score is accuracy.

Unlike precision and recall, accuracy also counts the true negatives true negative (TN)vrai négatif (VN) evaluationévaluation An item that the gold standard does not contain and that a system did not return, or did not assign to the class it looks for: for example, a legitimate message that a spam filter lets through.Élément que la référence ne contient pas et qu'un système n'a ni trouvé ni classé dans la classe recherchée : par exemple, un message légitime qu'un filtre antipourriel laisse passer. : accuracy = (TP + TN) / (TP + FP + FN + TN). In words, accuracy is the number of correct decisions, positive or negative, divided by the number of all decisions. It can be calculated for a system that sorts items into classes, where the true negatives can be counted, but not for a system that finds things in a text (see also the False positives and false negatives page, in the Evaluating language technology module) (voir aussi la page Faux positifs et faux négatifs, dans le module L'évaluation des technologies langagières).

Figure 11figure 11 calculates it for a spam filter and 100 messages: 10 of the messages are spam, and the filter stops 6 of them and 6 messages that are not spam.

Accuracy is misleading when the class to find is rare, as the second matrix shows. Jurafsky and Martin (2026) give a more extreme example: a million social media posts, of which a hundred are about the product a company wants to follow: a system that labels every post as not about the product is right for 99.99 % of the posts, but it has found none of the hundred. Precision and recall do not count the true negatives, so the same system has a recall of zero (see also the Baselines page, in the Evaluating language technology module) (voir aussi la page Les étalons, dans le module L'évaluation des technologies langagières).

La précision et le rappel

Pour un système qui repère des éléments dans un texte, ou qui classe des éléments en deux classes, la comparaison avec un étalon de référence gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. donne deux scores (Jurafsky & Martin, 2026). La Figure 6figure 6 montre les parties à partir desquelles ils se calculent, pour un extracteur de termes.

Chaque score peut s’expliquer de plusieurs façons, et l’une d’elles vous paraîtra peut-être plus claire que les autres :

• Précision
  • sous forme de formule : précision = VP / (VP + FP) ;
  • sous forme de part : les vrais positifs true positive (TP)vrai positif (VP) evaluationévaluation An item that a system returned, or assigned to the class it looks for, and that the gold standard also contains: for example, a candidate that is a term, or spam stopped by a spam filter.Élément qu'un système a trouvé, ou classé dans la classe recherchée, et que la référence contient aussi : par exemple, un candidat qui est un terme, ou un pourriel arrêté par un filtre antipourriel. divisés par tout ce que le système a trouvé, pour un extracteur de termes tous ses candidats ;
  • sous forme de question : de tout ce que le système a trouvé, quelle part est correcte ?
  • les faux positifs false positive (FP)faux positif (FP) evaluationévaluation An item that a system returned, or assigned to the class it looks for, but that the gold standard does not contain: for example, a candidate that is not a term, or a legitimate message stopped by a spam filter.Élément qu'un système a trouvé, ou classé dans la classe recherchée, mais que la référence ne contient pas : par exemple, un candidat qui n'est pas un terme, ou un message légitime arrêté par un filtre antipourriel. , le bruit noisebruit evaluationévaluation The items a system returns that are not correct: in term extraction, the candidates that are not terms.Éléments trouvés par un système qui ne sont pas corrects : en extraction de termes, les candidats qui ne sont pas des termes. , la font baisser.
• Rappel
  • sous forme de formule : rappel = VP / (VP + FN) ;
  • sous forme de part : les vrais positifs divisés par tout ce que contient l’étalon de référence, pour un extracteur de termes tous ses termes ;
  • sous forme de question : de tout ce que contient l’étalon de référence, quelle part le système a-t-il trouvée ?
  • les faux négatifs false negative (FN)faux négatif (FN) evaluationévaluation An item that the gold standard contains but that a system did not return, or did not assign to the class it looks for: for example, a term that was not proposed, or spam that reaches the inbox.Élément que la référence contient, mais qu'un système n'a ni trouvé ni classé dans la classe recherchée : par exemple, un terme qui n'a pas été proposé, ou un pourriel qui arrive dans la boîte de réception. , le silence silencesilence evaluationévaluation The correct items a system fails to return: in term extraction, the terms of the gold standard that were not proposed.Éléments corrects qu'un système ne trouve pas : en extraction de termes, les termes de la référence qui n'ont pas été proposés. , le font baisser.

Un exemple détaillé

Dans cet exemple, un extracteur de termes propose dix candidats pour un court texte sur le dressage, et l’étalon de référence de ce texte compte neuf termes (Figure 7figure 7).

Cinq candidats figurent sur les deux listes : il y a donc 5 vrais positifs, 5 faux positifs et 4 faux négatifs (Figure 8figure 8) :

• précision = 5 / (5 + 5) = 0,50 ;
• rappel = 5 / (5 + 4) = 0,56.

Le score F1

Le score F1 combine la précision et le rappel en un seul nombre.

Il vaut deux fois leur produit, divisé par leur somme : F1 = 2 × précision × rappel / (précision + rappel), ici 2 × 0,50 × 0,56 / (0,50 + 0,56) = 0,53. Comme moyenne harmonique, il est plus proche de la plus basse des deux valeurs que ne le serait une moyenne ordinaire (Jurafsky & Martin, 2026) : un outil ne peut donc pas obtenir un bon score en ne faisant qu’une seule chose. Par exemple, si un outil proposait chaque mot et chaque suite de mots d’un texte, il aurait un rappel parfait, une précision proche de zéro et un score F1 proche de zéro (Figure 9figure 9).

Les scores changent avec le nombre de candidats qu’un outil propose. La Figure 10figure 10 donne les trois scores après chaque candidat de la liste classée de Figure 5figure 5 : à mesure qu’on garde plus de candidats, la précision baisse et le rappel augmente, et le score F1 est le plus élevé après sept candidats.

Plus de deux classes

Quand un système classe des éléments en plus de deux classes, par exemple des courriels en urgents, normaux et pourriels, la précision et le rappel se calculent pour chaque classe. On fait ensuite la moyenne des scores des classes (macromoyenne), ou on regroupe les décisions de toutes les classes avant le calcul (micromoyenne) ; dans ce cas, la classe la plus fréquente pèse le plus sur le résultat (Jurafsky & Martin, 2026).

L’exactitude

Le score le plus évident est l’exactitude.

Contrairement à la précision et au rappel, l’exactitude compte aussi les vrais négatifs true negative (TN)vrai négatif (VN) evaluationévaluation An item that the gold standard does not contain and that a system did not return, or did not assign to the class it looks for: for example, a legitimate message that a spam filter lets through.Élément que la référence ne contient pas et qu'un système n'a ni trouvé ni classé dans la classe recherchée : par exemple, un message légitime qu'un filtre antipourriel laisse passer.  : exactitude = (VP + VN) / (VP + FP + FN + VN). Autrement dit, l’exactitude est le nombre de décisions correctes, positives ou négatives, divisé par le nombre total de décisions. Elle peut se calculer pour un système qui classe des éléments, où les vrais négatifs peuvent être comptés, mais pas pour un système qui repère des éléments dans un texte (see also the False positives and false negatives page, in the Evaluating language technology module) (voir aussi la page Faux positifs et faux négatifs, dans le module L'évaluation des technologies langagières).

La Figure 11figure 11 la calcule pour un filtre antipourriel et 100 messages : 10 de ces messages sont des pourriels, et le filtre en arrête 6, ainsi que 6 messages qui ne sont pas des pourriels.

L’exactitude est trompeuse quand la classe à trouver est rare, comme le montre la deuxième matrice. Jurafsky et Martin (2026) donnent un exemple plus extrême : un million de publications sur les réseaux sociaux, dont une centaine portent sur le produit qu’une entreprise veut suivre. Un système qui étiquette chaque publication comme ne portant pas sur le produit a raison pour 99,99 % des publications, mais il n’a trouvé aucune des cent. La précision et le rappel ne comptent pas les vrais négatifs : le même système a donc un rappel de zéro (see also the Baselines page, in the Evaluating language technology module) (voir aussi la page Les étalons, dans le module L'évaluation des technologies langagières).

The two lists

The exercises below are about a term extractor that returns six candidates for a short text about dressage. The gold standard gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. for that text has eight terms. The table below gives both lists.

Exercises

Les deux listes

Les exercices ci-dessous portent sur un extracteur de termes qui propose six candidats pour un court texte sur le dressage. L’étalon de référence gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. de ce texte compte huit termes. Le tableau ci-dessous donne les deux listes.

Exercices

Matching decisions

The scores of a system that finds things in a text depend on how strictly an answer has to match the gold standard gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. to count as correct (see also the Interpreting a score page, in the Evaluating language technology module) (voir aussi la page Interpréter un score, dans le module L'évaluation des technologies langagières). The same decisions come up for any such task. The table below gives them for term extraction (see also the Automatic term extraction (from rules to large language models) chapter, in the Classical NLP module) (voir aussi le chapitre Extraction automatique de termes (des règles aux grands modèles de langue), dans le module TAL classique) and for named entity recognition named entity recognition (NER)reconnaissance d'entités nommées (REN) NLPTAL The task of finding the spans of a text that are proper names, and labelling the category, most often a person, a location or an organization.Tâche qui consiste à repérer dans un texte les segments qui sont des noms propres, et à en étiqueter la catégorie, le plus souvent une personne, un lieu ou une organisation. , which finds the names of people, places and organizations in a text.

For classification classificationclassification machine learningapprentissage automatique A task whose answer is one of a fixed set of categories: the system is asked which of k classes an input belongs to.Tâche dont la réponse est l'une des catégories d'un ensemble fixe : le système doit dire à laquelle des k classes appartient une entrée. , most of these decisions do not come up: each item, such as a message, is a unit with fixed boundaries, and the system gives it a class. Jurafsky and Martin (2026) point out that named entity recognition has a step of segmentation, deciding where each name starts and ends, which text classification does not have, and that this step complicates its evaluation.

In Figure 12figure 12, for example, the same four candidates get an F1 score F1 scorescore F1 evaluationévaluation The harmonic mean of precision and recall: a single number between 0 and 1 that is high only when both are high.Moyenne harmonique de la précision et du rappel : un seul nombre entre 0 et 1, qui n'est élevé que si les deux le sont. of 0.25, 0.50 or 0.75, depending on the decision about form.

Four findings show how much these decisions can change the scores:

• Partial matches in named entity recognition. When the name is the unit that is counted, a system that returns Jane where the gold standard has Jane Villanueva makes two errors at once: a false positive false positive (FP)faux positif (FP) evaluationévaluation An item that a system returned, or assigned to the class it looks for, but that the gold standard does not contain: for example, a candidate that is not a term, or a legitimate message stopped by a spam filter.Élément qu'un système a trouvé, ou classé dans la classe recherchée, mais que la référence ne contient pas : par exemple, un candidat qui n'est pas un terme, ou un message légitime arrêté par un filtre antipourriel. for Jane and a false negative false negative (FN)faux négatif (FN) evaluationévaluation An item that the gold standard contains but that a system did not return, or did not assign to the class it looks for: for example, a term that was not proposed, or spam that reaches the inbox.Élément que la référence contient, mais qu'un système n'a ni trouvé ni classé dans la classe recherchée : par exemple, un terme qui n'a pas été proposé, ou un pourriel qui arrive dans la boîte de réception. for Jane Villanueva (Jurafsky & Martin, 2026).
• Partial matches and cut-off in term extraction. Reported scores differ greatly depending on how strict the evaluation is, for example on whether partial matches are accepted, and they change with the point at which a ranked list is cut off (Rigouts Terryn et al., 2019).
• Unique terms or occurrences. Scores for every occurrence in the running text and scores for a list of unique terms can lead to different conclusions, for example about the language or the domain in which a system does best (Rigouts Terryn et al., 2022b).
• Form. A large language model large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. sometimes returns a form that is not in the text word for word, such as follow-up where the text has follow up (Rigouts Terryn, 2026).

Candidates between right and wrong

A strict comparison has two outcomes, correct or not, but many candidates of a term extractor are between the two (Figure 13figure 13):

• the candidate is part of a term in the gold standard;
• the candidate is a term of the gold standard with another word attached;
• the candidate would be a term for some purposes and not for others.

The same cases come up in named entity recognition, for instance Curie for Marie Curie, or the University of Paris with one word too many. A strict evaluation counts all of them as errors. A more lenient evaluation accepts some of them and gives higher scores, so scores obtained with different rules cannot be compared.

Les décisions de correspondance

Les scores d’un système qui repère des éléments dans un texte dépendent de la rigueur avec laquelle une réponse doit correspondre à l’étalon de référence gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. pour compter comme correcte (see also the Interpreting a score page, in the Evaluating language technology module) (voir aussi la page Interpréter un score, dans le module L'évaluation des technologies langagières). Les mêmes décisions se posent pour toute tâche de ce genre. Le tableau ci-dessous les donne pour l’extraction de termes (see also the Automatic term extraction (from rules to large language models) chapter, in the Classical NLP module) (voir aussi le chapitre Extraction automatique de termes (des règles aux grands modèles de langue), dans le module TAL classique) et pour la reconnaissance d’entités nommées named entity recognition (NER)reconnaissance d'entités nommées (REN) NLPTAL The task of finding the spans of a text that are proper names, and labelling the category, most often a person, a location or an organization.Tâche qui consiste à repérer dans un texte les segments qui sont des noms propres, et à en étiqueter la catégorie, le plus souvent une personne, un lieu ou une organisation. , qui repère les noms de personnes, de lieux et d’organisations dans un texte.

Pour la classification classificationclassification machine learningapprentissage automatique A task whose answer is one of a fixed set of categories: the system is asked which of k classes an input belongs to.Tâche dont la réponse est l'une des catégories d'un ensemble fixe : le système doit dire à laquelle des k classes appartient une entrée. , la plupart de ces décisions ne se posent pas : chaque élément, comme un message, est une unité aux limites fixes, et le système lui attribue une classe. Jurafsky et Martin (2026) font remarquer que la reconnaissance d’entités nommées comporte une étape de segmentation, qui décide où chaque nom commence et finit, que la classification de textes n’a pas, et que cette étape complique son évaluation.

Dans Figure 12figure 12, par exemple, les mêmes quatre candidats obtiennent un score F1 F1 scorescore F1 evaluationévaluation The harmonic mean of precision and recall: a single number between 0 and 1 that is high only when both are high.Moyenne harmonique de la précision et du rappel : un seul nombre entre 0 et 1, qui n'est élevé que si les deux le sont. de 0,25, de 0,50 ou de 0,75, selon la décision sur la forme.

Quatre constats montrent à quel point ces décisions peuvent changer les scores :

• Correspondances partielles en reconnaissance d’entités nommées. Quand l’unité comptée est le nom, un système qui propose Jane là où l’étalon de référence contient Jane Villanueva fait deux erreurs à la fois : un faux positif false positive (FP)faux positif (FP) evaluationévaluation An item that a system returned, or assigned to the class it looks for, but that the gold standard does not contain: for example, a candidate that is not a term, or a legitimate message stopped by a spam filter.Élément qu'un système a trouvé, ou classé dans la classe recherchée, mais que la référence ne contient pas : par exemple, un candidat qui n'est pas un terme, ou un message légitime arrêté par un filtre antipourriel. pour Jane et un faux négatif false negative (FN)faux négatif (FN) evaluationévaluation An item that the gold standard contains but that a system did not return, or did not assign to the class it looks for: for example, a term that was not proposed, or spam that reaches the inbox.Élément que la référence contient, mais qu'un système n'a ni trouvé ni classé dans la classe recherchée : par exemple, un terme qui n'a pas été proposé, ou un pourriel qui arrive dans la boîte de réception. pour Jane Villanueva (Jurafsky & Martin, 2026).
• Correspondances partielles et seuil en extraction de termes. Les scores publiés varient beaucoup selon la rigueur de l’évaluation, par exemple selon que les correspondances partielles sont acceptées ou non, et ils changent avec l’endroit où une liste classée est coupée (Rigouts Terryn et al., 2019).
• Termes uniques ou occurrences. Les scores calculés sur chaque occurrence dans le texte et les scores calculés sur une liste de termes uniques peuvent mener à des conclusions différentes, par exemple sur la langue ou le domaine où un système réussit le mieux (Rigouts Terryn et al., 2022b).
• Forme. Un grand modèle de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. donne parfois une forme qui ne figure pas telle quelle dans le texte, comme follow-up là où le texte a follow up (Rigouts Terryn, 2026).

Les candidats entre le juste et le faux

Une comparaison stricte n’a que deux issues, correct ou non, mais beaucoup de candidats d’un extracteur de termes se situent entre les deux (Figure 13figure 13) :

• le candidat est une partie d’un terme de l’étalon de référence ;
• le candidat est un terme de l’étalon de référence auquel s’ajoute un autre mot ;
• le candidat serait un terme pour certains usages, mais pas pour d’autres.

Les mêmes cas se présentent en reconnaissance d’entités nommées, par exemple Curie pour Marie Curie, ou l’Université de Paris avec un mot de trop. Une évaluation stricte les compte tous comme des erreurs. Une évaluation plus souple en accepte certains et donne des scores plus élevés : des scores obtenus avec des règles différentes ne peuvent donc pas être comparés.

One annotator as the gold standard

Inter-annotator agreement inter-annotator agreement (IAA)accord inter-annotateurs evaluationévaluation How far two or more people who annotate the same data independently give the same answers.Mesure dans laquelle deux personnes ou plus qui annotent les mêmes données séparément donnent les mêmes réponses. (IAA) measures how far people who annotate the same data separately agree, and so how reliable a gold standard is (see also the Agreement between annotators page, in the Evaluating language technology module) (voir aussi la page L'accord entre annotateurs, dans le module L'évaluation des technologies langagières). Several measures exist for it. When two people have each made a list of the terms in the same text, their agreement can be measured with the scores of this chapter, by taking one list as the gold standard gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. and scoring the other like the output of a system:

• the terms on both lists are true positives true positive (TP)vrai positif (VP) evaluationévaluation An item that a system returned, or assigned to the class it looks for, and that the gold standard also contains: for example, a candidate that is a term, or spam stopped by a spam filter.Élément qu'un système a trouvé, ou classé dans la classe recherchée, et que la référence contient aussi : par exemple, un candidat qui est un terme, ou un pourriel arrêté par un filtre antipourriel. ;
• the terms on the second list only are false positives false positive (FP)faux positif (FP) evaluationévaluation An item that a system returned, or assigned to the class it looks for, but that the gold standard does not contain: for example, a candidate that is not a term, or a legitimate message stopped by a spam filter.Élément qu'un système a trouvé, ou classé dans la classe recherchée, mais que la référence ne contient pas : par exemple, un candidat qui n'est pas un terme, ou un message légitime arrêté par un filtre antipourriel. , the noise noisebruit evaluationévaluation The items a system returns that are not correct: in term extraction, the candidates that are not terms.Éléments trouvés par un système qui ne sont pas corrects : en extraction de termes, les candidats qui ne sont pas des termes. ;
• the terms on the first list only are false negatives false negative (FN)faux négatif (FN) evaluationévaluation An item that the gold standard contains but that a system did not return, or did not assign to the class it looks for: for example, a term that was not proposed, or spam that reaches the inbox.Élément que la référence contient, mais qu'un système n'a ni trouvé ni classé dans la classe recherchée : par exemple, un terme qui n'a pas été proposé, ou un pourriel qui arrive dans la boîte de réception. , the silence silencesilence evaluationévaluation The correct items a system fails to return: in term extraction, the terms of the gold standard that were not proposed.Éléments corrects qu'un système ne trouve pas : en extraction de termes, les termes de la référence qui n'ont pas été proposés. .

In Figure 14figure 14, the list of annotator A has five terms and the list of annotator B six, and four terms are on both lists. With A as the gold standard, B has a precision precisionprécision evaluationévaluation The share of the items a system returned that are correct according to the gold standard.Part des éléments trouvés par un système qui sont corrects selon la référence. of 4 / 6 and a recall recallrappel evaluationévaluation The share of the items in the gold standard that a system returned.Part des éléments de la référence qu'un système a trouvés. of 4 / 5. With B as the gold standard, the two values change places. The F1 score F1 scorescore F1 evaluationévaluation The harmonic mean of precision and recall: a single number between 0 and 1 that is high only when both are high.Moyenne harmonique de la précision et du rappel : un seul nombre entre 0 et 1, qui n'est élevé que si les deux le sont. is 0.73 either way, so the IAA between two people is one number, whichever of them is taken as the gold standard. With three annotators or more, each pair is compared in turn and the scores are averaged.

This measure fits the annotation data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. of terms and other things marked in a text, where there is no fixed list of items and the things nobody marked cannot be counted (Hripcsak & Rothschild, 2005) (see also the False positives and false negatives page, in the Evaluating language technology module) (voir aussi la page Faux positifs et faux négatifs, dans le module L'évaluation des technologies langagières).

Measured this way, the IAA between people is on the same scale as the score of a system, and the two can be set side by side.

Un annotateur comme étalon de référence

L’accord inter-annotateurs inter-annotator agreement (IAA)accord inter-annotateurs evaluationévaluation How far two or more people who annotate the same data independently give the same answers.Mesure dans laquelle deux personnes ou plus qui annotent les mêmes données séparément donnent les mêmes réponses. mesure à quel point des personnes qui annotent les mêmes données séparément sont d’accord, et donc à quel point un étalon de référence est fiable (see also the Agreement between annotators page, in the Evaluating language technology module) (voir aussi la page L'accord entre annotateurs, dans le module L'évaluation des technologies langagières). Il existe plusieurs mesures de cet accord. Quand deux personnes ont chacune dressé la liste des termes d’un même texte, leur accord peut se mesurer avec les scores de ce chapitre, en prenant une des listes comme étalon de référence gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. et en évaluant l’autre comme la sortie d’un système :

• les termes qui figurent sur les deux listes sont des vrais positifs true positive (TP)vrai positif (VP) evaluationévaluation An item that a system returned, or assigned to the class it looks for, and that the gold standard also contains: for example, a candidate that is a term, or spam stopped by a spam filter.Élément qu'un système a trouvé, ou classé dans la classe recherchée, et que la référence contient aussi : par exemple, un candidat qui est un terme, ou un pourriel arrêté par un filtre antipourriel.  ;
• les termes qui ne figurent que sur la deuxième liste sont des faux positifs false positive (FP)faux positif (FP) evaluationévaluation An item that a system returned, or assigned to the class it looks for, but that the gold standard does not contain: for example, a candidate that is not a term, or a legitimate message stopped by a spam filter.Élément qu'un système a trouvé, ou classé dans la classe recherchée, mais que la référence ne contient pas : par exemple, un candidat qui n'est pas un terme, ou un message légitime arrêté par un filtre antipourriel. , le bruit noisebruit evaluationévaluation The items a system returns that are not correct: in term extraction, the candidates that are not terms.Éléments trouvés par un système qui ne sont pas corrects : en extraction de termes, les candidats qui ne sont pas des termes.  ;
• les termes qui ne figurent que sur la première liste sont des faux négatifs false negative (FN)faux négatif (FN) evaluationévaluation An item that the gold standard contains but that a system did not return, or did not assign to the class it looks for: for example, a term that was not proposed, or spam that reaches the inbox.Élément que la référence contient, mais qu'un système n'a ni trouvé ni classé dans la classe recherchée : par exemple, un terme qui n'a pas été proposé, ou un pourriel qui arrive dans la boîte de réception. , le silence silencesilence evaluationévaluation The correct items a system fails to return: in term extraction, the terms of the gold standard that were not proposed.Éléments corrects qu'un système ne trouve pas : en extraction de termes, les termes de la référence qui n'ont pas été proposés. .

Dans Figure 14figure 14, la liste de l’annotateur A compte cinq termes et celle de l’annotateur B, six, et quatre termes figurent sur les deux listes. Avec A comme étalon de référence, B a une précision precisionprécision evaluationévaluation The share of the items a system returned that are correct according to the gold standard.Part des éléments trouvés par un système qui sont corrects selon la référence. de 4 / 6 et un rappel recallrappel evaluationévaluation The share of the items in the gold standard that a system returned.Part des éléments de la référence qu'un système a trouvés. de 4 / 5. Avec B comme étalon de référence, les deux valeurs s’inversent. Le score F1 F1 scorescore F1 evaluationévaluation The harmonic mean of precision and recall: a single number between 0 and 1 that is high only when both are high.Moyenne harmonique de la précision et du rappel : un seul nombre entre 0 et 1, qui n'est élevé que si les deux le sont. vaut 0,73 dans les deux cas : l’accord inter-annotateurs entre deux personnes est donc un seul nombre, quelle que soit celle qui sert d’étalon de référence. Avec trois annotateurs ou plus, on compare chaque paire à tour de rôle et on fait la moyenne des scores.

Cette mesure convient à l’annotation data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. de termes et d’autres éléments repérés dans un texte, où il n’y a pas de liste fixe d’éléments et où l’on ne peut pas compter ce que personne n’a repéré (Hripcsak & Rothschild, 2005) (see also the False positives and false negatives page, in the Evaluating language technology module) (voir aussi la page Faux positifs et faux négatifs, dans le module L'évaluation des technologies langagières).

Mesuré ainsi, l’accord inter-annotateurs est sur la même échelle que le score d’un système, et les deux peuvent être comparés directement.

The steps in order

The steps below apply to the evaluation of any system that finds things in a text or sorts items into classes, for instance term extractors, systems for named entity recognition named entity recognition (NER)reconnaissance d'entités nommées (REN) NLPTAL The task of finding the spans of a text that are proper names, and labelling the category, most often a person, a location or an organization.Tâche qui consiste à repérer dans un texte les segments qui sont des noms propres, et à en étiqueter la catégorie, le plus souvent une personne, un lieu ou une organisation. or spam filters. They are the same for a few systems compared by hand on one short text and for a large evaluation on thousands of items.

1. The gold standard gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. is made first. People annotate data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. the evaluation data, following written guidelines, before anyone looks at the output of a system: a term added because a tool found it makes the gold standard depend on that tool. The choices made along the way are written down, for example whether names count as terms, or where a name starts and ends (see also the gold standard page, in the Evaluating language technology module) (voir aussi la page L'étalon de référence, dans le module L'évaluation des technologies langagières).
2. Some or all of the data is annotated more than once. Several people annotate the same items separately, which gives the inter-annotator agreement inter-annotator agreement (IAA)accord inter-annotateurs evaluationévaluation How far two or more people who annotate the same data independently give the same answers.Mesure dans laquelle deux personnes ou plus qui annotent les mêmes données séparément donnent les mêmes réponses. (see also the Agreement as an F1 score page, in the Evaluating language technology module) (voir aussi la page L'accord mesuré par le score F1, dans le module L'évaluation des technologies langagières). When all of the data is annotated several times, the annotations can also be combined into the gold standard, for instance by majority vote (see also the Agreement between annotators page, in the Evaluating language technology module) (voir aussi la page L'accord entre annotateurs, dans le module L'évaluation des technologies langagières). On a large dataset, this is often done for a sample only, and the rest is annotated by one person.
3. Each system runs on the same evaluation data, and its output is kept as it is, whatever its length. For a chatbot, the prompt promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. , the model, its version and the date are recorded as well.
4. All outputs are put in the same form as the gold standard, with the matching rules decided beforehand and applied to every system, for example one entry per term, in lowercase, with one decision on plurals (see also the Matching rules page, in the Evaluating language technology module) (voir aussi la page Les règles de correspondance, dans le module L'évaluation des technologies langagières).
5. The counting gives the true positives true positive (TP)vrai positif (VP) evaluationévaluation An item that a system returned, or assigned to the class it looks for, and that the gold standard also contains: for example, a candidate that is a term, or spam stopped by a spam filter.Élément qu'un système a trouvé, ou classé dans la classe recherchée, et que la référence contient aussi : par exemple, un candidat qui est un terme, ou un pourriel arrêté par un filtre antipourriel. , the false positives false positive (FP)faux positif (FP) evaluationévaluation An item that a system returned, or assigned to the class it looks for, but that the gold standard does not contain: for example, a candidate that is not a term, or a legitimate message stopped by a spam filter.Élément qu'un système a trouvé, ou classé dans la classe recherchée, mais que la référence ne contient pas : par exemple, un candidat qui n'est pas un terme, ou un message légitime arrêté par un filtre antipourriel. and the false negatives false negative (FN)faux négatif (FN) evaluationévaluation An item that the gold standard contains but that a system did not return, or did not assign to the class it looks for: for example, a term that was not proposed, or spam that reaches the inbox.Élément que la référence contient, mais qu'un système n'a ni trouvé ni classé dans la classe recherchée : par exemple, un terme qui n'a pas été proposé, ou un pourriel qui arrive dans la boîte de réception. for each system, and from them precision precisionprécision evaluationévaluation The share of the items a system returned that are correct according to the gold standard.Part des éléments trouvés par un système qui sont corrects selon la référence. , recall recallrappel evaluationévaluation The share of the items in the gold standard that a system returned.Part des éléments de la référence qu'un système a trouvés. and the F1 score F1 scorescore F1 evaluationévaluation The harmonic mean of precision and recall: a single number between 0 and 1 that is high only when both are high.Moyenne harmonique de la précision et du rappel : un seul nombre entre 0 et 1, qui n'est élevé que si les deux le sont. (see also the Precision, recall and F1 page, in the Evaluating language technology module) (voir aussi la page Précision, rappel et score F1, dans le module L'évaluation des technologies langagières).
6. The scores are compared with the agreement between people and with a baseline baselineétalon evaluationévaluation The score that a very simple method reaches on a test, with which the score of a system is compared.Score qu'une méthode très simple obtient à un test, et auquel on compare le score d'un système. , for example the score of a system that is already in use (see also the Baselines page, in the Evaluating language technology module) (voir aussi la page Les étalons, dans le module L'évaluation des technologies langagières).
7. The errors are examined: the kinds of item each system missed, and the kinds it returned wrongly (see also the Interpreting a score page, in the Evaluating language technology module) (voir aussi la page Interpréter un score, dans le module L'évaluation des technologies langagières).

Les étapes dans l’ordre

Les étapes ci-dessous s’appliquent à l’évaluation de tout système qui repère des éléments dans un texte ou qui classe des éléments, par exemple des extracteurs de termes, des systèmes de reconnaissance d’entités nommées named entity recognition (NER)reconnaissance d'entités nommées (REN) NLPTAL The task of finding the spans of a text that are proper names, and labelling the category, most often a person, a location or an organization.Tâche qui consiste à repérer dans un texte les segments qui sont des noms propres, et à en étiqueter la catégorie, le plus souvent une personne, un lieu ou une organisation. ou des filtres antipourriel. Elles sont les mêmes pour quelques systèmes comparés à la main sur un court texte et pour une grande évaluation sur des milliers d’éléments.

1. L’étalon de référence gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. est établi d’abord. Des personnes annotent data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. les données d’évaluation en suivant des consignes écrites, avant que quiconque ait vu la sortie d’un système : un terme ajouté parce qu’un outil l’a trouvé rend l’étalon de référence dépendant de cet outil. Les choix faits en cours de route sont consignés, par exemple si les noms propres comptent comme des termes, ou où un nom commence et finit (see also the gold standard page, in the Evaluating language technology module) (voir aussi la page L'étalon de référence, dans le module L'évaluation des technologies langagières).
2. Une partie ou la totalité des données est annotée plus d’une fois. Plusieurs personnes annotent les mêmes éléments séparément, ce qui donne l’accord inter-annotateurs inter-annotator agreement (IAA)accord inter-annotateurs evaluationévaluation How far two or more people who annotate the same data independently give the same answers.Mesure dans laquelle deux personnes ou plus qui annotent les mêmes données séparément donnent les mêmes réponses. (see also the Agreement as an F1 score page, in the Evaluating language technology module) (voir aussi la page L'accord mesuré par le score F1, dans le module L'évaluation des technologies langagières). Quand toutes les données sont annotées plusieurs fois, les annotations peuvent aussi être combinées en un étalon de référence, par exemple par un vote majoritaire (see also the Agreement between annotators page, in the Evaluating language technology module) (voir aussi la page L'accord entre annotateurs, dans le module L'évaluation des technologies langagières). Sur un grand jeu de données, on ne le fait souvent que pour un échantillon, et une seule personne annote le reste.
3. Chaque système traite les mêmes données d’évaluation, et sa sortie est gardée telle quelle, quelle que soit sa longueur. Pour un agent conversationnel, la requête promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. , le modèle, sa version et la date sont aussi consignés.
4. Toutes les sorties sont mises sous la même forme que l’étalon de référence, avec des règles de correspondance fixées à l’avance et appliquées à tous les systèmes, par exemple une entrée par terme, en minuscules, avec une seule décision sur les pluriels (see also the Matching rules page, in the Evaluating language technology module) (voir aussi la page Les règles de correspondance, dans le module L'évaluation des technologies langagières).
5. Le comptage donne les vrais positifs true positive (TP)vrai positif (VP) evaluationévaluation An item that a system returned, or assigned to the class it looks for, and that the gold standard also contains: for example, a candidate that is a term, or spam stopped by a spam filter.Élément qu'un système a trouvé, ou classé dans la classe recherchée, et que la référence contient aussi : par exemple, un candidat qui est un terme, ou un pourriel arrêté par un filtre antipourriel. , les faux positifs false positive (FP)faux positif (FP) evaluationévaluation An item that a system returned, or assigned to the class it looks for, but that the gold standard does not contain: for example, a candidate that is not a term, or a legitimate message stopped by a spam filter.Élément qu'un système a trouvé, ou classé dans la classe recherchée, mais que la référence ne contient pas : par exemple, un candidat qui n'est pas un terme, ou un message légitime arrêté par un filtre antipourriel. et les faux négatifs false negative (FN)faux négatif (FN) evaluationévaluation An item that the gold standard contains but that a system did not return, or did not assign to the class it looks for: for example, a term that was not proposed, or spam that reaches the inbox.Élément que la référence contient, mais qu'un système n'a ni trouvé ni classé dans la classe recherchée : par exemple, un terme qui n'a pas été proposé, ou un pourriel qui arrive dans la boîte de réception. de chaque système, et à partir d’eux la précision precisionprécision evaluationévaluation The share of the items a system returned that are correct according to the gold standard.Part des éléments trouvés par un système qui sont corrects selon la référence. , le rappel recallrappel evaluationévaluation The share of the items in the gold standard that a system returned.Part des éléments de la référence qu'un système a trouvés. et le score F1 F1 scorescore F1 evaluationévaluation The harmonic mean of precision and recall: a single number between 0 and 1 that is high only when both are high.Moyenne harmonique de la précision et du rappel : un seul nombre entre 0 et 1, qui n'est élevé que si les deux le sont. (see also the Precision, recall and F1 page, in the Evaluating language technology module) (voir aussi la page Précision, rappel et score F1, dans le module L'évaluation des technologies langagières).
6. Les scores sont comparés à l’accord entre personnes et à un étalon baselineétalon evaluationévaluation The score that a very simple method reaches on a test, with which the score of a system is compared.Score qu'une méthode très simple obtient à un test, et auquel on compare le score d'un système. , par exemple le score d’un système déjà en usage (see also the Baselines page, in the Evaluating language technology module) (voir aussi la page Les étalons, dans le module L'évaluation des technologies langagières).
7. Les erreurs sont examinées : les types d’éléments que chaque système a manqués, et ceux qu’il a trouvés à tort (see also the Interpreting a score page, in the Evaluating language technology module) (voir aussi la page Interpréter un score, dans le module L'évaluation des technologies langagières).