Automatic term extraction (from rules to large language models)Extraction automatique de termes (des règles aux grands modèles de langue)

Terms in a specialized text

When you read a text about dressage without knowing the sport, many of its words need no thought: horse, rider, arena, yesterday. Others send you to a dictionary, a termbase termbasebase terminologique terminologyterminologie A database of terminological entries organized by concept, grouping the terms of several languages with metadata such as definitions, domains and usage status.Base de données d'entrées terminologiques organisée par concept, contenant les termes de plusieurs langues et des métadonnées comme des définitions, des domaines et des marques d'usage. or an expert: half-halt, piaffe, flying change, collected canter. A rider needs no dictionary for those: each one names a specific movement or gait in the sport. They are examples of terms, in the sense of the definition below.

A term is a single unit. The word terminology is used in two senses: the set of all the terms of a domain (the terminology of dressage), and the discipline that studies terms and how to record them.

Terms take up a real share of a translator’s time. In studies from the 2000s, translators estimated that they spent roughly 15 to 30% of their working time on terminology, most of it on looking terms up (Champagne, 2004; Gornostay, 2010).Both studies date from before neural machine translation and large language models, and no comparable figures for today’s tools are cited here. The share depends on the translator and on the field: in Champagne’s study it was highest in financial institutions and lowest in language firms, and the participants put it at 40 to 60% for a translator new to the job. Translating a term often takes knowledge of the domain as well as of the two languages. Translators are therefore among the main users of terminological resources such as termbases and glossaries.

Figure 1figure 1 shows four of the movements that dressage terms name.The photographs are from Wikimedia Commons, cropped and resized: the piaffe, the passage and the extended trot by Eponimm, under CC BY 4.0; the canter pirouette by World Dressage Masters, under CC BY 2.0.

Terms are often recorded in termbases, which tend to organize them by concept. In a multilingual termbase, you can then see the terms used for one concept in several languages. The example in Figure 2figure 2, taken from TERMIUM Plus, also shows that the ideal of one term per concept in each language is often not reached in practice: the record suggests three English terms for a single French one.

Terms of several words

In the texts a translator works on, many terms are longer than one word. Flying change names one movement, in which the horse changes its leading leg in the air between two strides of canter, and its meaning does not follow from flying and change looked up separately. Recognizing a term therefore includes deciding where it starts and where it ends: in “the collected canter pirouette”, you might record canter pirouette, collected canter, canter, pirouette, or all four.

Les termes dans un texte spécialisé

Quand vous lisez un texte sur le dressage sans connaître ce sport, beaucoup de ses mots ne vous arrêtent pas : cheval, cavalier, manège, hier. D’autres vous envoient vers un dictionnaire, une base terminologique termbasebase terminologique terminologyterminologie A database of terminological entries organized by concept, grouping the terms of several languages with metadata such as definitions, domains and usage status.Base de données d'entrées terminologiques organisée par concept, contenant les termes de plusieurs langues et des métadonnées comme des définitions, des domaines et des marques d'usage. ou une personne experte : demi-arrêt, piaffer, changement de pied, galop rassemblé. Un cavalier n’a pas besoin de dictionnaire pour ceux-là : chacun désigne un mouvement ou une allure précis de ce sport. Ce sont des exemples de termes, au sens de la définition ci-dessous.

Un terme est une unité. Le mot terminologie s’emploie en deux sens : l’ensemble des termes d’un domaine (la terminologie du dressage), et la discipline qui étudie les termes et la façon de les consigner.

Les termes occupent une part réelle du temps de traduction. Dans des études des années 2000, des traducteurs estimaient consacrer de 15 à 30 % environ de leur temps de travail à la terminologie, surtout à la recherche de termes (Champagne, 2004 ; Gornostay, 2010).Les deux études datent d’avant la traduction automatique neuronale et les grands modèles de langue, et aucun chiffre comparable pour les outils d’aujourd’hui n’est cité ici. Cette part dépend de la personne et du secteur : dans l’étude de Champagne, elle était la plus élevée dans les institutions financières et la plus faible dans les cabinets de traduction, et les participants l’estimaient à 40 à 60 % pour une personne qui débute dans le métier. Traduire un terme demande souvent de connaître le domaine, en plus des deux langues. Les traducteurs comptent donc parmi les principaux utilisateurs de ressources terminologiques comme les bases terminologiques et les glossaires.

La Figure 1figure 1 montre quatre des mouvements que désignent les termes du dressage.Les photographies viennent de Wikimedia Commons, recadrées et redimensionnées : le piaffer, le passage et le trot allongé par Eponimm, sous licence CC BY 4.0 ; la pirouette au galop par World Dressage Masters, sous licence CC BY 2.0.

Les termes sont souvent consignés dans des bases terminologiques, qui tendent à les organiser par concept. Dans une base multilingue, vous voyez alors les termes employés pour un même concept dans plusieurs langues. L’exemple de la Figure 2figure 2, tiré de TERMIUM Plus, montre aussi que l’idéal d’un seul terme par concept dans chaque langue ne se vérifie souvent pas en pratique : la fiche propose trois termes anglais pour un seul terme français.

Les termes de plusieurs mots

Dans les textes sur lesquels travaille une traductrice ou un traducteur, beaucoup de termes dépassent un mot. Changement de pied désigne un seul mouvement, dans lequel le cheval change de pied en l’air entre deux foulées de galop, et son sens ne se déduit pas de changement et de pied cherchés séparément. Reconnaître un terme suppose donc de décider où il commence et où il finit : dans « la pirouette au galop rassemblé », vous pourriez consigner pirouette au galop, galop rassemblé, galop, pirouette, ou les quatre.

How much annotators disagree

Disagreement between the people who annotate the same data is common across NLP tasks. In many cases more than one answer is correct, and even where there is a single correct answer, the disagreement makes it hard to settle on a gold standard gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. (Basile et al., 2021). Term annotation data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. is no exception. In one study, three annotators marked the terms in the same texts, in three languages and three domains, and only a third of the 4,207 terms they found were marked by all three (Figure 3figure 3). More elaborate annotation guidelines raised the agreement between annotators, but two people’s lists still remained far from identical (Rigouts Terryn et al., 2020a). The agreement is measured as an F1 score F1 scorescore F1 evaluationévaluation The harmonic mean of precision and recall: a single number between 0 and 1 that is high only when both are high.Moyenne harmonique de la précision et du rappel : un seul nombre entre 0 et 1, qui n'est élevé que si les deux le sont. (see also the Agreement as an F1 score page, in the Evaluating language technology module) (voir aussi la page L'accord mesuré par le score F1, dans le module L'évaluation des technologies langagières).

Term boundaries

In “the horse moves on in posting trot”, is the term posting trot, trot, posting, or all three? There is no universally correct answer to that question, so this is where annotation guidelines can reduce some of the variation. The guidelines of the ACTER dataset, for instance, answer “all three”: when part of a longer term is a term in its own right, the longer term and the shorter one are both marked. In the dressage texts, posting trot was marked as a whole, and posting and trot were marked as well (Rigouts Terryn, 2021a).

Other annotation schemes keep only the longest unit (Liu et al., 2025). Terms interrupted by other words are another case to settle: in “collected and extended trot”, collected trot is there in meaning but never appears as such in the text. Figure 4figure 4 shows both cases as an annotation tool records them.

Everyday words with a specialized sense

Some terms look like ordinary words; the table below gives three from dressage. A reader who does not know the domain reads straight past them; for a translator, they are exactly the words that need checking.

Named entities

FEI, the international federation for equestrian sports, and Grand Prix, the highest level of dressage test, are proper names. In NLP, something that is referred to by a proper name is called a named entity, and finding named entities in a text is a task of its own, named entity recognition named entity recognition (NER)reconnaissance d'entités nommées (REN) NLPTAL The task of finding the spans of a text that are proper names, and labelling the category, most often a person, a location or an organization.Tâche qui consiste à repérer dans un texte les segments qui sont des noms propres, et à en étiqueter la catégorie, le plus souvent une personne, un lieu ou une organisation. (NER) (see also the A tour of NLP tasks chapter) (voir aussi le chapitre Tour d'horizon des tâches du TAL). Term annotation projects differ on what to do with them: some mark named entities with a label of their own, some leave them out, and some treat them like any other term if a translator would need them.

Degree of specialization

Annotators also disagree about how specialized a unit has to be to count as a term. One way to make that decision explicit is to ask two separate questions, as the ACTER guidelines do (Rigouts Terryn, 2021a):

• Is it specific to the domain? Does the unit relate to the subject of the texts? This dimension is called domain specificity.
• Is it specific in the lexicon? Is it known only to specialists, or is it part of everyday vocabulary? This dimension is called lexicon specificity.

Different term labels can be defined from these two dimensions. Figure 5figure 5 shows the three labels of the ACTER scheme: a unit that is specific on both dimensions is a Specific Term, one that is specific to the domain only is a Common Term, and one that is specific in the lexicon only is an Out-of-Domain Term.

Both answers depend on who is asking, and the edge of the domain is a decision too. When the dressage texts were annotated, terms from other equestrian sports, such as gymkhana or voltige (vaulting), were labelled as out of the domain, because the domain was taken to be dressage rather than riding as a whole (Rigouts Terryn et al., 2019).

Knowing a domain well does not settle it either. I annotated the dressage texts myself, and I know the sport well: I understood the terminology without effort, but found it harder to tell terms from general vocabulary, because the terms had become part of my own everyday vocabulary (Rigouts Terryn et al., 2020a).

Two ways of settling the cases

A project that needs a list of terms has to settle the cases annotators disagree about, such as term boundaries and everyday words with a specialized sense. It can do so in two broad ways.

• Categories. A scheme such as ACTER’s keeps the disagreement visible by giving each unit a label: one of the three term labels above, or Named Entity. A list can then be made strict or broad afterwards, by choosing which labels count.
• A purpose. A project can also define a term by what the list is for, for instance everything a translator would add to their own termbase termbasebase terminologique terminologyterminologie A database of terminological entries organized by concept, grouping the terms of several languages with metadata such as definitions, domains and usage status.Base de données d'entrées terminologiques organisée par concept, contenant les termes de plusieurs langues et des métadonnées comme des définitions, des domaines et des marques d'usage. before translating similar texts. The decision then depends on the reader’s needs rather than on a property of the unit.

Neither way removes the disagreement. Every list of terms depends on such choices, whether a person or a tool made it, and two lists made with different choices cannot simply be compared as right and wrong.

L’ampleur du désaccord entre annotateurs

Le désaccord entre les personnes qui annotent les mêmes données est courant dans les tâches de TAL. Dans bien des cas, plus d’une réponse est correcte, et même lorsqu’il n’existe qu’une réponse correcte, le désaccord rend difficile l’établissement d’une référence gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. (Basile et al., 2021). L’annotation data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. de termes ne fait pas exception. Dans une étude, trois annotateurs ont repéré les termes des mêmes textes, dans trois langues et trois domaines, et seul un tiers des 4 207 termes trouvés avait été retenu par les trois (Figure 3figure 3). Des consignes d’annotation plus détaillées ont fait monter l’accord entre annotateurs, mais les listes de deux personnes restaient loin d’être identiques (Rigouts Terryn et al., 2020a). L’accord se mesure par un score F1 F1 scorescore F1 evaluationévaluation The harmonic mean of precision and recall: a single number between 0 and 1 that is high only when both are high.Moyenne harmonique de la précision et du rappel : un seul nombre entre 0 et 1, qui n'est élevé que si les deux le sont. (see also the Agreement as an F1 score page, in the Evaluating language technology module) (voir aussi la page L'accord mesuré par le score F1, dans le module L'évaluation des technologies langagières).

Les frontières d’un terme

Dans « le cheval repart au trot enlevé », le terme est-il trot enlevé, trot, enlevé, ou les trois ? Cette question n’a pas de réponse universellement correcte, et c’est donc là que des consignes d’annotation peuvent réduire une partie de la variation. Les consignes du jeu de données ACTER, par exemple, répondent « les trois » : quand une partie d’un terme plus long est elle-même un terme, le terme long et le terme court sont tous deux annotés. Dans les textes anglais sur le dressage, posting trot (trot enlevé) a été annoté en entier, et posting et trot l’ont été aussi (Rigouts Terryn, 2021a).

D’autres schémas d’annotation ne gardent que l’unité la plus longue (Liu et al., 2025). Les termes interrompus par d’autres mots sont un autre cas à trancher : dans « trot rassemblé et allongé », trot allongé est là par le sens, mais n’apparaît jamais tel quel dans le texte. La Figure 4figure 4 montre les deux cas tels qu’un outil d’annotation les enregistre.

Les mots courants qui ont un sens spécialisé

Certains termes ressemblent à des mots ordinaires ; le tableau ci-dessous en donne trois, tirés du dressage. Une personne qui ne connaît pas le domaine ne s’y arrête pas ; pour un traducteur, ce sont justement les mots à vérifier.

Les entités nommées

FEI, la fédération internationale des sports équestres, et Grand Prix, le niveau le plus élevé des reprises de dressage, sont des noms propres. En TAL, ce que désigne un nom propre s’appelle une entité nommée, et repérer les entités nommées d’un texte est une tâche à part entière, la reconnaissance d’entités nommées named entity recognition (NER)reconnaissance d'entités nommées (REN) NLPTAL The task of finding the spans of a text that are proper names, and labelling the category, most often a person, a location or an organization.Tâche qui consiste à repérer dans un texte les segments qui sont des noms propres, et à en étiqueter la catégorie, le plus souvent une personne, un lieu ou une organisation. (REN) (see also the A tour of NLP tasks chapter) (voir aussi le chapitre Tour d'horizon des tâches du TAL). Les projets d’annotation de termes ne les traitent pas tous de la même façon : certains donnent aux entités nommées une étiquette à part, d’autres les écartent, et d’autres encore les traitent comme n’importe quel terme si un traducteur en a besoin.

Le degré de spécialisation

Les annotateurs ne s’accordent pas non plus sur le degré de spécialisation qu’une unité doit avoir pour compter comme terme. Une façon de rendre cette décision explicite consiste à poser deux questions distinctes, comme le font les consignes d’ACTER (Rigouts Terryn, 2021a) :

• Est-elle spécifique au domaine ? L’unité se rapporte-t-elle au sujet des textes ? Cette dimension s’appelle la spécificité au domaine.
• Est-elle spécifique dans le lexique ? Est-elle connue des seuls spécialistes, ou fait-elle partie du vocabulaire courant ? Cette dimension s’appelle la spécificité lexicale.

Ces deux dimensions permettent de définir différentes étiquettes de termes. La Figure 5figure 5 montre les trois étiquettes du schéma d’ACTER : une unité spécifique sur les deux dimensions est un terme spécifique (Specific Term), une unité spécifique au domaine seulement est un terme commun (Common Term), et une unité spécifique dans le lexique seulement est un terme hors domaine (Out-of-Domain Term).

Les deux réponses dépendent de la personne qui les donne, et la limite du domaine est elle aussi une décision. Quand les textes sur le dressage ont été annotés, les termes d’autres sports équestres, comme gymkhana ou voltige, ont été étiquetés hors domaine, parce que le domaine retenu était le dressage et non l’équitation dans son ensemble (Rigouts Terryn et al., 2019).

Bien connaître un domaine ne règle pas la question non plus. J’ai annoté moi-même les textes sur le dressage, et je connais bien ce sport : je comprenais la terminologie sans effort, mais j’avais plus de mal à distinguer les termes du vocabulaire général, parce que ces termes faisaient désormais partie de mon vocabulaire courant (Rigouts Terryn et al., 2020a).

Deux façons de trancher les cas

Un projet qui a besoin d’une liste de termes doit trancher les cas sur lesquels les annotateurs ne s’accordent pas, comme les frontières d’un terme et les mots courants qui ont un sens spécialisé. Il peut le faire de deux grandes façons.

• Des catégories. Un schéma comme celui d’ACTER garde le désaccord visible en donnant à chaque unité une étiquette : l’une des trois étiquettes de termes ci-dessus, ou celle d’entité nommée. La liste peut ensuite être rendue stricte ou large, selon les étiquettes retenues.
• Une finalité. Un projet peut aussi définir le terme par l’usage prévu de la liste, par exemple tout ce qu’un traducteur ajouterait à sa propre base terminologique termbasebase terminologique terminologyterminologie A database of terminological entries organized by concept, grouping the terms of several languages with metadata such as definitions, domains and usage status.Base de données d'entrées terminologiques organisée par concept, contenant les termes de plusieurs langues et des métadonnées comme des définitions, des domaines et des marques d'usage. avant de traduire des textes semblables. La décision dépend alors des besoins du lecteur plutôt que d’une propriété de l’unité.

Aucune des deux façons ne supprime le désaccord. Toute liste de termes repose sur de tels choix, qu’elle vienne d’une personne ou d’un outil, et deux listes établies avec des choix différents ne peuvent pas simplement être comparées comme une bonne et une mauvaise.

Why extract terms

A list of the terms in a set of texts is useful in several kinds of work, for instance:

• for a translator, the terms in a client’s earlier documents show the terminology that client uses;
• the terms in a text you are about to translate can be looked up and settled in one go before you start, where you would otherwise stop to research each term as you come to it;
• outside translation, the terms in a company’s manuals are the starting point for a glossary for new staff, and the terms in a book for its index.

Marking those terms by hand is slow, and the result depends on the person doing it. Termbases do not solve the problem either: new terms appear all the time, and a termbase termbasebase terminologique terminologyterminologie A database of terminological entries organized by concept, grouping the terms of several languages with metadata such as definitions, domains and usage status.Base de données d'entrées terminologiques organisée par concept, contenant les termes de plusieurs langues et des métadonnées comme des définitions, des domaines et des marques d'usage. for your domain and your language pair may simply not exist. Many translators therefore build their own lists of terms from the texts they work on (Lefever & Rigouts Terryn, 2024).

From a text to candidate terms

Having a program find the terms in a text, or in a collection of texts on one subject, is called automatic term extraction.

No method is flawless, which is why the program’s output is called a list of candidates (Lefever & Rigouts Terryn, 2024).

The input is usually a specialized corpus corpuscorpus corporacorpus A collection of written texts, speech recordings or transcribed language assembled for analysis or use in language technology (plural: corpora).Ensemble de textes écrits, d'enregistrements de parole ou de langue transcrite réuni pour l'analyse ou pour les technologies langagières. , a collection of texts about one domain. Some methods need a large one, because they rely on how often words occur; others work on a single document or even a single sentence (Rigouts Terryn et al., 2022a).

Two forms of output

A term extractor can return its candidate terms in two forms (Figure 6figure 6):

• A list. Each candidate appears once, however often it occurs, usually ranked by a score that estimates how likely it is to be a term. The person who validates the list decides where to stop reading it (Rigouts Terryn et al., 2019).
• The terms in the text. Every occurrence is marked where it appears, the way a person highlights terms in a document (Lefever & Rigouts Terryn, 2024). The same word can then be marked in one sentence and left unmarked in another, where it has its everyday sense (Rigouts Terryn, 2021a).

The two forms are also checked differently: a list is compared with another list, and marked text occurrence by occurrence (see also the Matching rules page, in the Evaluating language technology module) (voir aussi la page Les règles de correspondance, dans le module L'évaluation des technologies langagières).

Making the notion of a term measurable

Finding all the terms in a long text is slow and repetitive, which makes it a typical task to hand over to a computer. Before large language models large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. , however, you could not simply tell a program to find the terms in a text. A program works with what it can count or check in the text itself, and the definition of a term, a word or group of words that names a concept in a specialized domain, gives it nothing of that kind.

The challenge was therefore to translate the human notion of a term into characteristics that a program can measure. Each method in this chapter is one answer to that challenge, and each answer is imperfect in its own way.

Three families of methods

Methods for term extraction fall into three broad families, but the older ones are still in use: tools built on rules remain competitive with machine learning machine learning (ML)apprentissage automatique machine learningapprentissage automatique An approach to artificial intelligence in which a model is trained on data or experience so that its adjustable parameters come to reflect patterns relevant to a task.Approche de l'intelligence artificielle dans laquelle un modèle est entraîné sur des données ou sur l'expérience, de sorte que ses paramètres ajustables en viennent à refléter des régularités pertinentes pour une tâche. (Lefever & Rigouts Terryn, 2024). The table below sets the three side by side.

Pourquoi extraire des termes

La liste des termes d’un ensemble de textes est utile dans plusieurs types de travail, par exemple :

• pour un traducteur, les termes des documents antérieurs d’un client montrent la terminologie que ce client emploie ;
• les termes d’un texte que vous allez traduire peuvent être cherchés et fixés en une fois avant de commencer, au lieu de vous arrêter pour chercher chaque terme au moment où vous le rencontrez ;
• en dehors de la traduction, les termes des manuels d’une entreprise sont le point de départ d’un glossaire pour le nouveau personnel, et les termes d’un livre, celui de son index.

Repérer ces termes à la main est lent, et le résultat dépend de la personne qui s’en charge. Les bases terminologiques ne règlent pas le problème non plus : de nouveaux termes apparaissent sans cesse, et une base terminologique termbasebase terminologique terminologyterminologie A database of terminological entries organized by concept, grouping the terms of several languages with metadata such as definitions, domains and usage status.Base de données d'entrées terminologiques organisée par concept, contenant les termes de plusieurs langues et des métadonnées comme des définitions, des domaines et des marques d'usage. pour votre domaine et votre paire de langues n’existe peut-être tout simplement pas. Beaucoup de traducteurs construisent donc leurs propres listes de termes à partir des textes sur lesquels ils travaillent (Lefever et Rigouts Terryn, 2024).

Du texte aux candidats terminologiques

Faire repérer par un programme les termes d’un texte, ou d’un ensemble de textes sur un même sujet, s’appelle l’extraction automatique de termes.

Aucune méthode n’est sans défaut, et c’est pourquoi le résultat du programme s’appelle une liste de candidats (Lefever et Rigouts Terryn, 2024).

L’entrée est le plus souvent un corpus corpuscorpus corporacorpus A collection of written texts, speech recordings or transcribed language assembled for analysis or use in language technology (plural: corpora).Ensemble de textes écrits, d'enregistrements de parole ou de langue transcrite réuni pour l'analyse ou pour les technologies langagières. spécialisé, c’est-à-dire un ensemble de textes sur un même domaine. Certaines méthodes en demandent un grand, parce qu’elles reposent sur la fréquence des mots ; d’autres fonctionnent sur un seul document, voire une seule phrase (Rigouts Terryn et al., 2022a).

Deux formes de résultat

Un extracteur de termes peut renvoyer ses candidats terminologiques sous deux formes (Figure 6figure 6) :

• Une liste. Chaque candidat y figure une fois, quel que soit son nombre d’occurrences, le plus souvent classé selon un score qui estime la probabilité qu’il soit un terme. La personne qui valide la liste décide où arrêter sa lecture (Rigouts Terryn et al., 2019).
• Les termes dans le texte. Chaque occurrence est marquée là où elle apparaît, comme lorsqu’on surligne les termes d’un document (Lefever et Rigouts Terryn, 2024). Le même mot peut alors être marqué dans une phrase et ne pas l’être dans une autre, où il a son sens courant (Rigouts Terryn, 2021a).

Les deux formes ne se vérifient pas non plus de la même façon : une liste se compare à une autre liste, et un texte marqué se compare occurrence par occurrence (see also the Matching rules page, in the Evaluating language technology module) (voir aussi la page Les règles de correspondance, dans le module L'évaluation des technologies langagières).

Rendre mesurable la notion de terme

Repérer tous les termes d’un long texte est lent et répétitif, ce qui en fait une tâche typique à confier à un ordinateur. Avant les grands modèles de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. (GML), cependant, il n’était pas possible de simplement demander à un programme de trouver les termes d’un texte. Un programme travaille avec ce qu’il peut compter ou vérifier dans le texte lui-même, et la définition du terme, un mot ou un groupe de mots qui désigne un concept dans un domaine spécialisé, ne lui donne rien de tel.

Le défi consistait donc à traduire la notion humaine de terme en caractéristiques qu’un programme peut mesurer. Chaque méthode de ce chapitre est une réponse à ce défi, et chaque réponse est imparfaite à sa manière.

Trois familles de méthodes

Les méthodes d’extraction de termes se répartissent en trois grandes familles, mais les plus anciennes servent toujours : les outils à base de règles restent compétitifs face à l’apprentissage automatique machine learning (ML)apprentissage automatique machine learningapprentissage automatique An approach to artificial intelligence in which a model is trained on data or experience so that its adjustable parameters come to reflect patterns relevant to a task.Approche de l'intelligence artificielle dans laquelle un modèle est entraîné sur des données ou sur l'expérience, de sorte que ses paramètres ajustables en viennent à refléter des régularités pertinentes pour une tâche. (Lefever et Rigouts Terryn, 2024). Le tableau ci-dessous présente les trois côte à côte.

The reasoning behind the linguistic approach

The linguistic approach to term extraction automatic term extraction (ATE)extraction automatique de termes NLPTAL The identification, by a program, of candidate terms in a text or a corpus, for a person to validate.Repérage, par un programme, de candidats terminologiques dans un texte ou un corpus, en vue de leur validation par une personne. is based on two observations:

• The part of speech of each word in a text (noun, adjective, verb and so on) can be found automatically. Taggers give about 97% of the words the same tag as a person would, in English and in a range of other languages, which is also about how often people agree on the tags (Jurafsky & Martin, 2026, ch. 18, p. 5) (see also the Part-of-speech tagging (including an example of machine learning) chapter) (voir aussi le chapitre L'étiquetage morphosyntaxique (y compris un exemple d'apprentissage automatique)).
• Most terms are nouns or groups built around a noun, such as piaffe, collected canter or canter pirouette, although adjectives, verbs and adverbs can be terms too (Rigouts Terryn, 2021a).

If a program can get the parts of speech, and terms tend to have certain sequences of them, then it can extract every sequence of that form. One of the earliest algorithms for finding terms in text already worked this way (Justeson & Katz, 1995).

The reasoning has a flaw: a noun or a group built around a noun can be a term, but that does not mean that it is one.

Part-of-speech patterns

The linguistic method works in three steps (Lefever & Rigouts Terryn, 2024):

1. Tokenization tokenization¹segmentation en unités lexicales linguisticslinguistique The process of dividing running text into individual units that can be counted, annotated or analyzed.Processus de découpage d'un texte suivi en unités individuelles pouvant être comptées, annotées ou analysées. . The text is split into words and punctuation (see also the Tokenization (including an example of the rule-based approach) chapter) (voir aussi le chapitre La segmentation en unités lexicales (y compris un exemple d'approche à base de règles)).
2. Tagging. Each word gets its part of speech, such as noun, adjective or verb (see also the Part-of-speech tagging (including an example of machine learning) chapter) (voir aussi le chapitre L'étiquetage morphosyntaxique (y compris un exemple d'apprentissage automatique)).
3. Pattern matching. Every sequence of tags that matches a pattern from a list becomes a candidate term candidate termcandidat terminologique NLPTAL A unit that a term extraction program proposes as a possible term, before a person has validated it.Unité qu'un programme d'extraction automatique de termes propose comme terme possible, avant qu'une personne ne l'ait validée. .

The table below gives typical patterns.

Figure 7figure 7 shows the three steps on one sentence, and what they return: five candidates, of which two are terms, and one term that no pattern matches.

Noise and silence

The candidates that part-of-speech patterns return all have the shape of a term, but many of them are not terms, and some terms match none of the patterns. Candidates that are not terms are called noise noisebruit evaluationévaluation The items a system returns that are not correct: in term extraction, the candidates that are not terms.Éléments trouvés par un système qui ne sont pas corrects : en extraction de termes, les candidats qui ne sont pas des termes. , and terms that the patterns miss are called silence silencesilence evaluationévaluation The correct items a system fails to return: in term extraction, the terms of the gold standard that were not proposed.Éléments corrects qu'un système ne trouve pas : en extraction de termes, les termes de la référence qui n'ont pas été proposés. ; the evaluation module explains both, with the scores that measure them (see also the False positives and false negatives page, in the Evaluating language technology module) (voir aussi la page Faux positifs et faux négatifs, dans le module L'évaluation des technologies langagières).

• Noise. In the sentence of Figure 7figure 7, little girl has the same shape as flying change, and a pattern for single nouns catches every noun in the text: girl, and change on its own, which is only a fragment of a term.
• Silence. In the same sentence, on the bit is a term, but it is a preposition, a determiner and a noun, and neither pattern matches that sequence. Many dressage terms start with a preposition in this way, such as on the forehand. In the Dutch dressage texts annotated for the ACTER dataset, the pattern preposition, determiner and noun alone accounted for 85 annotations data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. (Rigouts Terryn et al., 2019). A tagging mistake causes silence too: if the tagger reads flying in flying change as a verb, the pattern “adjective and noun” misses the term.

It is nearly impossible to write every pattern a term can take, especially since the tagger makes mistakes of its own (Rigouts Terryn et al., 2019). The more patterns you have, the less likely you are to miss terms (less silence), but the more likely you are to extract non-terms as well (more noise).

Patterns depend on the language and the domain

Patterns depend on the grammar of the language, so a list written for one language does not work for another, and the tagger has to be trained for each language too. In French, the adjective usually follows the noun: in a French corpus corpuscorpus corporacorpus A collection of written texts, speech recordings or transcribed language assembled for analysis or use in language technology (plural: corpora).Ensemble de textes écrits, d'enregistrements de parole ou de langue transcrite réuni pour l'analyse ou pour les technologies langagières. about dressage, noun + adjective is the most frequent pattern of several words, and adjective + noun is several times rarer (Figure 8figure 8). In Dutch, many terms that take several words in English are written as one compound word, so a single-noun pattern catches them whole (Rigouts Terryn, 2026).

Patterns depend on the domain as well. A term that starts with a preposition, such as on the bit, is common in dressage and uncommon in many other domains, so a list of patterns that suits one domain can miss terms in another.

Le raisonnement derrière l’approche linguistique

L’approche linguistique de l’extraction de termes automatic term extraction (ATE)extraction automatique de termes NLPTAL The identification, by a program, of candidate terms in a text or a corpus, for a person to validate.Repérage, par un programme, de candidats terminologiques dans un texte ou un corpus, en vue de leur validation par une personne. repose sur deux constats :

• La partie du discours de chaque mot d’un texte (nom, adjectif, verbe, etc.) peut être trouvée automatiquement. Les étiqueteurs donnent à environ 97 % des mots la même étiquette qu’une personne, en anglais et dans plusieurs autres langues, ce qui correspond aussi à peu près au taux d’accord entre personnes sur ces étiquettes (Jurafsky et Martin, 2026, chap. 18, p. 5) (see also the Part-of-speech tagging (including an example of machine learning) chapter) (voir aussi le chapitre L'étiquetage morphosyntaxique (y compris un exemple d'apprentissage automatique)).
• La plupart des termes sont des noms ou des groupes construits autour d’un nom, comme piaffer, galop rassemblé ou pirouette au galop, même si des adjectifs, des verbes et des adverbes peuvent aussi être des termes (Rigouts Terryn, 2021a).

Si un programme peut obtenir les parties du discours, et si les termes tendent à suivre certaines suites de parties du discours, il peut alors extraire toutes les suites de cette forme. L’un des premiers algorithmes de repérage de termes dans un texte fonctionnait déjà ainsi (Justeson et Katz, 1995).

Ce raisonnement a un défaut : un nom ou un groupe construit autour d’un nom peut être un terme, mais cela ne veut pas dire qu’il en est un.

Les patrons morphosyntaxiques

La méthode linguistique procède en trois étapes (Lefever et Rigouts Terryn, 2024) :

1. La segmentation. Le texte est découpé en mots et en signes de ponctuation (see also the Tokenization (including an example of the rule-based approach) chapter) (voir aussi le chapitre La segmentation en unités lexicales (y compris un exemple d'approche à base de règles)).
2. L’étiquetage. Chaque mot reçoit sa partie du discours, par exemple nom, adjectif ou verbe (see also the Part-of-speech tagging (including an example of machine learning) chapter) (voir aussi le chapitre L'étiquetage morphosyntaxique (y compris un exemple d'apprentissage automatique)).
3. Le repérage des patrons. Toute suite d’étiquettes qui correspond à un patron d’une liste devient un candidat terminologique candidate termcandidat terminologique NLPTAL A unit that a term extraction program proposes as a possible term, before a person has validated it.Unité qu'un programme d'extraction automatique de termes propose comme terme possible, avant qu'une personne ne l'ait validée. .

Le tableau ci-dessous donne des patrons typiques.

La Figure 7figure 7 montre les trois étapes sur une phrase, et ce qu’elles renvoient : cinq candidats, dont trois sont des termes, et un terme qu’aucun patron ne retient.

Le bruit et le silence

Les candidats que renvoient les patrons morphosyntaxiques ont tous la forme d’un terme, mais beaucoup ne sont pas des termes, et certains termes ne correspondent à aucun patron. Les candidats qui ne sont pas des termes s’appellent le bruit noisebruit evaluationévaluation The items a system returns that are not correct: in term extraction, the candidates that are not terms.Éléments trouvés par un système qui ne sont pas corrects : en extraction de termes, les candidats qui ne sont pas des termes. , et les termes que les patrons manquent, le silence silencesilence evaluationévaluation The correct items a system fails to return: in term extraction, the terms of the gold standard that were not proposed.Éléments corrects qu'un système ne trouve pas : en extraction de termes, les termes de la référence qui n'ont pas été proposés.  ; le module sur l’évaluation explique les deux, avec les scores qui les mesurent (see also the False positives and false negatives page, in the Evaluating language technology module) (voir aussi la page Faux positifs et faux négatifs, dans le module L'évaluation des technologies langagières).

• Le bruit. Dans la phrase de la Figure 7figure 7, fillette joyeuse a la même forme que galop rassemblé, et un patron pour les noms seuls retient tous les noms du texte, dont fillette.
• Le silence. Dans la même phrase, sur la main est un terme, mais c’est une préposition, un déterminant et un nom, et aucun des deux patrons ne retient cette suite. Beaucoup de termes du dressage commencent ainsi par une préposition, comme sur les épaules. Dans les textes néerlandais sur le dressage annotés pour le jeu de données ACTER, le seul patron préposition, déterminant et nom correspondait à 85 annotations data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. (Rigouts Terryn et al., 2019). Une erreur d’étiquetage produit aussi du silence : si l’étiqueteur prend rassemblé, dans galop rassemblé, pour un verbe, le patron « nom et adjectif » manque le terme.

Il est à peu près impossible d’écrire tous les patrons qu’un terme peut suivre, d’autant que l’étiqueteur commet ses propres erreurs (Rigouts Terryn et al., 2019). Plus vous avez de patrons, moins vous risquez de manquer des termes (moins de silence), mais plus vous risquez d’extraire aussi des unités qui ne sont pas des termes (plus de bruit).

Les patrons dépendent de la langue et du domaine

Les patrons dépendent de la grammaire de la langue : une liste écrite pour une langue ne fonctionne donc pas pour une autre, et l’étiqueteur doit lui aussi être entraîné pour chaque langue. En français, l’adjectif suit le plus souvent le nom : dans un corpus corpuscorpus corporacorpus A collection of written texts, speech recordings or transcribed language assembled for analysis or use in language technology (plural: corpora).Ensemble de textes écrits, d'enregistrements de parole ou de langue transcrite réuni pour l'analyse ou pour les technologies langagières. français sur le dressage, nom + adjectif est le patron de plusieurs mots le plus fréquent, et adjectif + nom est plusieurs fois plus rare (Figure 8figure 8). En néerlandais, beaucoup de termes qui demandent plusieurs mots en anglais s’écrivent en un seul mot composé, si bien qu’un patron pour les noms seuls les retient en entier (Rigouts Terryn, 2026).

Les patrons dépendent aussi du domaine. Un terme qui commence par une préposition, comme sur la main, est courant en dressage et peu courant dans beaucoup d’autres domaines, si bien qu’une liste de patrons adaptée à un domaine peut manquer des termes dans un autre.

Termhood and unithood

When thinking of automating a task, the first thing we can trust a computer with is counting. So how can we define terms through counting? The two concepts that statistical methods for term extraction automatic term extraction (ATE)extraction automatique de termes NLPTAL The identification, by a program, of candidate terms in a text or a corpus, for a person to validate.Repérage, par un programme, de candidats terminologiques dans un texte ou un corpus, en vue de leur validation par une personne. try to capture are termhood and unithood (Kageura & Umino, 1996).

The table below sets out the question each concept answers, what is counted to measure it, and the assumption behind the count.

Termhood: comparing two corpora

A specialized corpus and a general one, such as a large collection of newspaper articles (Drouin, 2003), are never the same size, so the counts themselves cannot be compared. The comparison uses relative frequencies: the number of occurrences divided by the size of the corpus, often given per million words (see also the Absolute and relative frequencies page, in the Corpus analysis module) (voir aussi la page Fréquences absolues et relatives, dans le module L'analyse de corpus). The table below gives six words, with illustrative figures.

Figure 9figure 9 draws four of those words. Counted in occurrences, every word is more frequent in the general corpus, because that corpus is 500 times larger. Counted per million words, the six words of the table fall into four cases:

• the and next are about as frequent in both corpora, so nothing ties them to dressage;
• horse is far more frequent in the dressage corpus, but it is also a common word elsewhere;
• canter and piaffe hardly occur outside texts about riding;
• collection is a dressage term, but it is only 1.6 times more frequent in the dressage corpus, because it is also an everyday word.

Corpus tools offer the same comparison under another name: Sketch Engine’s Keywords function lists the words that are far more frequent in your corpus than in a reference corpus of general language (see also the Going further page, in the Corpus analysis module) (voir aussi la page Pour aller plus loin, dans le module L'analyse de corpus).

A worked example: the log-likelihood ratio

Relative frequencies leave one question open: a word can be more frequent in a small corpus by chance, especially when it occurs only a few times. Statistical measures of termhood therefore take into account how much evidence there is, as well as how large the difference is.

The log-likelihood ratio serves here as a worked example. It is a common measure (Lefever & Rigouts Terryn, 2024), but one among many. The goal is to understand the principle; the exact formula and the mathematical details are not needed for that.

For each word, e.g., canter, the calculation goes through four steps, with the figures of the frequency table above:

1. Counts. Canter occurs 468 times in the dressage corpus of 200,000 words, and 1,240 times in the general corpus of 100 million words.
2. Relative frequencies. 468 divided by 200,000 is 2,340 occurrences per million words in the dressage corpus; 1,240 divided by 100 million is 12.4 per million in the general corpus. Canter is about 190 times more frequent in the dressage corpus.
3. Expected counts. The two corpora together contain 1,708 occurrences of canter, and the dressage corpus is about 0.2% of all the text. If canter were equally frequent everywhere, about 3 of the 1,708 occurrences would be in the dressage corpus (0.2% of 1,708). There are 468.
4. Score. The log-likelihood ratio compares the counts that were observed with the counts that were expected, 468 against about 3, and gives canter a score of 3,818. A word whose counts are exactly as expected scores zero. The further the counts are from the expected ones, and the more occurrences there are to support the difference, the higher the score.

Figure 10figure 10 gives, for the six words of the frequency table, how many times more frequent each word is in the dressage corpus, how often it occurs there, and its log-likelihood ratio.

Three things can be read from the figure:

• The has by far the most occurrences and a score close to zero. Frequency alone says nothing about how specific a word is.
• Piaffe is about 1,300 times more frequent in the dressage corpus, the largest difference of the six, but it scores far below horse, which is only 37 times more frequent. Thirty-one occurrences are less evidence than 1,874.
• A high score needs both: a clear difference and enough occurrences to support it.
• Collection scores 11.7, far below piaffe, which has half as many occurrences. It is a dressage term, the way a horse shifts its weight towards its hindquarters, and also an everyday word, as in an art collection (see also the Where people disagree about terms page) (voir aussi la page Les points de désaccord sur les termes). A program counts written forms and cannot tell the two senses apart, so the everyday uses in the general corpus pull the score down.

When a difference counts

A less clear case shows why the score is needed. The table below gives two words that are both one and a half times more frequent in the dressage corpus than in the general one, with illustrative figures.

The difference in relative frequency is the same for both words, but seven occurrences are too few to rely on: one or two more or fewer would change the picture. Three hundred and twelve occurrences are enough.

By the usual convention, a score above 3.84 means that a difference of that size would come about by chance less than 5 times in 100, and the difference is then called statistically significant.The thresholds are given with the log-likelihood calculator of the UCREL centre at Lancaster University: 3.84 for 5 chances in 100 and 6.63 for 1 in 100 (read 1 October 2026). Figure 11figure 11 places the eight words of the two tables on either side of that threshold.

The scores in a term extractor

A term extractor reports these numbers for each candidate. In TermoStat’s list of results (Figure 12figure 12), each row gives the frequency of the candidate in the corpus (Freq) and several scores computed against a reference corpus, the log-likelihood ratio (LL) among them (see also the TermoStat: a hybrid extractor page) (voir aussi la page TermoStat : un extracteur hybride).

Unithood: words that occur together

Flying and change are both ordinary words, but in dressage texts they occur side by side far more often than chance would put them together. Good and horse also occur together often, but mostly because both are frequent. Measures of unithood compare how often the words of a candidate occur together with how often each occurs on its own (Lefever & Rigouts Terryn, 2024).

Unithood alone does not identify terms. It measures how firmly words stick together, which is also true of fixed expressions that are not terms, such as in the end or on the other hand (Kageura & Umino, 1996). Measures designed for terms of several words, such as the C-value (Frantzi et al., 2000), exist for that reason, and it is also why the statistical measures are usually combined with the linguistic patterns (see also the Hybrid term extraction page) (voir aussi la page L'extraction hybride de termes).

Strengths and limits of statistical methods

The table below sums up what statistical methods do well, what they need, and the two ways in which they fail: candidates that are not terms (noise noisebruit evaluationévaluation The items a system returns that are not correct: in term extraction, the candidates that are not terms.Éléments trouvés par un système qui ne sont pas corrects : en extraction de termes, les candidats qui ne sont pas des termes. ) and terms that are missed (silence silencesilence evaluationévaluation The correct items a system fails to return: in term extraction, the terms of the gold standard that were not proposed.Éléments corrects qu'un système ne trouve pas : en extraction de termes, les termes de la référence qui n'ont pas été proposés. ) (see also the False positives and false negatives page, in the Evaluating language technology module) (voir aussi la page Faux positifs et faux négatifs, dans le module L'évaluation des technologies langagières).

Le degré de termitude et le degré de figement

Quand on songe à automatiser une tâche, compter est la première chose qu’on peut confier à un ordinateur. Comment définir des termes en comptant ? Les deux notions que les méthodes statistiques d’extraction de termes automatic term extraction (ATE)extraction automatique de termes NLPTAL The identification, by a program, of candidate terms in a text or a corpus, for a person to validate.Repérage, par un programme, de candidats terminologiques dans un texte ou un corpus, en vue de leur validation par une personne. cherchent à saisir sont le degré de termitude et le degré de figement (Kageura et Umino, 1996).

Le tableau ci-dessous présente la question à laquelle répond chaque notion, ce qu’on compte pour la mesurer, et l’hypothèse derrière ce compte.

Le degré de termitude : comparer deux corpus

Un corpus spécialisé et un corpus général, par exemple un grand ensemble d’articles de journaux (Drouin, 2003), n’ont jamais la même taille, si bien que les nombres d’occurrences ne peuvent pas être comparés tels quels. La comparaison se fait avec des fréquences relatives : le nombre d’occurrences divisé par la taille du corpus, souvent exprimé par million de mots (see also the Absolute and relative frequencies page, in the Corpus analysis module) (voir aussi la page Fréquences absolues et relatives, dans le module L'analyse de corpus). Le tableau ci-dessous donne six mots, avec des chiffres fournis à titre d’illustration.

La Figure 9figure 9 représente quatre de ces mots. En nombre d’occurrences, chaque mot est plus fréquent dans le corpus général, parce que ce corpus est 500 fois plus grand. Par million de mots, les six mots du tableau se répartissent en quatre cas :

• le et prochain sont à peu près aussi fréquents dans les deux corpus, si bien que rien ne les rattache au dressage ;
• cheval est beaucoup plus fréquent dans le corpus de dressage, mais c’est aussi un mot courant ailleurs ;
• galop et piaffer n’apparaissent presque pas en dehors des textes sur l’équitation ;
• passage est un terme du dressage, mais il n’est que 1,6 fois plus fréquent dans le corpus de dressage, parce que c’est aussi un mot courant.

Les outils d’analyse de corpus proposent la même comparaison sous un autre nom : la fonction Keywords de Sketch Engine dresse la liste des mots beaucoup plus fréquents dans votre corpus que dans un corpus de référence de langue générale (see also the Going further page, in the Corpus analysis module) (voir aussi la page Pour aller plus loin, dans le module L'analyse de corpus).

Un exemple détaillé : le rapport de vraisemblance

Les fréquences relatives laissent une question ouverte : un mot peut être plus fréquent dans un petit corpus par hasard, surtout s’il n’y apparaît que quelques fois. Les mesures statistiques du degré de termitude tiennent donc compte de la quantité d’indices disponibles, en plus de l’ampleur de la différence.

Le rapport de vraisemblance (angl. log-likelihood ratio) sert ici d’exemple détaillé. C’est une mesure courante (Lefever et Rigouts Terryn, 2024), mais une parmi beaucoup d’autres. Le but est d’en comprendre le principe ; la formule exacte et les détails mathématiques ne sont pas nécessaires pour cela.

Pour chaque mot, par exemple galop, le calcul passe par quatre étapes, avec les chiffres du tableau de fréquences ci-dessus :

1. Les occurrences. Galop apparaît 468 fois dans le corpus de dressage de 200 000 mots, et 1 240 fois dans le corpus général de 100 millions de mots.
2. Les fréquences relatives. 468 divisé par 200 000 donne 2 340 occurrences par million de mots dans le corpus de dressage ; 1 240 divisé par 100 millions donne 12,4 par million dans le corpus général. Galop est environ 190 fois plus fréquent dans le corpus de dressage.
3. Les occurrences attendues. Les deux corpus contiennent ensemble 1 708 occurrences de galop, et le corpus de dressage représente environ 0,2 % de tout le texte. Si galop était aussi fréquent partout, environ 3 des 1 708 occurrences se trouveraient dans le corpus de dressage (0,2 % de 1 708). Il y en a 468.
4. Le score. Le rapport de vraisemblance compare les occurrences observées aux occurrences attendues, 468 contre 3 environ, et donne à galop un score de 3 818. Un mot dont les occurrences correspondent exactement à ce qui est attendu obtient zéro. Plus les occurrences s’éloignent de ce qui est attendu, et plus elles sont nombreuses à appuyer cette différence, plus le score est élevé.

La Figure 10figure 10 donne, pour les six mots du tableau de fréquences, combien de fois chaque mot est plus fréquent dans le corpus de dressage, combien de fois il y apparaît, et son rapport de vraisemblance.

La figure permet de lire trois choses :

• Le a de loin le plus d’occurrences et un score proche de zéro. La fréquence seule ne dit rien de la spécificité d’un mot.
• Piaffer est environ 1 300 fois plus fréquent dans le corpus de dressage, la plus grande différence des six, mais son score est bien inférieur à celui de cheval, qui n’est que 37 fois plus fréquent. Trente et une occurrences sont un indice plus faible que 1 874.
• Un score élevé demande les deux : une différence nette et assez d’occurrences pour l’appuyer.
• Passage obtient 11,7, bien en dessous de piaffer, qui a deux fois moins d’occurrences. C’est un terme du dressage, un trot très rassemblé et relevé, et aussi un mot courant, comme dans un passage pour piétons (see also the Where people disagree about terms page) (voir aussi la page Les points de désaccord sur les termes). Un programme compte des formes écrites et ne peut pas distinguer les deux sens, si bien que les emplois courants du corpus général font baisser le score.

À partir de quand une différence compte

Un cas moins net montre pourquoi le score est nécessaire. Le tableau ci-dessous donne deux mots qui sont tous deux une fois et demie plus fréquents dans le corpus de dressage que dans le corpus général, avec des chiffres fournis à titre d’illustration.

La différence de fréquence relative est la même pour les deux mots, mais sept occurrences sont trop peu pour s’y fier : une ou deux de plus ou de moins changeraient le tableau. Trois cent douze occurrences suffisent.

Par convention, un score supérieur à 3,84 signifie qu’une différence de cette ampleur apparaîtrait par hasard moins de 5 fois sur 100, et la différence est alors dite statistiquement significative.Les seuils sont donnés avec le calculateur du rapport de vraisemblance du centre UCREL de l’Université de Lancaster : 3,84 pour 5 chances sur 100 et 6,63 pour 1 sur 100 (consulté le 1er octobre 2026). La Figure 11figure 11 place les huit mots des deux tableaux de part et d’autre de ce seuil.

Les scores dans un extracteur de termes

Un extracteur de termes donne ces chiffres pour chaque candidat. Dans la liste de résultats de TermoStat (Figure 12figure 12), chaque ligne indique la fréquence du candidat dans le corpus (Freq) et plusieurs scores calculés par rapport à un corpus de référence, dont le rapport de vraisemblance (LL) (see also the TermoStat: a hybrid extractor page) (voir aussi la page TermoStat : un extracteur hybride).

Le degré de figement : des mots qui apparaissent ensemble

Changement et pied sont deux mots ordinaires, mais dans les textes sur le dressage ils apparaissent côte à côte bien plus souvent que le hasard ne les ferait se rencontrer. Bon et cheval apparaissent souvent ensemble eux aussi, mais surtout parce que les deux sont fréquents. Les mesures du degré de figement comparent le nombre de fois où les mots d’un candidat apparaissent ensemble au nombre de fois où chacun apparaît seul (Lefever et Rigouts Terryn, 2024).

Le degré de figement ne suffit pas à identifier les termes. Il mesure la solidité du lien entre des mots, et ce lien est tout aussi solide dans des expressions figées qui ne sont pas des termes, comme à la fin ou d’autre part (Kageura et Umino, 1996). Des mesures conçues pour les termes de plusieurs mots, comme la C-value (Frantzi et al., 2000), existent pour cette raison, et c’est aussi pourquoi les mesures statistiques sont le plus souvent combinées aux patrons morphosyntaxiques (see also the Hybrid term extraction page) (voir aussi la page L'extraction hybride de termes).

Les forces et les limites des méthodes statistiques

Le tableau ci-dessous résume ce que les méthodes statistiques font bien, ce qu’il leur faut, et les deux façons dont elles échouent : les candidats qui ne sont pas des termes (le bruit noisebruit evaluationévaluation The items a system returns that are not correct: in term extraction, the candidates that are not terms.Éléments trouvés par un système qui ne sont pas corrects : en extraction de termes, les candidats qui ne sont pas des termes. ) et les termes manqués (le silence silencesilence evaluationévaluation The correct items a system fails to return: in term extraction, the terms of the gold standard that were not proposed.Éléments corrects qu'un système ne trouve pas : en extraction de termes, les termes de la référence qui n'ont pas été proposés. ) (see also the False positives and false negatives page, in the Evaluating language technology module) (voir aussi la page Faux positifs et faux négatifs, dans le module L'évaluation des technologies langagières).

Two methods with opposite weaknesses

Linguistic and statistical methods fail in different ways, as the table below sets out, and each does well where the other fails.

A hybrid extractor combines the two.

The two steps

A hybrid extractor works in two steps (Figure 13figure 13).

1. A linguistic step collects candidates. The text is split into words, each word gets its part of speech part-of-speech tagging (POS tagging)étiquetage morphosyntaxique NLPTAL The task of taking a sequence of tokenized words and a tagset, and assigning to each word one tag naming its grammatical class, such as noun or verb.Tâche qui consiste à prendre une suite de mots segmentés et un jeu d'étiquettes, puis à attribuer à chaque mot une étiquette nommant sa classe grammaticale, par exemple nom ou verbe. , and every sequence that matches a pattern typical of terms, such as an adjective followed by a noun, becomes a candidate (see also the Linguistic methods: part-of-speech patterns page) (voir aussi la page Méthodes linguistiques : les patrons morphosyntaxiques).
2. A statistical step ranks them. Each candidate gets a score for termhood termhooddegré de termitude terminologyterminologie The degree to which a unit of language is related to the concepts of a specialized domain.Degré auquel une unité de la langue se rattache aux concepts d'un domaine spécialisé. , how specific it is to the domain compared with a general corpus corpuscorpus corporacorpus A collection of written texts, speech recordings or transcribed language assembled for analysis or use in language technology (plural: corpora).Ensemble de textes écrits, d'enregistrements de parole ou de langue transcrite réuni pour l'analyse ou pour les technologies langagières. , and candidates of several words often also for unithood unithooddegré de figement terminologyterminologie The degree to which a sequence of words forms a stable unit.Degré auquel une suite de mots forme une unité stable. , how firmly their words belong together (Kageura & Umino, 1996) (see also the Statistical methods: termhood and unithood page) (voir aussi la page Méthodes statistiques : degré de termitude et degré de figement).

The result is a list of candidates ordered from most to least likely to be a term. Nothing in it says where the terms stop: the person who uses the list chooses a cut-off, reads the top of it, or sets a threshold on the score (Rigouts Terryn et al., 2019). TermoStat is a tool of this kind (see also the TermoStat: a hybrid extractor page) (voir aussi la page TermoStat : un extracteur hybride).

Strengths and limits

The table below sets the strengths of a hybrid extractor beside its limits.

On the size of the corpus, TermoStat’s guide recommends at least 50,000 words and warns that under 10,000 few candidates come out as statistically significant.TermoStat, Guide de l’utilisateur, version 4.0 beta, read 30 September 2026. The Keywords function of Sketch Engine ranks words by the same kind of comparison and has the same limit (see also the Going further page, in the Corpus analysis module) (voir aussi la page Pour aller plus loin, dans le module L'analyse de corpus).

Deux méthodes aux faiblesses opposées

Les méthodes linguistiques et statistiques échouent de façons différentes, comme le montre le tableau ci-dessous, et chacune réussit là où l’autre échoue.

Un extracteur hybride combine les deux.

Les deux étapes

Un extracteur hybride procède en deux étapes (Figure 13figure 13).

1. Une étape linguistique recueille les candidats. Le texte est découpé en mots, chaque mot reçoit sa partie du discours part-of-speech tagging (POS tagging)étiquetage morphosyntaxique NLPTAL The task of taking a sequence of tokenized words and a tagset, and assigning to each word one tag naming its grammatical class, such as noun or verb.Tâche qui consiste à prendre une suite de mots segmentés et un jeu d'étiquettes, puis à attribuer à chaque mot une étiquette nommant sa classe grammaticale, par exemple nom ou verbe. , et toute suite qui correspond à un patron typique des termes, par exemple un nom suivi d’un adjectif, devient un candidat (see also the Linguistic methods: part-of-speech patterns page) (voir aussi la page Méthodes linguistiques : les patrons morphosyntaxiques).
2. Une étape statistique les classe. Chaque candidat reçoit un score pour son degré de termitude termhooddegré de termitude terminologyterminologie The degree to which a unit of language is related to the concepts of a specialized domain.Degré auquel une unité de la langue se rattache aux concepts d'un domaine spécialisé. , c’est-à-dire sa spécificité au domaine par rapport à un corpus corpuscorpus corporacorpus A collection of written texts, speech recordings or transcribed language assembled for analysis or use in language technology (plural: corpora).Ensemble de textes écrits, d'enregistrements de parole ou de langue transcrite réuni pour l'analyse ou pour les technologies langagières. général, et les candidats de plusieurs mots en reçoivent souvent un aussi pour leur degré de figement unithooddegré de figement terminologyterminologie The degree to which a sequence of words forms a stable unit.Degré auquel une suite de mots forme une unité stable. , c’est-à-dire la solidité du lien entre leurs mots (Kageura et Umino, 1996) (see also the Statistical methods: termhood and unithood page) (voir aussi la page Méthodes statistiques : degré de termitude et degré de figement).

Le résultat est une liste de candidats classés du plus probable au moins probable comme terme. Rien n’y indique où les termes s’arrêtent : la personne qui utilise la liste choisit un seuil, en lit le début, ou fixe un score minimal (Rigouts Terryn et al., 2019). TermoStat est un outil de ce type (see also the TermoStat: a hybrid extractor page) (voir aussi la page TermoStat : un extracteur hybride).

Les forces et les limites

Le tableau ci-dessous met les forces d’un extracteur hybride en regard de ses limites.

Sur la taille du corpus, le guide de TermoStat recommande au moins 50 000 mots et prévient qu’en dessous de 10 000, peu de candidats ressortent comme statistiquement significatifs.TermoStat, Guide de l’utilisateur, version 4.0 bêta, consulté le 30 septembre 2026. La fonction Keywords de Sketch Engine classe les mots selon le même type de comparaison et a la même limite (see also the Going further page, in the Corpus analysis module) (voir aussi la page Pour aller plus loin, dans le module L'analyse de corpus).

Origin and method

TermoStat, developed by Patrick Drouin at the Université de Montréal, is a hybrid term extractor, free for academic use.TermoStat runs in the browser at termostat.ling.umontreal.ca, in English or French, and asks for a free account. The method behind it compares a specialized corpus corpuscorpus corporacorpus A collection of written texts, speech recordings or transcribed language assembled for analysis or use in language technology (plural: corpora).Ensemble de textes écrits, d'enregistrements de parole ou de langue transcrite réuni pour l'analyse ou pour les technologies langagières. with a reference corpus of non-technical text; in the original study, 13,746 articles from The Gazette, a Montreal newspaper, 7.4 million words in all. It keeps the nouns and adjectives that occur significantly more often in the specialized corpus than the comparison predicts, and builds the candidate terms candidate termcandidat terminologique NLPTAL A unit that a term extraction program proposes as a possible term, before a person has validated it.Unité qu'un programme d'extraction automatique de termes propose comme terme possible, avant qu'une personne ne l'ait validée. around those words, which cuts down the number of candidates that are not terms (Drouin, 2003).

Settings

Running TermoStat takes three settingsTermoStat, Guide de l’utilisateur, version 4.0 beta, read 30 September 2026; the guide is in the tool’s Help menu, behind the login. (Figure 14figure 14):

• a corpus, which can be one file or many separate files, in plain text plain texttexte brut text encodingencodage du texte Text represented as a sequence of characters alone, with no formatting or layout of its own. A plain-text file opens in any text editor, whatever produced it, which is why interchange formats are written this way: markup languages record structure inside plain text, by writing that structure as characters in the text itself.Texte représenté par la seule suite de ses caractères, sans mise en forme ni mise en page propre. Un fichier en texte brut s'ouvre dans n'importe quel éditeur de texte, quel que soit le logiciel qui l'a produit, ce qui explique que les formats d'échange s'écrivent ainsi : les langages de balisage consignent la structure à l'intérieur du texte brut, en l'écrivant sous forme de caractères dans le texte lui-même. , PDF, Word or a few other formats;
• its language, one of eight;
• the parts of speech to extract, among nouns, noun phrases, adjectives, verbs and adverbs.

The ranked list and its scores

TermoStat returns a list of candidates ranked by specificity (Figure 15figure 15). Each row gives the candidate, the forms it takes in the corpus, its grammatical pattern, its frequency and its scores.

The first score, Spec, ranks the list (Drouin et al., 2020). The other columns measure the same comparison in other ways, as the table below sets out.

Term bank badges

In TermoStat’s list of results, a badge beside a candidate names a term bank that publishes a definition for it, and opening it shows the bank’s definitions with their subject fields (Figure 16figure 16). When a bank has several records, the tool orders them by how well they fit the corpus. Its own guide calls that order a hint and not a verdict, right about two times in three: for cheval, the records shown are a racquet-sports move and a gymnastics apparatus.

Validating and exporting

In the first column of TermoStat’s list of results, every candidate can be accepted or rejected, which is the validation step done inside the tool. The sentences a candidate occurs in are the quickest check on a doubtful one (Figure 17figure 17): they show whether the word always names a concept of the domain, or also turns up in its everyday sense. Other tabs give its collocates, the grammatical patterns of all the candidates, and a word cloud.

The list can be downloaded in two formats, which keep different parts of the result. The spreadsheet (TSV) has every column of the list, one candidate per row, and is the file to work from when you want to sort, filter or count; the first twenty rows are below.

rank	lemma	variants	pos	freq	spec	spec_beta	chi2	weirdness	logodd	ll	dispersion	validation
1	cheval	cheval|chevaux	Common_Noun	754	157.872	157.872	25579.0085	579.9283	6.3871	5099.8568	1	
2	épaule	épaule|épaules|epaule	Common_Noun	223	82.1229	73.9106	6899.0167	224.6315	5.4304	1408.7496	0.9	
3	cavalier	cavalier|cavaliers	Common_Noun	155	71.6309	71.6309	5238.2604	511.9848	6.2845	1045.3317	1	
4	galop	galop|galops	Common_Noun	134	68.0742	61.2668	4726.1266	1218.4255	7.2376	939.7621	0.9	
5	changement de pied	changement de pied|changements de pied|changements de pieds	Common_Noun Preposition Common_Noun	102	59.8532	35.9119	3644.8102	1859.227	7.8126	725.981	0.6	
6	hanche	hanches|hanche	Common_Noun	105	59.2659	59.2659	3574.614	546.6798	6.3752	712.513	1	
7	rêne	rêne|rênes	Common_Noun	84	51.7897	41.4369	2722.9489	306.8627	5.7733	548.45	0.8001	
8	appuyer	appuyer|appuyez|appuie	Verb	121	49.7402	39.7922	2520.7599	53.712	3.9879	606.8733	0.8	
9	exercice	exercice|exercices	Common_Noun	128	48.4306	48.4306	2390.8009	42.7256	3.7578	605.5295	1	
10	trot	trot	Common_Noun	66	48.1427	43.3718	2345.2454	1209.4001	7.3793	466.663	0.9009	
11	pli	pli	Common_Noun	64	47.4074	28.4776	2273.0552	1173.2986	7.3487	452.2695	0.6007	
12	équitation	équitation|equitation|équitations	Common_Noun	66	47.4004	37.9582	2273.4465	604.7001	6.532	452.4861	0.8008	
13	jambe	jambe|jambes	Common_Noun	98	47.322	42.5898	2277.1156	70.0794	4.2562	521.6902	0.9	
14	postérieur	postérieurs|postérieur	Common_Noun	57	44.7389	44.7389	2020.4001	1046.9434	7.2337	401.908	1	
15	équestre	équestre|équestres	Adjective	55	42.002	25.2768	1779.5304	288.812	5.7319	358.6113	0.6018	
16	extérieur	extérieure|extérieur|extérieures	Adjective	98	39.235	35.3115	1565.0385	32.1986	3.4731	426.6313	0.9	
17	cercle	cercle|cercles	Common_Noun	69	38.2647	34.4612	1482.1946	57.4342	4.0562	351.8606	0.9006	
18	changement	changement|changements	Common_Noun	146	37.37	29.896	1424.4873	16.0816	2.7783	487.0365	0.8	
19	droit	droite|droit|droits	Adjective	98	36.016	32.4144	1318.6281	24.6486	3.2049	389.4598	0.9	
20	rectitude	rectitude	Common_Noun	36	35.5517	21.8217	1262.6064	667.8777	6.7788	251.0434	0.6138	

The TBX TermBase eXchange (TBX)TermBase eXchange (TBX) exchange formatsformats d'échange The XML-based standard (ISO 30042) for exchanging termbases: each concept entry can gather the terms of several languages plus rich metadata such as definitions, part of speech, domain and usage notes.Norme fondée sur XML (ISO 30042) pour échanger des bases terminologiques : chaque entrée conceptuelle peut contenir les termes de plusieurs langues et des métadonnées riches comme des définitions, la partie du discours, le domaine et des notes d'usage. file keeps only the terms, their forms and their part of speech, one entry per candidate, in the exchange format interchange formatformat d'échange exchange formatsformats d'échange A documented way of organizing and representing data so that it can be transferred between different systems or applications. In translation technology, TMX is primarily used to exchange translation-memory data, TBX to exchange terminological data, and XLIFF to move localizable content, translations, and related workflow information. A standardized format facilitates interoperability, but successful exchange may still depend on the versions, optional features, and metadata supported by each tool.Manière documentée d'organiser et de représenter des données afin qu'elles puissent être transférées entre différents systèmes ou applications. En technologies de la traduction, TMX sert principalement à échanger des données de mémoire de traduction, TBX à échanger des données terminologiques, et XLIFF à transporter du contenu localisable, ses traductions et les informations de flux de travail associées. Un format normalisé facilite l'interopérabilité, mais la réussite de l'échange peut dépendre des versions, des fonctionnalités facultatives et des métadonnées que prend en charge chaque outil. a termbase termbasebase terminologique terminologyterminologie A database of terminological entries organized by concept, grouping the terms of several languages with metadata such as definitions, domains and usage status.Base de données d'entrées terminologiques organisée par concept, contenant les termes de plusieurs langues et des métadonnées comme des définitions, des domaines et des marques d'usage. can import (see also the TBX: exchanging termbases page, in the Exchange formats in translation module) (voir aussi la page TBX : échanger des bases terminologiques, dans le module Les formats d'échange en traduction). The first five entries are below. The export declares the current version of the standard in its namespace namespaceespace de noms XMLXML A name, written as a URI, that says which vocabulary an element or attribute belongs to.Nom, écrit sous la forme d'un URI, qui indique à quel vocabulaire appartient un élément ou un attribut. but keeps the older element elementélément XMLXML The building block of an XML document: an opening tag, the content it delimits and a closing tag, or a single empty-element tag when there is no content.Unité de base d'un document XML : une balise ouvrante, le contenu qu'elle délimite et une balise fermante, ou une seule balise d'élément vide quand il n'y a pas de contenu. name termEntry, which that version calls conceptEntry.

<?xml version="1.0" encoding="UTF-8"?>
<tbx type="TBX-Basic" style="dca" xml:lang="fr" xmlns="urn:iso:std:iso:30042:ed-2">
  <tbxHeader>
    <fileDesc>
      <titleStmt><title>Termostat export</title></titleStmt>
    </fileDesc>
  </tbxHeader>
  <text>
    <body>
      <!-- Extract: the first 5 of the 1,155 entries TermoStat exported for the dressage corpus (2026-09-30). -->
      <termEntry xml:id="te1">
        <langSec xml:lang="fr">
          <termSec>
            <term>cheval</term>
            <termNote type="partOfSpeech">Common_Noun</termNote>
          </termSec>
          <termSec>
            <term>chevaux</term>
            <termNote type="partOfSpeech">Common_Noun</termNote>
          </termSec>
        </langSec>
      </termEntry>
      <termEntry xml:id="te2">
        <langSec xml:lang="fr">
          <termSec>
            <term>épaule</term>
            <termNote type="partOfSpeech">Common_Noun</termNote>
          </termSec>
          <termSec>
            <term>épaules</term>
            <termNote type="partOfSpeech">Common_Noun</termNote>
          </termSec>
          <termSec>
            <term>epaule</term>
            <termNote type="partOfSpeech">Common_Noun</termNote>
          </termSec>
        </langSec>
      </termEntry>
      <termEntry xml:id="te3">
        <langSec xml:lang="fr">
          <termSec>
            <term>cavalier</term>
            <termNote type="partOfSpeech">Common_Noun</termNote>
          </termSec>
          <termSec>
            <term>cavaliers</term>
            <termNote type="partOfSpeech">Common_Noun</termNote>
          </termSec>
        </langSec>
      </termEntry>
      <termEntry xml:id="te4">
        <langSec xml:lang="fr">
          <termSec>
            <term>galop</term>
            <termNote type="partOfSpeech">Common_Noun</termNote>
          </termSec>
          <termSec>
            <term>galops</term>
            <termNote type="partOfSpeech">Common_Noun</termNote>
          </termSec>
        </langSec>
      </termEntry>
      <termEntry xml:id="te5">
        <langSec xml:lang="fr">
          <termSec>
            <term>changement de pied</term>
            <termNote type="partOfSpeech">Common_Noun Preposition Common_Noun</termNote>
          </termSec>
          <termSec>
            <term>changements de pied</term>
            <termNote type="partOfSpeech">Common_Noun Preposition Common_Noun</termNote>
          </termSec>
          <termSec>
            <term>changements de pieds</term>
            <termNote type="partOfSpeech">Common_Noun Preposition Common_Noun</termNote>
          </termSec>
        </langSec>
      </termEntry>
    </body>
  </text>
</tbx>

L’origine et la méthode

TermoStat, conçu par Patrick Drouin à l’Université de Montréal, est un extracteur de termes hybride, gratuit pour l’usage universitaire.TermoStat s’utilise dans le navigateur à l’adresse termostat.ling.umontreal.ca, en anglais ou en français, et demande un compte gratuit. Sa méthode compare un corpus corpuscorpus corporacorpus A collection of written texts, speech recordings or transcribed language assembled for analysis or use in language technology (plural: corpora).Ensemble de textes écrits, d'enregistrements de parole ou de langue transcrite réuni pour l'analyse ou pour les technologies langagières. spécialisé à un corpus de référence de textes non techniques ; dans l’étude d’origine, 13 746 articles de The Gazette, un quotidien montréalais, soit 7,4 millions de mots. Elle retient les noms et les adjectifs nettement plus fréquents dans le corpus spécialisé que ne le prédit la comparaison, et construit les candidats terminologiques candidate termcandidat terminologique NLPTAL A unit that a term extraction program proposes as a possible term, before a person has validated it.Unité qu'un programme d'extraction automatique de termes propose comme terme possible, avant qu'une personne ne l'ait validée. autour de ces mots, ce qui réduit le nombre de candidats qui ne sont pas des termes (Drouin, 2003).

Les réglages

Lancer TermoStat demande trois réglagesTermoStat, Guide de l’utilisateur, version 4.0 bêta, consulté le 30 septembre 2026 ; le guide se trouve dans le menu Aide de l’outil, après connexion. (Figure 14figure 14) :

• un corpus, qui peut être un seul fichier ou plusieurs fichiers distincts, en texte brut plain texttexte brut text encodingencodage du texte Text represented as a sequence of characters alone, with no formatting or layout of its own. A plain-text file opens in any text editor, whatever produced it, which is why interchange formats are written this way: markup languages record structure inside plain text, by writing that structure as characters in the text itself.Texte représenté par la seule suite de ses caractères, sans mise en forme ni mise en page propre. Un fichier en texte brut s'ouvre dans n'importe quel éditeur de texte, quel que soit le logiciel qui l'a produit, ce qui explique que les formats d'échange s'écrivent ainsi : les langages de balisage consignent la structure à l'intérieur du texte brut, en l'écrivant sous forme de caractères dans le texte lui-même. , en PDF, en Word ou dans quelques autres formats ;
• sa langue, parmi huit ;
• les parties du discours à extraire, parmi les noms, les syntagmes nominaux, les adjectifs, les verbes et les adverbes.

La liste classée et ses scores

TermoStat renvoie une liste de candidats classés par spécificité (Figure 15figure 15). Chaque ligne donne le candidat, les formes qu’il prend dans le corpus, son patron grammatical, sa fréquence et ses scores.

Le premier score, Spec, classe la liste (Drouin et al., 2020). Les autres colonnes mesurent la même comparaison d’autres façons, comme le présente le tableau ci-dessous.

Les badges de banques terminologiques

Dans la liste de résultats de TermoStat, un badge à côté d’un candidat nomme une banque terminologique qui en publie une définition, et l’ouvrir affiche les définitions de la banque avec leurs domaines (Figure 16figure 16). Quand une banque a plusieurs fiches, l’outil les ordonne selon leur proximité avec le corpus. Son propre guide présente cet ordre comme un indice et non comme un verdict, juste environ deux fois sur trois : pour cheval, les fiches affichées concernent un déplacement des sports de raquette et un agrès de gymnastique.

La validation et l’exportation

Dans la première colonne de la liste de résultats de TermoStat, chaque candidat peut être accepté ou rejeté : c’est l’étape de validation, faite dans l’outil même. Les phrases où un candidat apparaît sont le moyen le plus rapide de vérifier un cas douteux (Figure 17figure 17) : elles montrent si le mot désigne toujours un concept du domaine, ou s’il apparaît aussi dans son sens courant. D’autres onglets donnent ses cooccurrents, les patrons grammaticaux de tous les candidats et un nuage de mots.

La liste se télécharge dans deux formats, qui ne conservent pas les mêmes parties du résultat. Le tableur (TSV) contient toutes les colonnes de la liste, un candidat par ligne, et c’est le fichier à utiliser pour trier, filtrer ou compter ; les vingt premières lignes figurent ci-dessous.

rank	lemma	variants	pos	freq	spec	spec_beta	chi2	weirdness	logodd	ll	dispersion	validation
1	cheval	cheval|chevaux	Common_Noun	754	157.872	157.872	25579.0085	579.9283	6.3871	5099.8568	1	
2	épaule	épaule|épaules|epaule	Common_Noun	223	82.1229	73.9106	6899.0167	224.6315	5.4304	1408.7496	0.9	
3	cavalier	cavalier|cavaliers	Common_Noun	155	71.6309	71.6309	5238.2604	511.9848	6.2845	1045.3317	1	
4	galop	galop|galops	Common_Noun	134	68.0742	61.2668	4726.1266	1218.4255	7.2376	939.7621	0.9	
5	changement de pied	changement de pied|changements de pied|changements de pieds	Common_Noun Preposition Common_Noun	102	59.8532	35.9119	3644.8102	1859.227	7.8126	725.981	0.6	
6	hanche	hanches|hanche	Common_Noun	105	59.2659	59.2659	3574.614	546.6798	6.3752	712.513	1	
7	rêne	rêne|rênes	Common_Noun	84	51.7897	41.4369	2722.9489	306.8627	5.7733	548.45	0.8001	
8	appuyer	appuyer|appuyez|appuie	Verb	121	49.7402	39.7922	2520.7599	53.712	3.9879	606.8733	0.8	
9	exercice	exercice|exercices	Common_Noun	128	48.4306	48.4306	2390.8009	42.7256	3.7578	605.5295	1	
10	trot	trot	Common_Noun	66	48.1427	43.3718	2345.2454	1209.4001	7.3793	466.663	0.9009	
11	pli	pli	Common_Noun	64	47.4074	28.4776	2273.0552	1173.2986	7.3487	452.2695	0.6007	
12	équitation	équitation|equitation|équitations	Common_Noun	66	47.4004	37.9582	2273.4465	604.7001	6.532	452.4861	0.8008	
13	jambe	jambe|jambes	Common_Noun	98	47.322	42.5898	2277.1156	70.0794	4.2562	521.6902	0.9	
14	postérieur	postérieurs|postérieur	Common_Noun	57	44.7389	44.7389	2020.4001	1046.9434	7.2337	401.908	1	
15	équestre	équestre|équestres	Adjective	55	42.002	25.2768	1779.5304	288.812	5.7319	358.6113	0.6018	
16	extérieur	extérieure|extérieur|extérieures	Adjective	98	39.235	35.3115	1565.0385	32.1986	3.4731	426.6313	0.9	
17	cercle	cercle|cercles	Common_Noun	69	38.2647	34.4612	1482.1946	57.4342	4.0562	351.8606	0.9006	
18	changement	changement|changements	Common_Noun	146	37.37	29.896	1424.4873	16.0816	2.7783	487.0365	0.8	
19	droit	droite|droit|droits	Adjective	98	36.016	32.4144	1318.6281	24.6486	3.2049	389.4598	0.9	
20	rectitude	rectitude	Common_Noun	36	35.5517	21.8217	1262.6064	667.8777	6.7788	251.0434	0.6138	

Le fichier TBX TermBase eXchange (TBX)TermBase eXchange (TBX) exchange formatsformats d'échange The XML-based standard (ISO 30042) for exchanging termbases: each concept entry can gather the terms of several languages plus rich metadata such as definitions, part of speech, domain and usage notes.Norme fondée sur XML (ISO 30042) pour échanger des bases terminologiques : chaque entrée conceptuelle peut contenir les termes de plusieurs langues et des métadonnées riches comme des définitions, la partie du discours, le domaine et des notes d'usage. ne conserve que les termes, leurs formes et leur partie du discours, une entrée par candidat, dans le format d’échange interchange formatformat d'échange exchange formatsformats d'échange A documented way of organizing and representing data so that it can be transferred between different systems or applications. In translation technology, TMX is primarily used to exchange translation-memory data, TBX to exchange terminological data, and XLIFF to move localizable content, translations, and related workflow information. A standardized format facilitates interoperability, but successful exchange may still depend on the versions, optional features, and metadata supported by each tool.Manière documentée d'organiser et de représenter des données afin qu'elles puissent être transférées entre différents systèmes ou applications. En technologies de la traduction, TMX sert principalement à échanger des données de mémoire de traduction, TBX à échanger des données terminologiques, et XLIFF à transporter du contenu localisable, ses traductions et les informations de flux de travail associées. Un format normalisé facilite l'interopérabilité, mais la réussite de l'échange peut dépendre des versions, des fonctionnalités facultatives et des métadonnées que prend en charge chaque outil. qu’une base terminologique termbasebase terminologique terminologyterminologie A database of terminological entries organized by concept, grouping the terms of several languages with metadata such as definitions, domains and usage status.Base de données d'entrées terminologiques organisée par concept, contenant les termes de plusieurs langues et des métadonnées comme des définitions, des domaines et des marques d'usage. peut importer (see also the TBX: exchanging termbases page, in the Exchange formats in translation module) (voir aussi la page TBX : échanger des bases terminologiques, dans le module Les formats d'échange en traduction). Les cinq premières entrées figurent ci-dessous. Le fichier exporté déclare la version actuelle de la norme dans son espace de noms namespaceespace de noms XMLXML A name, written as a URI, that says which vocabulary an element or attribute belongs to.Nom, écrit sous la forme d'un URI, qui indique à quel vocabulaire appartient un élément ou un attribut. , mais garde l’ancien nom d’élément elementélément XMLXML The building block of an XML document: an opening tag, the content it delimits and a closing tag, or a single empty-element tag when there is no content.Unité de base d'un document XML : une balise ouvrante, le contenu qu'elle délimite et une balise fermante, ou une seule balise d'élément vide quand il n'y a pas de contenu. termEntry, que cette version appelle conceptEntry.

<?xml version="1.0" encoding="UTF-8"?>
<tbx type="TBX-Basic" style="dca" xml:lang="fr" xmlns="urn:iso:std:iso:30042:ed-2">
  <tbxHeader>
    <fileDesc>
      <titleStmt><title>Termostat export</title></titleStmt>
    </fileDesc>
  </tbxHeader>
  <text>
    <body>
      <!-- Extract: the first 5 of the 1,155 entries TermoStat exported for the dressage corpus (2026-09-30). -->
      <termEntry xml:id="te1">
        <langSec xml:lang="fr">
          <termSec>
            <term>cheval</term>
            <termNote type="partOfSpeech">Common_Noun</termNote>
          </termSec>
          <termSec>
            <term>chevaux</term>
            <termNote type="partOfSpeech">Common_Noun</termNote>
          </termSec>
        </langSec>
      </termEntry>
      <termEntry xml:id="te2">
        <langSec xml:lang="fr">
          <termSec>
            <term>épaule</term>
            <termNote type="partOfSpeech">Common_Noun</termNote>
          </termSec>
          <termSec>
            <term>épaules</term>
            <termNote type="partOfSpeech">Common_Noun</termNote>
          </termSec>
          <termSec>
            <term>epaule</term>
            <termNote type="partOfSpeech">Common_Noun</termNote>
          </termSec>
        </langSec>
      </termEntry>
      <termEntry xml:id="te3">
        <langSec xml:lang="fr">
          <termSec>
            <term>cavalier</term>
            <termNote type="partOfSpeech">Common_Noun</termNote>
          </termSec>
          <termSec>
            <term>cavaliers</term>
            <termNote type="partOfSpeech">Common_Noun</termNote>
          </termSec>
        </langSec>
      </termEntry>
      <termEntry xml:id="te4">
        <langSec xml:lang="fr">
          <termSec>
            <term>galop</term>
            <termNote type="partOfSpeech">Common_Noun</termNote>
          </termSec>
          <termSec>
            <term>galops</term>
            <termNote type="partOfSpeech">Common_Noun</termNote>
          </termSec>
        </langSec>
      </termEntry>
      <termEntry xml:id="te5">
        <langSec xml:lang="fr">
          <termSec>
            <term>changement de pied</term>
            <termNote type="partOfSpeech">Common_Noun Preposition Common_Noun</termNote>
          </termSec>
          <termSec>
            <term>changements de pied</term>
            <termNote type="partOfSpeech">Common_Noun Preposition Common_Noun</termNote>
          </termSec>
          <termSec>
            <term>changements de pieds</term>
            <termNote type="partOfSpeech">Common_Noun Preposition Common_Noun</termNote>
          </termSec>
        </langSec>
      </termEntry>
    </body>
  </text>
</tbx>

Learning from annotated examples

A hybrid extractor combines a few measures with rules and a cut-off that people chose. Supervised learning supervised (machine) learningapprentissage supervisé machine learningapprentissage automatique A form of machine learning in which a model learns from labelled examples.Forme d'apprentissage automatique dans laquelle un modèle apprend à partir d'exemples étiquetés. replaces those choices with examples: from texts in which the terms are marked, a model learns how to combine many measures and where to draw the line between terms and the rest (Rigouts Terryn et al., 2019) (see also the From rules to machine learning chapter, in the Foundations of AI & NLP module) (voir aussi le chapitre Des règles à l'apprentissage automatique, dans le module Fondements de l'IA et du TAL).

The measures are called features featureattribut machine learningapprentissage automatique A property or representation of an observation that a machine-learning model uses as input when making a prediction.Propriété ou représentation d'une observation qu'un modèle d'apprentissage automatique utilise en entrée pour produire une prédiction. . For each candidate they can describe, for instance, its termhood termhooddegré de termitude terminologyterminologie The degree to which a unit of language is related to the concepts of a specialized domain.Degré auquel une unité de la langue se rattache aux concepts d'un domaine spécialisé. and unithood unithooddegré de figement terminologyterminologie The degree to which a sequence of words forms a stable unit.Degré auquel une suite de mots forme une unité stable. , its length, its grammatical pattern, how often it occurs, and whether it is part of longer candidates (Lefever & Rigouts Terryn, 2024). The table below shows four candidates as a model receives them: one row of features each, and the label a person gave.

Classifying candidates: HAMLET

HAMLET, a tool I developed with Véronique Hoste and Els Lefever, follows the steps of the hybrid method but learns them from examples. The grammatical patterns come from the annotated texts instead of a hand-written list, and a classifier labels each candidate as a term or not, from many features (Rigouts Terryn et al., 2021).

On the same Dutch texts about dressage, HAMLET proposed far fewer candidates than TermoStat, and a much larger share of them were terms, while TermoStat’s longer list contained somewhat more of the terms people had marked. HAMLET also found more of the terms that occurred only once, which a single frequency-based measure tends to miss (Rigouts Terryn et al., 2019).

HAMLET is one system of this kind among several. When teams tested their term extractors on the same data in a shared task shared tasktâche partagée evaluationévaluation A public evaluation exercise in which every participating team is given the same task, the same data and the same scoring, so that their systems can be compared directly.Exercice d'évaluation public où toutes les équipes participantes reçoivent la même tâche, les mêmes données et la même notation, de sorte que leurs systèmes se comparent directement. , the entries ranged from rule-based filtering of candidates and classifiers built on statistical features to fine-tuned BERT models (Rigouts Terryn et al., 2020b).

Sequence labelling

Sequence labelling is a second kind of supervised model for term extraction, and it does not start from a list of candidates. It reads the text word by word and gives each word a label, as Figure 18figure 18 shows: B for the first word of a term, I for a word inside a term, and O for a word outside any term (Rigouts Terryn et al., 2022b). This is called sequence labelling, and the same technique is used to find names in texts (see also the A tour of NLP tasks chapter) (voir aussi le chapitre Tour d'horizon des tâches du TAL).

The models behind this approach are usually neural networks neural network (NN)réseau de neurones (RNA) machine learningapprentissage automatique A machine-learning model composed of interconnected layers of small computational units.Modèle d'apprentissage automatique composé de couches interconnectées de petites unités de calcul. that read each word through a contextual embedding contextual embeddingplongement contextuel embeddingsplongements A numerical representation generated for a particular occurrence of a token by taking account of the other tokens available to the model.Représentation numérique générée pour une occurrence particulière d'un jeton en tenant compte des autres jetons accessibles au modèle. , a representation of the word that depends on the sentence around it. D-Terminer, a free online demonstration of my doctoral research rather than a full tool, uses such a model to mark terms in English, French, Dutch or German, and works even on a single sentence (Rigouts Terryn et al., 2022a).D-Terminer runs in the browser at lt3.ugent.be/dterminer; it is a demo of the method, with the limits of a demo.

The demo’s settings name the notions of this chapter (Figure 19figure 19): the labelling scheme, the domains of the annotated texts the model was trained on, and the kinds of term to return (see also the Where people disagree about terms page) (voir aussi la page Les points de désaccord sur les termes).

Its two views of a result are the two forms of output: a list, and the terms marked in the text. In the list (Figure 20figure 20), one column counts how often a candidate occurs in the corpus and another how often it was marked as a term. The two differ, because the model labels each occurrence separately: pas occurs 278 times in these French texts and is marked 46 times, since pas is the walk, a gait of the horse, and also the French word for “not”. The context view (Figure 21figure 21) shows the same candidates where they occur in one text.

Comparing the two approaches

A model that classifies candidates and a model that labels sequences differ in what they decide on and in what they can return, as the table below sets out (Rigouts Terryn et al., 2021, 2022a, 2022b).

Factors that affect the results

The quality of a supervised extractor’s output varies more with the texts than with the kind of model. When a classifier of candidates and a sequence labeller were tested on the same twelve corpora corpuscorpus corporacorpus A collection of written texts, speech recordings or transcribed language assembled for analysis or use in language technology (plural: corpora).Ensemble de textes écrits, d'enregistrements de parole ou de langue transcrite réuni pour l'analyse ou pour les technologies langagières. , four domains in three languages, their average scores were close, and the differences between domains and languages were larger than the difference between the two approaches (Rigouts Terryn et al., 2022b) (see also the Term extraction with LLMs page) (voir aussi la page L'extraction de termes avec les GML). The factors include, for instance:

• The language. Scores were lower in French than in Dutch. A likely reason is compounding: a Dutch term is often one compound word where French and English need several words, and terms of several words are harder to extract (Rigouts Terryn, 2026; Rigouts Terryn et al., 2022b).
• The domain. Texts about corruption gave the lowest scores in all three languages. They were also the hardest for people to annotate data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. , because their terms are harder to tell from general vocabulary (Rigouts Terryn, 2026; Rigouts Terryn et al., 2022b).
• The relevance of the training data training setjeu de données d'entraînement machine learningapprentissage automatique The portion of a dataset used to train a machine-learning model.Portion d'un jeu de données servant à entraîner un modèle d'apprentissage automatique. . A model does best on texts that resemble the ones it learned from (Rigouts Terryn et al., 2021).
• The amount of data. More annotated examples help (Rigouts Terryn et al., 2021), and a model that sorts a list also needs enough text to extract from, since several of its features are frequencies.
• The kind of term. Terms of several words, and terms that are also everyday words, are found less often than the others (Rigouts Terryn et al., 2022b).
• The method. The behaviour of a model that learned from examples is less predictable than a set of rules (Rigouts Terryn et al., 2021).

Apprendre à partir d’exemples annotés

Un extracteur hybride combine quelques mesures avec des règles et un seuil que des personnes ont choisis. L’apprentissage supervisé supervised (machine) learningapprentissage supervisé machine learningapprentissage automatique A form of machine learning in which a model learns from labelled examples.Forme d'apprentissage automatique dans laquelle un modèle apprend à partir d'exemples étiquetés. remplace ces choix par des exemples : à partir de textes où les termes sont annotés, un modèle apprend à combiner de nombreuses mesures et à placer la limite entre les termes et le reste (Rigouts Terryn et al., 2019) (see also the From rules to machine learning chapter, in the Foundations of AI & NLP module) (voir aussi le chapitre Des règles à l'apprentissage automatique, dans le module Fondements de l'IA et du TAL).

Ces mesures s’appellent des attributs featureattribut machine learningapprentissage automatique A property or representation of an observation that a machine-learning model uses as input when making a prediction.Propriété ou représentation d'une observation qu'un modèle d'apprentissage automatique utilise en entrée pour produire une prédiction. . Pour chaque candidat, ils peuvent décrire, par exemple, son degré de termitude termhooddegré de termitude terminologyterminologie The degree to which a unit of language is related to the concepts of a specialized domain.Degré auquel une unité de la langue se rattache aux concepts d'un domaine spécialisé. et son degré de figement unithooddegré de figement terminologyterminologie The degree to which a sequence of words forms a stable unit.Degré auquel une suite de mots forme une unité stable. , sa longueur, son patron grammatical, son nombre d’occurrences, et le fait qu’il fasse partie ou non de candidats plus longs (Lefever et Rigouts Terryn, 2024). Le tableau ci-dessous montre quatre candidats tels qu’un modèle les reçoit : une ligne d’attributs chacun, et l’étiquette qu’une personne a donnée.

Classer des candidats : HAMLET

HAMLET, un outil que j’ai conçu avec Véronique Hoste et Els Lefever, suit les étapes de la méthode hybride, mais les apprend à partir d’exemples. Les patrons grammaticaux viennent des textes annotés, et non d’une liste écrite à la main, et un classifieur étiquette chaque candidat comme terme ou non, à partir de nombreux attributs (Rigouts Terryn et al., 2021).

Sur les mêmes textes néerlandais sur le dressage, HAMLET a proposé beaucoup moins de candidats que TermoStat, et une part bien plus grande de ces candidats étaient des termes, alors que la liste plus longue de TermoStat contenait un peu plus des termes que des personnes avaient annotés. HAMLET a aussi trouvé davantage de termes qui n’apparaissaient qu’une fois, qu’une seule mesure fondée sur la fréquence tend à manquer (Rigouts Terryn et al., 2019).

HAMLET est un système de ce type parmi d’autres. Quand des équipes ont testé leurs extracteurs de termes sur les mêmes données dans une tâche partagée shared tasktâche partagée evaluationévaluation A public evaluation exercise in which every participating team is given the same task, the same data and the same scoring, so that their systems can be compared directly.Exercice d'évaluation public où toutes les équipes participantes reçoivent la même tâche, les mêmes données et la même notation, de sorte que leurs systèmes se comparent directement. , les systèmes soumis allaient du filtrage de candidats à base de règles et de classifieurs fondés sur des attributs statistiques à des modèles BERT affinés (Rigouts Terryn et al., 2020b).

L’étiquetage de séquences

L’étiquetage de séquences est un second type de modèle supervisé pour l’extraction de termes, et il ne part pas d’une liste de candidats. Il lit le texte mot par mot et donne une étiquette à chaque mot, comme le montre la Figure 18figure 18 : B pour le premier mot d’un terme, I pour un mot à l’intérieur d’un terme, et O pour un mot en dehors de tout terme (Rigouts Terryn et al., 2022b). Cette méthode s’appelle l’étiquetage de séquences, et la même technique sert à repérer les noms propres dans les textes (see also the A tour of NLP tasks chapter) (voir aussi le chapitre Tour d'horizon des tâches du TAL).

Les modèles derrière cette approche sont le plus souvent des réseaux de neurones neural network (NN)réseau de neurones (RNA) machine learningapprentissage automatique A machine-learning model composed of interconnected layers of small computational units.Modèle d'apprentissage automatique composé de couches interconnectées de petites unités de calcul. qui lisent chaque mot à travers un plongement contextuel contextual embeddingplongement contextuel embeddingsplongements A numerical representation generated for a particular occurrence of a token by taking account of the other tokens available to the model.Représentation numérique générée pour une occurrence particulière d'un jeton en tenant compte des autres jetons accessibles au modèle. , c’est-à-dire une représentation du mot qui dépend de la phrase où il se trouve. D-Terminer, une démonstration en ligne gratuite de ma recherche doctorale plutôt qu’un outil complet, utilise un tel modèle pour marquer les termes en anglais, en français, en néerlandais ou en allemand, et fonctionne même sur une seule phrase (Rigouts Terryn et al., 2022a).D-Terminer s’utilise dans le navigateur à l’adresse lt3.ugent.be/dterminer ; c’est une démonstration de la méthode, avec les limites d’une démonstration.

Les réglages de la démonstration nomment les notions de ce chapitre (Figure 19figure 19) : le schéma d’étiquetage, les domaines des textes annotés sur lesquels le modèle a été entraîné, et les types de termes à renvoyer (see also the Where people disagree about terms page) (voir aussi la page Les points de désaccord sur les termes).

Ses deux vues d’un résultat sont les deux formes de résultat : une liste, et les termes marqués dans le texte. Dans la liste (Figure 20figure 20), une colonne compte les occurrences d’un candidat dans le corpus et une autre le nombre de fois où il a été marqué comme terme. Les deux diffèrent, parce que le modèle étiquette chaque occurrence séparément : pas apparaît 278 fois dans ces textes français et n’est marqué que 46 fois, puisque pas est à la fois une allure du cheval et l’adverbe de négation. La vue en contexte (Figure 21figure 21) montre les mêmes candidats là où ils apparaissent dans un texte.

Comparaison des deux approches

Un modèle qui classe des candidats et un modèle qui étiquette des séquences diffèrent par ce qu’ils étiquettent et par ce qu’ils peuvent renvoyer, comme le présente le tableau ci-dessous (Rigouts Terryn et al., 2021, 2022a, 2022b).

Les facteurs qui influencent les résultats

La qualité de ce que renvoie un extracteur supervisé varie davantage selon les textes que selon le type de modèle. Quand un classifieur de candidats et un étiqueteur de séquences ont été testés sur les douze mêmes corpus corpuscorpus corporacorpus A collection of written texts, speech recordings or transcribed language assembled for analysis or use in language technology (plural: corpora).Ensemble de textes écrits, d'enregistrements de parole ou de langue transcrite réuni pour l'analyse ou pour les technologies langagières. , quatre domaines dans trois langues, leurs scores moyens étaient proches, et les écarts entre domaines et entre langues étaient plus grands que l’écart entre les deux approches (Rigouts Terryn et al., 2022b) (see also the Term extraction with LLMs page) (voir aussi la page L'extraction de termes avec les GML). Parmi ces facteurs, par exemple :

• La langue. Les scores étaient plus faibles en français qu’en néerlandais. La composition en est une raison probable : un terme néerlandais est souvent un seul mot composé là où le français et l’anglais demandent plusieurs mots, et les termes de plusieurs mots sont plus difficiles à extraire (Rigouts Terryn, 2026 ; Rigouts Terryn et al., 2022b).
• Le domaine. Les textes sur la corruption ont donné les scores les plus faibles dans les trois langues. C’étaient aussi les plus difficiles à annoter data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. pour des personnes, parce que leurs termes se distinguent moins bien du vocabulaire général (Rigouts Terryn, 2026 ; Rigouts Terryn et al., 2022b).
• La pertinence des données d’entraînement training setjeu de données d'entraînement machine learningapprentissage automatique The portion of a dataset used to train a machine-learning model.Portion d'un jeu de données servant à entraîner un modèle d'apprentissage automatique. . Un modèle réussit le mieux sur des textes qui ressemblent à ceux à partir desquels il a appris (Rigouts Terryn et al., 2021).
• La quantité de données. Plus d’exemples annotés aident (Rigouts Terryn et al., 2021), et un modèle qui trie une liste a aussi besoin d’assez de texte d’où extraire, puisque plusieurs de ses attributs sont des fréquences.
• Le type de terme. Les termes de plusieurs mots, et les termes qui sont aussi des mots courants, sont moins souvent trouvés que les autres (Rigouts Terryn et al., 2022b).
• La méthode. Le comportement d’un modèle qui a appris à partir d’exemples est moins prévisible qu’un ensemble de règles (Rigouts Terryn et al., 2021).

Bilingual term extraction

For a translator, a list of terms in one language is only half of the job. The other half is the equivalent in the target language. When translations already exist, for instance in a translation memory translation memory (TM)mémoire de traduction (MT) CAT toolsTAO A bilingual database of previously translated source segments and their corresponding target segments, which a translation-memory system searches to propose exact or similar matches for new source text.Base de données bilingue de segments source déjà traduits et de leurs segments cibles correspondants, dans laquelle un système de mémoire de traduction cherche des correspondances exactes ou similaires pour un nouveau texte source. , the equivalents are in there, sentence by sentence.

Bilingual extraction from parallel texts has long worked through the alignment of the two sides: candidates are taken from words and phrases that the alignment links, then filtered on their frequencies (Lefever et al., 2009; Macken et al., 2013). D-Terminer’s bilingual mode works in two steps (Rigouts Terryn et al., 2022a):

1. Monolingual extraction in each language. The terms are extracted separately from the source sentences and from the target sentences.
2. Alignment. The words of each pair of aligned sentences are linked, and each source candidate gets a ranked list of target candidates that appear in the same sentences, with a score for how reliably they correspond (Figure 22figure 22).

The demo shows the result in two views, on its own sample of French and English texts about corruption. In the list (Figure 23figure 23), each French candidate has one or more English candidates with their scores: entreprise has company first and business second. Some pairs need checking, such as législation with licensing. In the context view (Figure 24figure 24), the candidates are marked in the aligned sentences of both languages.

In an evaluation of this bilingual mode on English and Dutch texts about corruption, the first target candidate was a correct equivalent for about three source candidates in four (Rigouts Terryn et al., 2022a).

Causes of missing equivalents

The most common cause of a missing equivalent was the first step: the equivalent had never been extracted in the target language (Rigouts Terryn et al., 2022a). Languages build terms differently:

• Compounds. Dutch writes many terms as one word where English writes several, as in standaardclausules for standard clauses, so a unit extracted in one language may not be extracted in the other.
• Word order. The words of a term do not come in the same order in both languages, as in galop rassemblé for collected canter.
• Different formulations. A translator may use a noun in one language and a verb in the other, or a paraphrase instead of a term, and then the text offers no equivalent to extract.

Parallel and comparable corpora

A parallel corpus parallel corpuscorpus parallèle corporacorpus A corpus of texts in one language together with their translations into one or more other languages, usually aligned sentence by sentence so that each segment can be viewed next to its equivalent.Corpus de textes dans une langue accompagnés de leurs traductions vers une ou plusieurs autres langues, généralement alignés phrase par phrase de façon à afficher chaque segment en regard de son équivalent. contains translations, aligned sentence by sentence. Most specialized texts do not come with a translation, and a comparable corpus comparable corpuscorpus comparable corporacorpus A corpus containing texts in two or more languages (or language varieties) matched on subject, genre or communicative function, whose components are typically written originally in each language rather than translated: press articles written independently in French and in English on the same events, for instance.Corpus réunissant des textes en deux ou plusieurs langues (ou variétés de langue) appariés par sujet, genre ou fonction de communication, et dont les composantes sont généralement rédigées à l'origine dans chaque langue plutôt que traduites : par exemple des articles de presse rédigés indépendamment en français et en anglais sur les mêmes événements. , texts on the same subject written separately in each language, is often all there is. Of the four ACTER domains, all have comparable corpora in English, French and Dutch, and only corruption also has a parallel corpus (Rigouts Terryn et al., 2020a). In comparable texts, no sentence of one language corresponds to a sentence of the other, so the alignment step has nothing to work from, and finding equivalents becomes a harder problem.

L’extraction bilingue de termes

Pour une traductrice ou un traducteur, une liste de termes dans une seule langue n’est que la moitié du travail. L’autre moitié est l’équivalent dans la langue cible. Quand des traductions existent déjà, par exemple dans une mémoire de traduction translation memory (TM)mémoire de traduction (MT) CAT toolsTAO A bilingual database of previously translated source segments and their corresponding target segments, which a translation-memory system searches to propose exact or similar matches for new source text.Base de données bilingue de segments source déjà traduits et de leurs segments cibles correspondants, dans laquelle un système de mémoire de traduction cherche des correspondances exactes ou similaires pour un nouveau texte source. , les équivalents s’y trouvent, phrase par phrase.

L’extraction bilingue à partir de textes parallèles passe depuis longtemps par l’alignement des deux côtés : les candidats sont tirés des mots et des groupes de mots que l’alignement relie, puis filtrés selon leurs fréquences (Lefever et al., 2009 ; Macken et al., 2013). Le mode bilingue de D-Terminer procède en deux étapes (Rigouts Terryn et al., 2022a) :

1. L’extraction monolingue dans chaque langue. Les termes sont extraits séparément des phrases sources et des phrases cibles.
2. L’alignement. Les mots de chaque paire de phrases alignées sont reliés, et chaque candidat source reçoit une liste classée de candidats cibles qui apparaissent dans les mêmes phrases, avec un score qui indique la fiabilité de la correspondance (Figure 22figure 22).

La démonstration présente le résultat dans deux vues, sur son propre échantillon de textes français et anglais sur la corruption. Dans la liste (Figure 23figure 23), chaque candidat français a un ou plusieurs candidats anglais avec leurs scores : entreprise a d’abord company, puis business. Certaines paires sont à vérifier, comme législation avec licensing. Dans la vue en contexte (Figure 24figure 24), les candidats sont marqués dans les phrases alignées des deux langues.

Dans une évaluation de ce mode bilingue sur des textes anglais et néerlandais sur la corruption, le premier candidat cible était un équivalent correct pour environ trois candidats sources sur quatre (Rigouts Terryn et al., 2022a).

Les causes des équivalents manquants

La cause la plus fréquente d’un équivalent manquant était la première étape : l’équivalent n’avait jamais été extrait dans la langue cible (Rigouts Terryn et al., 2022a). Les langues ne construisent pas leurs termes de la même façon :

• Les mots composés. Le néerlandais écrit en un seul mot beaucoup de termes que l’anglais écrit en plusieurs, comme standaardclausules pour standard clauses, si bien qu’une unité extraite dans une langue ne l’est pas forcément dans l’autre.
• L’ordre des mots. Les mots d’un terme ne viennent pas dans le même ordre dans les deux langues, comme dans collected canter pour galop rassemblé.
• Les formulations différentes. Une traduction peut employer un nom dans une langue et un verbe dans l’autre, ou une paraphrase à la place d’un terme, et le texte n’offre alors aucun équivalent à extraire.

Les corpus parallèles et les corpus comparables

Un corpus parallèle parallel corpuscorpus parallèle corporacorpus A corpus of texts in one language together with their translations into one or more other languages, usually aligned sentence by sentence so that each segment can be viewed next to its equivalent.Corpus de textes dans une langue accompagnés de leurs traductions vers une ou plusieurs autres langues, généralement alignés phrase par phrase de façon à afficher chaque segment en regard de son équivalent. contient des traductions, alignées phrase par phrase. La plupart des textes spécialisés n’ont pas de traduction, et un corpus comparable comparable corpuscorpus comparable corporacorpus A corpus containing texts in two or more languages (or language varieties) matched on subject, genre or communicative function, whose components are typically written originally in each language rather than translated: press articles written independently in French and in English on the same events, for instance.Corpus réunissant des textes en deux ou plusieurs langues (ou variétés de langue) appariés par sujet, genre ou fonction de communication, et dont les composantes sont généralement rédigées à l'origine dans chaque langue plutôt que traduites : par exemple des articles de presse rédigés indépendamment en français et en anglais sur les mêmes événements. , c’est-à-dire des textes sur le même sujet rédigés séparément dans chaque langue, est souvent tout ce qui existe. Les quatre domaines d’ACTER ont tous des corpus comparables en anglais, en français et en néerlandais, et seul celui de la corruption a aussi un corpus parallèle (Rigouts Terryn et al., 2020a). Dans des textes comparables, aucune phrase d’une langue ne correspond à une phrase de l’autre, si bien que l’étape d’alignement n’a rien sur quoi s’appuyer, et trouver les équivalents devient un problème plus difficile.

Prompting for terms

The simplest way to extract terms with an LLM is to paste a text into a chatbot and ask for the terms in it. Nothing but the model’s training then settles what counts as a term. A more careful prompt promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. gives the model the information a person would need to decide which units are terms:

• what a term is;
• whether names and single words count;
• whether a shorter term inside a longer one counts;
• in what form to return each candidate.

Every decision on which people disagree becomes a decision written into the prompt, so two people who prompt differently can get different lists from the same model.

In a research study, the prompt should resemble the annotation data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. guidelines that the people who made the gold standard gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. followed, so that the model and the annotators work from the same instructions.

The two screenshots below show the difference on one text about dressage. With a bare request (Figure 25figure 25), the chatbot returns the terms that the text defines, each with a definition. With a prompt written like guidelines (Figure 26figure 26), the answer is a plain list in the form the prompt asked for.

Results of LLMs

Early studies, with GPT-3.5 and Llama 2, found that prompting an LLM came close to tools trained on annotated examples (Banerjee et al., 2024; Tran et al., 2024). With models available in 2025, the gap closed: on the twelve corpora of the ACTER dataset, four LLMs were competitive with tools trained for the task, and in the range of the agreement between annotators (Rigouts Terryn, 2026) (see also the Agreement as an F1 score page, in the Evaluating language technology module) (voir aussi la page L'accord mesuré par le score F1, dans le module L'évaluation des technologies langagières).GPT-5 and GPT-5-mini (snapshots of 7 August 2025), Mistral Large (2411) and Magistral Medium (2507). Three findings of that study:

• The texts changed the results more than the model did. The domain and the language of a text counted for more than the choice among the four models.
• A detailed prompt helped more than examples in the prompt.
• The models proposed too much rather than too little, for instance general words, several terms joined by and, and descriptive phrases.

Candidates that are not in the text

A tool built on rules or trained to mark words can only return words that are in the text. An LLM writes its answer, so a candidate can differ from the text. In the same study, about 2% of the candidates did not appear in the text word for word, which is often counted as a hallucination hallucinationfabulation de l'IA language modelsmodèles de langue Content generated by an AI model that is factually incorrect or fabricated, even though it may sound plausible.Contenu généré par un modèle d'IA qui est factuellement inexact ou fabriqué, même s'il peut sembler plausible. . Most of them were tidied forms of terms that are in the text, such as a shortened term given in full or punctuation dropped, and real inventions were rare (Rigouts Terryn, 2026). Each candidate still has to be checked against the text.

Formuler une requête pour obtenir des termes

La façon la plus simple d’extraire des termes avec un GML est de coller un texte dans un agent conversationnel et de lui demander les termes qu’il contient. Seul l’entraînement du modèle détermine alors ce qui compte comme terme. Une requête promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. plus soignée donne au modèle les informations dont une personne aurait besoin pour décider quelles unités sont des termes :

• ce qu’est un terme ;
• si les noms propres et les mots isolés comptent ;
• si un terme court à l’intérieur d’un terme plus long compte ;
• sous quelle forme renvoyer chaque candidat.

Chaque décision sur laquelle les personnes ne s’accordent pas devient une décision écrite dans la requête, si bien que deux personnes qui formulent leur requête différemment peuvent obtenir des listes différentes du même modèle.

Dans une étude de recherche, la requête devrait ressembler aux consignes d’annotation data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. qu’ont suivies les personnes qui ont établi l’étalon de référence gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. , de sorte que le modèle et les annotateurs travaillent à partir des mêmes instructions.

Les deux captures d’écran ci-dessous montrent la différence sur un texte anglais sur le dressage. Avec une demande nue (Figure 25figure 25), l’agent conversationnel renvoie les termes que le texte définit, chacun avec une définition. Avec une requête rédigée comme des consignes (Figure 26figure 26), la réponse est une simple liste, sous la forme demandée par la requête.

Les résultats des GML

Les premières études, avec GPT-3.5 et Llama 2, ont constaté qu’une requête adressée à un GML approchait les outils entraînés sur des exemples annotés (Banerjee et al., 2024 ; Tran et al., 2024). Avec les modèles disponibles en 2025, l’écart s’est comblé : sur les douze corpus corpuscorpus corporacorpus A collection of written texts, speech recordings or transcribed language assembled for analysis or use in language technology (plural: corpora).Ensemble de textes écrits, d'enregistrements de parole ou de langue transcrite réuni pour l'analyse ou pour les technologies langagières. du jeu de données ACTER, quatre GML étaient compétitifs face aux outils entraînés pour la tâche, et dans la zone de l’accord entre annotateurs (Rigouts Terryn, 2026) (see also the Agreement as an F1 score page, in the Evaluating language technology module) (voir aussi la page L'accord mesuré par le score F1, dans le module L'évaluation des technologies langagières).GPT-5 et GPT-5-mini (versions du 7 août 2025), Mistral Large (2411) et Magistral Medium (2507). Trois constats de cette étude :

• Les textes ont changé les résultats plus que le modèle. Le domaine et la langue d’un texte ont compté davantage que le choix parmi les quatre modèles.
• Une requête détaillée a aidé plus que des exemples dans la requête.
• Les modèles en ont proposé trop plutôt que trop peu, par exemple des mots généraux, plusieurs termes joints par et, et des expressions descriptives.

Les candidats qui ne figurent pas dans le texte

Un outil à base de règles, ou entraîné à marquer des mots, ne peut renvoyer que des mots qui figurent dans le texte. Un GML rédige sa réponse, si bien qu’un candidat peut différer du texte. Dans la même étude, environ 2 % des candidats ne figuraient pas tels quels dans le texte, ce qui est souvent compté comme une fabulation hallucinationfabulation de l'IA language modelsmodèles de langue Content generated by an AI model that is factually incorrect or fabricated, even though it may sound plausible.Contenu généré par un modèle d'IA qui est factuellement inexact ou fabriqué, même s'il peut sembler plausible. . La plupart étaient des formes retouchées de termes présents dans le texte, par exemple un terme abrégé donné en entier ou une ponctuation supprimée, et les vraies inventions étaient rares (Rigouts Terryn, 2026). Chaque candidat doit tout de même être vérifié dans le texte.

Dedicated tools and LLMs

A dedicated term extractor, such as TermoStat or the D-Terminer demo, was built for this one task; a chatbot was not, but it can be asked to do it. The table below sets out how a dedicated tool and a large language model large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. (LLM) differ.

No single difference settles the choice between a dedicated tool and an LLM, but some situations point one way:

• A large corpus in one domain, to go through the same way every time, suits a dedicated tool: its ranked list can be read from the top, and running it again gives the same list.
• A single document, a language or domain no tool was trained for, or a list you want with labels and remarks, suits an LLM.
• A language with little text on the web is a reason for caution with either: the results of LLMs on this task were obtained on languages with many resources (Rigouts Terryn, 2026).

The two can also be combined: a large LLM marks the terms in many texts, and a much smaller, openly available model is trained on those marks, which avoids sending every new text to a provider (Senger et al., 2025).

Typical errors of each method

Each method of this chapter tends to go wrong in its own way, as the table below sums up.

The evaluation of a term extractor is explained in a chapter of its own (see also the Evaluating extraction and classification chapter, in the Evaluating language technology module) (voir aussi le chapitre Évaluation de l'extraction et de la classification, dans le module L'évaluation des technologies langagières).

Validation and storage

Whatever produced the list, a person still validates it (Lefever & Rigouts Terryn, 2024). The validated terms are then recorded where they can be used: a termbase termbasebase terminologique terminologyterminologie A database of terminological entries organized by concept, grouping the terms of several languages with metadata such as definitions, domains and usage status.Base de données d'entrées terminologiques organisée par concept, contenant les termes de plusieurs langues et des métadonnées comme des définitions, des domaines et des marques d'usage. organizes them by concept, with their equivalents, definitions and sources, and a CAT computer-assisted translation (CAT)traduction assistée par ordinateur (TAO) CAT toolsTAO Software that assists a human translator during the translation process, commonly by dividing texts into segments and providing functions such as translation-memory retrieval, terminology management, consistency checks and file management.Logiciel qui assiste un traducteur humain pendant le processus de traduction, généralement en divisant les textes en segments et en offrant des fonctions comme la recherche en mémoire de traduction, la gestion terminologique, les vérifications de cohérence et la gestion des fichiers. tool can show them while you translate (see also the Termbases page, in the CAT tools module) (voir aussi la page Les bases terminologiques, dans le module Outils de TAO).

Outils spécialisés et GML

Un extracteur de termes spécialisé, comme TermoStat ou la démonstration D-Terminer, a été conçu pour cette seule tâche ; un agent conversationnel ne l’a pas été, mais on peut lui demander de s’en charger. Le tableau ci-dessous présente ce qui distingue un outil spécialisé d’un grand modèle de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. (GML).

Aucune de ces différences ne tranche à elle seule entre un outil spécialisé et un GML, mais certaines situations orientent le choix :

• Un grand corpus dans un seul domaine, à traiter chaque fois de la même façon, convient à un outil spécialisé : sa liste classée se lit à partir du début, et le relancer donne la même liste.
• Un seul document, une langue ou un domaine pour lesquels aucun outil n’a été entraîné, ou une liste que vous voulez avec des étiquettes et des remarques, conviennent à un GML.
• Une langue peu présente sur le web est une raison d’être prudent avec l’un comme avec l’autre : les résultats des GML pour cette tâche ont été obtenus pour des langues bien dotées en ressources (Rigouts Terryn, 2026).

Les deux peuvent aussi se combiner : un grand GML marque les termes dans de nombreux textes, et un modèle beaucoup plus petit, librement accessible, est entraîné sur ces marques, ce qui évite d’envoyer chaque nouveau texte à un fournisseur (Senger et al., 2025).

Les erreurs typiques de chaque méthode

Chaque méthode de ce chapitre tend à échouer à sa manière, comme le résume le tableau ci-dessous.

L’évaluation d’un extracteur de termes est expliquée dans un chapitre à part (see also the Evaluating extraction and classification chapter, in the Evaluating language technology module) (voir aussi le chapitre Évaluation de l'extraction et de la classification, dans le module L'évaluation des technologies langagières).

La validation et la consignation

Quelle que soit l’origine de la liste, une personne doit encore la valider (Lefever et Rigouts Terryn, 2024). Les termes validés sont ensuite consignés là où ils peuvent servir : une base terminologique termbasebase terminologique terminologyterminologie A database of terminological entries organized by concept, grouping the terms of several languages with metadata such as definitions, domains and usage status.Base de données d'entrées terminologiques organisée par concept, contenant les termes de plusieurs langues et des métadonnées comme des définitions, des domaines et des marques d'usage. les organise par concept, avec leurs équivalents, leurs définitions et leurs sources, et un outil de TAO computer-assisted translation (CAT)traduction assistée par ordinateur (TAO) CAT toolsTAO Software that assists a human translator during the translation process, commonly by dividing texts into segments and providing functions such as translation-memory retrieval, terminology management, consistency checks and file management.Logiciel qui assiste un traducteur humain pendant le processus de traduction, généralement en divisant les textes en segments et en offrant des fonctions comme la recherche en mémoire de traduction, la gestion terminologique, les vérifications de cohérence et la gestion des fichiers. peut les afficher pendant que vous traduisez (see also the Termbases page, in the CAT tools module) (voir aussi la page Les bases terminologiques, dans le module Outils de TAO).