Hybrid term extractionL'extraction hybride de termes

TRA2600 S8 · in classS8 · en classe

TRA6008 To read for S5À lire pour la S5

Two methods with opposite weaknesses

Linguistic and statistical methods fail in different ways, as the table below sets out, and each does well where the other fails.

Method	What it gives	What it lacks
Linguistic	candidates with the grammatical form of a term	any way of telling a term from another sequence of the same form
Statistical	a ranking of words by how specific they are to the domain	any account of grammar: it scores single words and fragments as readily as whole terms

A hybrid extractor combines the two.

The two steps

A hybrid extractor works in two steps (Figure 13figure 13).

1. A linguistic step collects candidates. The text is split into words, each word gets its part of speech part-of-speech tagging (POS tagging)étiquetage morphosyntaxique NLPTAL The task of taking a sequence of tokenized words and a tagset, and assigning to each word one tag naming its grammatical class, such as noun or verb.Tâche qui consiste à prendre une suite de mots segmentés et un jeu d'étiquettes, puis à attribuer à chaque mot une étiquette nommant sa classe grammaticale, par exemple nom ou verbe. , and every sequence that matches a pattern typical of terms, such as an adjective followed by a noun, becomes a candidate (see also the Linguistic methods: part-of-speech patterns page) (voir aussi la page Méthodes linguistiques : les patrons morphosyntaxiques).
2. A statistical step ranks them. Each candidate gets a score for termhood termhooddegré de termitude terminologyterminologie The degree to which a unit of language is related to the concepts of a specialized domain.Degré auquel une unité de la langue se rattache aux concepts d'un domaine spécialisé. , how specific it is to the domain compared with a general corpus corpuscorpus corporacorpus A collection of written texts, speech recordings or transcribed language assembled for analysis or use in language technology (plural: corpora).Ensemble de textes écrits, d'enregistrements de parole ou de langue transcrite réuni pour l'analyse ou pour les technologies langagières. , and candidates of several words often also for unithood unithooddegré de figement terminologyterminologie The degree to which a sequence of words forms a stable unit.Degré auquel une suite de mots forme une unité stable. , how firmly their words belong together (Kageura & Umino, 1996) (see also the Statistical methods: termhood and unithood page) (voir aussi la page Méthodes statistiques : degré de termitude et degré de figement).

The result is a list of candidates ordered from most to least likely to be a term. Nothing in it says where the terms stop: the person who uses the list chooses a cut-off, reads the top of it, or sets a threshold on the score (Rigouts Terryn et al., 2019). TermoStat is a tool of this kind (see also the TermoStat: a hybrid extractor page) (voir aussi la page TermoStat : un extracteur hybride).

Strengths and limits

The table below sets the strengths of a hybrid extractor beside its limits.

Strengths

Limits

Transparent. Each candidate is on the list because it matched a pattern and scored high, so you can see why it is there. Repeatable. The same text gives the same list every time.

It needs enough text. The ranking is based on statistics, with nothing learned from annotated examples as in a machine-learning machine learning (ML)apprentissage automatique machine learningapprentissage automatique An approach to artificial intelligence in which a model is trained on data or experience so that its adjustable parameters come to reflect patterns relevant to a task.Approche de l'intelligence artificielle dans laquelle un modèle est entraîné sur des données ou sur l'expérience, de sorte que ses paramètres ajustables en viennent à refléter des régularités pertinentes pour une tâche. extractor, and on a corpus of a few hundred words the counts are too small to separate the terms from chance. Rare terms are easily missed. A term that occurs once or twice scores low, however specialized it is (Rigouts Terryn et al., 2019). The cut-off is yours. On a collection of Dutch texts about dressage, TermoStat’s full list contained almost two thirds of the terms people had marked, but fewer than one candidate in five was a term (Rigouts Terryn et al., 2019). The patterns depend on the language. They are written for one language, and a term with an unusual structure falls outside them.

On the size of the corpus, TermoStat’s guide recommends at least 50,000 words and warns that under 10,000 few candidates come out as statistically significant.TermoStat, Guide de l’utilisateur, version 4.0 beta, read 30 September 2026. The Keywords function of Sketch Engine ranks words by the same kind of comparison and has the same limit (see also the Going further page, in the Corpus analysis module) (voir aussi la page Pour aller plus loin, dans le module L'analyse de corpus).

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Updated 13 October 2026

Deux méthodes aux faiblesses opposées

Les méthodes linguistiques et statistiques échouent de façons différentes, comme le montre le tableau ci-dessous, et chacune réussit là où l’autre échoue.

Méthode	Ce qu’elle apporte	Ce qui lui manque
Linguistique	des candidats qui ont la forme grammaticale d’un terme	un moyen de distinguer un terme d’une autre suite de même forme
Statistique	un classement des mots selon leur spécificité au domaine	toute prise en compte de la grammaire : elle donne un score aux mots isolés et aux fragments aussi facilement qu’aux termes entiers

Un extracteur hybride combine les deux.

Les deux étapes

Un extracteur hybride procède en deux étapes (Figure 13figure 13).

1. Une étape linguistique recueille les candidats. Le texte est découpé en mots, chaque mot reçoit sa partie du discours part-of-speech tagging (POS tagging)étiquetage morphosyntaxique NLPTAL The task of taking a sequence of tokenized words and a tagset, and assigning to each word one tag naming its grammatical class, such as noun or verb.Tâche qui consiste à prendre une suite de mots segmentés et un jeu d'étiquettes, puis à attribuer à chaque mot une étiquette nommant sa classe grammaticale, par exemple nom ou verbe. , et toute suite qui correspond à un patron typique des termes, par exemple un nom suivi d’un adjectif, devient un candidat (see also the Linguistic methods: part-of-speech patterns page) (voir aussi la page Méthodes linguistiques : les patrons morphosyntaxiques).
2. Une étape statistique les classe. Chaque candidat reçoit un score pour son degré de termitude termhooddegré de termitude terminologyterminologie The degree to which a unit of language is related to the concepts of a specialized domain.Degré auquel une unité de la langue se rattache aux concepts d'un domaine spécialisé. , c’est-à-dire sa spécificité au domaine par rapport à un corpus corpuscorpus corporacorpus A collection of written texts, speech recordings or transcribed language assembled for analysis or use in language technology (plural: corpora).Ensemble de textes écrits, d'enregistrements de parole ou de langue transcrite réuni pour l'analyse ou pour les technologies langagières. général, et les candidats de plusieurs mots en reçoivent souvent un aussi pour leur degré de figement unithooddegré de figement terminologyterminologie The degree to which a sequence of words forms a stable unit.Degré auquel une suite de mots forme une unité stable. , c’est-à-dire la solidité du lien entre leurs mots (Kageura et Umino, 1996) (see also the Statistical methods: termhood and unithood page) (voir aussi la page Méthodes statistiques : degré de termitude et degré de figement).

Le résultat est une liste de candidats classés du plus probable au moins probable comme terme. Rien n’y indique où les termes s’arrêtent : la personne qui utilise la liste choisit un seuil, en lit le début, ou fixe un score minimal (Rigouts Terryn et al., 2019). TermoStat est un outil de ce type (see also the TermoStat: a hybrid extractor page) (voir aussi la page TermoStat : un extracteur hybride).

Les forces et les limites

Le tableau ci-dessous met les forces d’un extracteur hybride en regard de ses limites.

Forces

Limites

Transparent. Chaque candidat figure dans la liste parce qu’il correspondait à un patron et a obtenu un score élevé : vous pouvez donc voir pourquoi il s’y trouve. Reproductible. Le même texte donne chaque fois la même liste.

Il lui faut assez de texte. Le classement repose sur des statistiques, sans rien d’appris à partir d’exemples annotés comme dans un extracteur par apprentissage automatique machine learning (ML)apprentissage automatique machine learningapprentissage automatique An approach to artificial intelligence in which a model is trained on data or experience so that its adjustable parameters come to reflect patterns relevant to a task.Approche de l'intelligence artificielle dans laquelle un modèle est entraîné sur des données ou sur l'expérience, de sorte que ses paramètres ajustables en viennent à refléter des régularités pertinentes pour une tâche. , et sur un corpus de quelques centaines de mots, les comptes sont trop faibles pour séparer les termes du hasard. Les termes rares sont facilement manqués. Un terme qui apparaît une ou deux fois obtient un score faible, aussi spécialisé soit-il (Rigouts Terryn et al., 2019). Le seuil vous revient. Sur un ensemble de textes néerlandais sur le dressage, la liste complète de TermoStat contenait près des deux tiers des termes annotés par des personnes, mais moins d’un candidat sur cinq était un terme (Rigouts Terryn et al., 2019). Les patrons dépendent de la langue. Ils sont écrits pour une langue, et un terme de structure inhabituelle leur échappe.

Sur la taille du corpus, le guide de TermoStat recommande au moins 50 000 mots et prévient qu’en dessous de 10 000, peu de candidats ressortent comme statistiquement significatifs.TermoStat, Guide de l’utilisateur, version 4.0 bêta, consulté le 30 septembre 2026. La fonction Keywords de Sketch Engine classe les mots selon le même type de comparaison et a la même limite (see also the Going further page, in the Corpus analysis module) (voir aussi la page Pour aller plus loin, dans le module L'analyse de corpus).

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Mise à jour 13 octobre 2026