Bases du TAL et extraction terminologiqueBases du TAL et extraction terminologique

You already use AI every day, mostly without thinking of it that way. The spellchecker that underlines a typo, the search engine that completes your question after three letters, the machine translation machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. behind a foreign web page and the chatbot you ask to rephrase an email are all built on techniques from the same field.

This definition is deliberately broad, and broader than the science-fiction picture of machines that think like humans. It includes any computational approach to tasks associated with intelligence: recognizing patterns, making decisions, using language, solving problems. It says nothing about how the task is performed. A program following a few hundred hand-written rules and a system trained on half the internet both qualify, and the difference between those two ways of qualifying is the subject of the rest of this module.

The boundary of the field also moves. Chess programs were once the showpiece of AI research; today a chess engine on your phone beats any human and nobody calls it AI. Converting a scanned page to editable text was cutting-edge AI in the 1970s; it is now a routine feature of a phone camera. This pattern has a name, the “AI effect” (McCorduck, 2004): once a capability is understood and ordinary, it stops being seen as intelligence. Keep it in mind when you read that a tool “uses AI”. The phrase mostly signals that the capability is recent; it tells you almost nothing about what the tool actually does.

In everyday use today, “AI” refers primarily, though not exclusively, to large language models large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. (LLMs) and to tools with one inside: a chatbot, a writing assistant, a translation feature marketed as intelligent. In this module, I try to consistently use “LLM” when I mean large language models specifically, and “AI” when I mean this type of technology more broadly.

Vous utilisez déjà l’IA tous les jours, le plus souvent sans y penser. Le correcteur orthographique qui souligne une faute de frappe, le moteur de recherche qui complète votre question après trois lettres, la traduction automatique machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. derrière une page web en langue étrangère et l’agent conversationnel à qui vous demandez de reformuler un courriel reposent tous sur des techniques du même domaine.

Cette définition est volontairement large, plus large que l’image de science-fiction de machines qui pensent comme des humains. Elle englobe toute approche informatique de tâches associées à l’intelligence : reconnaître des motifs, prendre des décisions, employer la langue, résoudre des problèmes. Elle ne dit rien de la manière dont la tâche est accomplie. Un programme qui suit quelques centaines de règles écrites à la main et un système entraîné sur la moitié d’Internet répondent tous deux à la définition, et la différence entre ces deux façons d’y répondre fait l’objet du reste de ce module.

La frontière du domaine se déplace, elle aussi. Les programmes d’échecs ont été la vitrine de la recherche en IA ; aujourd’hui, un logiciel d’échecs sur votre téléphone bat n’importe quel humain et personne ne parle plus d’IA. Convertir une page numérisée en texte modifiable était de l’IA de pointe dans les années 1970 ; c’est devenu une fonction ordinaire d’un appareil photo de téléphone. Ce phénomène porte un nom, l’« effet IA » (McCorduck, 2004) : dès qu’une capacité est comprise et devenue courante, on cesse d’y voir de l’intelligence. Gardez-le en tête quand vous lisez qu’un outil « utilise l’IA ». L’expression signale surtout que la capacité est récente ; elle ne vous dit à peu près rien de ce que l’outil fait.

Dans l’usage courant d’aujourd’hui, « IA » renvoie d’abord, sans s’y limiter, aux grands modèles de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. (GML) et aux outils qui en contiennent un : un agent conversationnel, un assistant de rédaction, une fonction de traduction présentée comme intelligente. Dans ce module, j’essaie d’employer systématiquement « GML » quand je parle des grands modèles de langue en particulier, et « IA » quand je parle de ce type de technologie plus largement.

Not everything called AI learns. A chess program from the 1980s played by rules its programmers wrote down; nothing in it changed with experience. The spam filter in your mailbox, by contrast, was shown thousands of examples of spam and ordinary mail and worked out the difference itself. Both are AI. Only the second is machine learning.

Within machine learning, one family of methods has come to dominate: neural networks neural network (NN)réseau de neurones (RNA) machine learningapprentissage automatique A machine-learning model composed of interconnected layers of small computational units.Modèle d'apprentissage automatique composé de couches interconnectées de petites unités de calcul. , systems built from layers of simple interconnected units, loosely inspired by the neurons of the brain. When a network stacks many such layers, the approach is called deep learning deep learning (DL)apprentissage profond machine learningapprentissage automatique An approach to machine learning based on neural networks with many successive layers of computing units.Approche de l'apprentissage automatique fondée sur des réseaux de neurones comportant de nombreuses couches successives d'unités de calcul. (LeCun et al., 2015); on this map, it is the innermost of the three regions. Both notions are defined properly where their mechanics are taught (see also the From neural networks to large language models chapter, in the Foundations of AI & NLP module) (voir aussi le chapitre Des réseaux de neurones aux grands modèles de langue, dans le module Fondements de l'IA et du TAL).

Where does language fit? Natural language processing natural language processing (NLP)traitement automatique de la langue (TAL) NLPTAL An interdisciplinary field that develops and studies computational methods for analyzing, processing, and generating human language.Domaine interdisciplinaire qui développe et étudie des méthodes computationnelles pour analyser, traiter et générer le langage humain. is defined by its object, not by its method, so it cuts across every level of the diagram: the earliest systems processed language with hand-written rules (AI without machine learning), later ones with statistical learning, and today’s systems predominantly with deep learning (see also the Four paradigms page, in the Foundations of AI & NLP module) (voir aussi la page Quatre paradigmes, dans le module Fondements de l'IA et du TAL). The remaining region of the diagram is generative AI generative AI (GenAI)intelligence artificielle générative (IAGén) AIIA An area of artificial intelligence concerned with systems that generate content such as text, code, images, audio, or video by learning patterns from training data and producing new outputs in response to input or prompts.Branche de l'intelligence artificielle qui s'intéresse aux systèmes générant du contenu, comme du texte, du code, des images, de l'audio ou de la vidéo, en apprenant des régularités dans les données d'entraînement et en produisant de nouvelles sorties en réponse à une entrée ou à une requête. and the large language models large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. inside it. A sliver of generative AI reaches outside machine learning: generation by hand-written rules exists too, and the earliest chatbots worked exactly that way.

Tout ce qu’on appelle IA n’apprend pas. Un programme d’échecs des années 1980 jouait selon des règles écrites par ses programmeurs ; rien en lui ne changeait avec l’expérience. Le filtre antipourriel de votre boîte de courriel, lui, a vu des milliers d’exemples de pourriels et de courriels ordinaires et a dégagé la différence tout seul. Les deux sont de l’IA. Seul le second est de l’apprentissage automatique.

Au sein de l’apprentissage automatique, une famille de méthodes s’est imposée : les réseaux de neurones neural network (NN)réseau de neurones (RNA) machine learningapprentissage automatique A machine-learning model composed of interconnected layers of small computational units.Modèle d'apprentissage automatique composé de couches interconnectées de petites unités de calcul. , des systèmes faits de couches d’unités simples interconnectées, vaguement inspirés des neurones du cerveau. Quand un réseau empile beaucoup de ces couches, on parle d’apprentissage profond deep learning (DL)apprentissage profond machine learningapprentissage automatique An approach to machine learning based on neural networks with many successive layers of computing units.Approche de l'apprentissage automatique fondée sur des réseaux de neurones comportant de nombreuses couches successives d'unités de calcul. (LeCun et al., 2015) ; sur cette carte, c’est la plus intérieure des trois régions. Les deux notions sont définies en détail là où leur fonctionnement est enseigné (see also the From neural networks to large language models chapter, in the Foundations of AI & NLP module) (voir aussi le chapitre Des réseaux de neurones aux grands modèles de langue, dans le module Fondements de l'IA et du TAL).

Où se situe la langue ? Le traitement automatique de la langue natural language processing (NLP)traitement automatique de la langue (TAL) NLPTAL An interdisciplinary field that develops and studies computational methods for analyzing, processing, and generating human language.Domaine interdisciplinaire qui développe et étudie des méthodes computationnelles pour analyser, traiter et générer le langage humain. se définit par son objet et non par sa méthode : il traverse donc tous les niveaux du schéma. Les premiers systèmes traitaient la langue avec des règles écrites à la main (de l’IA sans apprentissage automatique), les suivants avec de l’apprentissage statistique, et ceux d’aujourd’hui surtout avec de l’apprentissage profond (see also the Four paradigms page, in the Foundations of AI & NLP module) (voir aussi la page Quatre paradigmes, dans le module Fondements de l'IA et du TAL). La région qui reste sur le schéma est l’intelligence artificielle générative generative AI (GenAI)intelligence artificielle générative (IAGén) AIIA An area of artificial intelligence concerned with systems that generate content such as text, code, images, audio, or video by learning patterns from training data and producing new outputs in response to input or prompts.Branche de l'intelligence artificielle qui s'intéresse aux systèmes générant du contenu, comme du texte, du code, des images, de l'audio ou de la vidéo, en apprenant des régularités dans les données d'entraînement et en produisant de nouvelles sorties en réponse à une entrée ou à une requête. et les grands modèles de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. qu’elle contient. Une frange de l’IA générative déborde de l’apprentissage automatique : la génération par règles écrites à la main existe aussi, et les premiers agents conversationnels fonctionnaient exactement ainsi.

Most of the systems mentioned so far analyze something that already exists: is this email spam, what is the grammatical category of this word. The recent wave of public attention went to systems that produce something instead: text, images, music, code, video.

Two nuances in that definition matter. First, generation and machine learning are independent properties. The frustrating customer-service chatbots of the 2010s generated their replies from rules and templates, with no learning anywhere; today’s generative systems are almost all deep learning. Second, the category is older than the hype: machine translation machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. produces new text and is, by this definition, generative AI, decades before the term existed. And as with “AI” in general, the everyday meaning of “generative AI” has narrowed: it is now closely associated with large language models large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. (LLMs) specifically, the technology behind today’s chatbots.

La plupart des systèmes évoqués jusqu’ici analysent quelque chose qui existe déjà : ce courriel est-il un pourriel, quelle est la catégorie grammaticale de ce mot. La vague récente d’attention du public est allée à des systèmes qui produisent quelque chose : du texte, des images, de la musique, du code, de la vidéo.

Deux nuances de cette définition comptent. D’abord, la génération et l’apprentissage automatique sont des propriétés indépendantes. Les agents conversationnels de service à la clientèle des années 2010, si frustrants, produisaient leurs réponses à partir de règles et de gabarits, sans le moindre apprentissage ; les systèmes génératifs d’aujourd’hui relèvent presque tous de l’apprentissage profond. Ensuite, la catégorie est plus ancienne que l’engouement : la traduction automatique machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. produit du texte nouveau et relève, selon cette définition, de l’IA générative, des décennies avant l’apparition du terme. Et comme pour « IA » en général, le sens courant d’« IA générative » s’est resserré : il est aujourd’hui étroitement associé aux grands modèles de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. (GML) en particulier, la technologie derrière les agents conversationnels d’aujourd’hui.

Machine translation, automatic subtitling, the summary a chatbot writes, grammar checking, the speech recognition that types what you dictate: the field behind all of these is natural language processing natural language processing (NLP)traitement automatique de la langue (TAL) NLPTAL An interdisciplinary field that develops and studies computational methods for analyzing, processing, and generating human language.Domaine interdisciplinaire qui développe et étudie des méthodes computationnelles pour analyser, traiter et générer le langage humain. (NLP), the computational processing of human language, whatever the method (see also the Classical NLP module) (voir aussi le module TAL classique).

In this context, three terms are used to describe more or less the same thing in different contexts. Computational linguistics leans toward the science, language studied by computational means; NLP leans toward the engineering; language technology names the applied, product-facing side. The emphasis differs more than the subject, and on this site I use the three more or less interchangeably. Speech processing and machine translation sit on the edge: sometimes counted inside these fields, sometimes as specialties beside them.

Working between English and French adds one practical difficulty: the two languages abbreviate these names differently, and the abbreviations do not map letter for letter. NLP becomes TAL (traitement automatique de la langue), LLM becomes GML (grand modèle de langue), and machine translation’s MT becomes TA, while in French MT is a translation memory translation memory (TM)mémoire de traduction (MT) CAT toolsTAO A bilingual database of previously translated source segments and their corresponding target segments, which a translation-memory system searches to propose exact or similar matches for new source text.Base de données bilingue de segments source déjà traduits et de leurs segments cibles correspondants, dans laquelle un système de mémoire de traduction cherche des correspondances exactes ou similaires pour un nouveau texte source. (mémoire de traduction). The glossary carries the attested French term and abbreviation for every concept used on this site.

La traduction automatique, le sous-titrage automatique, le résumé qu’écrit un agent conversationnel, la correction grammaticale, la reconnaissance de la parole qui tape ce que vous dictez : le domaine derrière tout cela est le traitement automatique de la langue natural language processing (NLP)traitement automatique de la langue (TAL) NLPTAL An interdisciplinary field that develops and studies computational methods for analyzing, processing, and generating human language.Domaine interdisciplinaire qui développe et étudie des méthodes computationnelles pour analyser, traiter et générer le langage humain. (TAL), le traitement informatique de la langue humaine, quelle que soit la méthode (see also the Classical NLP module) (voir aussi le module TAL classique).

Dans ce contexte, trois termes servent à décrire plus ou moins la même chose dans des contextes différents. La linguistique informatique penche du côté de la science, la langue étudiée par des moyens informatiques ; le TAL penche du côté de l’ingénierie ; les technologies langagières désignent le versant appliqué, tourné vers le produit. L’accent diffère plus que l’objet, et sur ce site j’emploie les trois à peu près indifféremment. Le traitement de la parole et la traduction automatique se tiennent à la limite : tantôt comptés dans ces domaines, tantôt comme des spécialités à côté.

Travailler entre l’anglais et le français ajoute une difficulté pratique : les deux langues abrègent ces noms différemment, et les abréviations ne se correspondent pas lettre pour lettre. NLP devient TAL (traitement automatique de la langue), LLM devient GML (grand modèle de langue), et le MT de l’anglais machine translation devient TA, tandis qu’en français MT est une mémoire de traduction translation memory (TM)mémoire de traduction (MT) CAT toolsTAO A bilingual database of previously translated source segments and their corresponding target segments, which a translation-memory system searches to propose exact or similar matches for new source text.Base de données bilingue de segments source déjà traduits et de leurs segments cibles correspondants, dans laquelle un système de mémoire de traduction cherche des correspondances exactes ou similaires pour un nouveau texte source. . Le glossaire donne le terme français attesté et son abréviation pour chaque concept employé sur ce site.

Four ways of building a system

Natural language processing as a field has changed a great deal over the past decades. The older approaches are still in use for some tasks, and some of the newer ones existed for a long time before they became popular, but in broad terms four big paradigms can be told apart, by the share of the work that people do and the share the machine learns. Figure 5figure 5 sets them out in the order they arrived, with the change each one brought.

1. Rule-based systems rule-based systemsystème à base de règles AIIA A system whose behaviour is fixed by rules that people wrote, most often of the form "if this condition, then this action", so that every output can be traced to the rule that produced it.Système dont le comportement est fixé par des règles écrites par des personnes, le plus souvent de la forme « si cette condition, alors cette action », de sorte que chaque résultat peut être rapporté à la règle qui l'a produit. , from the start of the field in the 1950s (Jurafsky & Martin, 2026): people specify all the logic and all the knowledge, as rules the system applies (see also the Rule-based systems page, in the Foundations of AI & NLP module) (voir aussi la page Les systèmes à base de règles, dans le module Fondements de l'IA et du TAL).
2. Machine learning machine learning (ML)apprentissage automatique machine learningapprentissage automatique An approach to artificial intelligence in which a model is trained on data or experience so that its adjustable parameters come to reflect patterns relevant to a task.Approche de l'intelligence artificielle dans laquelle un modèle est entraîné sur des données ou sur l'expérience, de sorte que ses paramètres ajustables en viennent à refléter des régularités pertinentes pour une tâche. , from the late 1980s on: people specify what to measure, the features, and the system learns the patterns from labelled examples; the paradigm is also called statistical or feature-based (see also the turn to machine learning page, in the Foundations of AI & NLP module) (voir aussi la page Le virage vers l'apprentissage automatique, dans le module Fondements de l'IA et du TAL).
3. Deep learning deep learning (DL)apprentissage profond machine learningapprentissage automatique An approach to machine learning based on neural networks with many successive layers of computing units.Approche de l'apprentissage automatique fondée sur des réseaux de neurones comportant de nombreuses couches successives d'unités de calcul. , for language from about 2015 on: still machine learning, but the system learns the features too, directly from raw data, with neural networks neural network (NN)réseau de neurones (RNA) machine learningapprentissage automatique A machine-learning model composed of interconnected layers of small computational units.Modèle d'apprentissage automatique composé de couches interconnectées de petites unités de calcul. of many layers (LeCun et al., 2015) (see also the How a network learns page, in the Foundations of AI & NLP module) (voir aussi la page Comment un réseau apprend, dans le module Fondements de l'IA et du TAL).
4. Large language models large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. , shown in 2020 and in general use since the end of 2022: still deep learning, but one model, trained once on vast amounts of text with no task in view, does many tasks it was never built for, and the task is specified at use time, in a prompt, by the person using it (see also the Large language models page, in the Foundations of AI & NLP module) (voir aussi la page Les grands modèles de langue, dans le module Fondements de l'IA et du TAL).

Each paradigm is inside the one before it, the way the map of the fields nests them: machine learning is a kind of AI, deep learning a kind of machine learning, a large language model a kind of deep learning (see also the nested fields page, in the Foundations of AI & NLP module) (voir aussi la page Les domaines emboîtés, dans le module Fondements de l'IA et du TAL). Each is a paradigm of its own all the same, because the division of the work between people and the machine changed each time: first the patterns were learned, then the features, then the task itself no longer had to be built into the system.

Interpreting the evolution

• Some strategies were available long before they became successful. Language models existed before ChatGPT made them popular (Brown et al., 2020), and neural networks existed long before the data and the computation they need to work well were available (see also the How a network learns page, in the Foundations of AI & NLP module) (voir aussi la page Comment un réseau apprend, dans le module Fondements de l'IA et du TAL).
• Each paradigm shift means that a different methodology becomes more popular and more successful on some tasks, but all the previous methodologies remain in use. To this day, there are plenty of tasks for which rule-based methods remain the best solution. And though a new strategy performs better on some tasks, the shift often comes at the cost of control and transparency (Figure 6figure 6) (see also the black box page, in the Foundations of AI & NLP module) (voir aussi la page La boîte noire, dans le module Fondements de l'IA et du TAL), and with large requirements in data and computation.

Quatre façons de construire un système

Le traitement automatique de la langue a beaucoup changé au fil des dernières décennies. Les approches les plus anciennes servent encore pour certaines tâches, et certaines des plus récentes ont existé longtemps avant de s’imposer, mais on distingue, à grands traits, quatre grands paradigmes, selon la part du travail que font les personnes et la part qu’apprend la machine. La Figure 5figure 5 les présente dans l’ordre de leur arrivée, avec le changement que chacun a apporté.

1. Les systèmes à base de règles rule-based systemsystème à base de règles AIIA A system whose behaviour is fixed by rules that people wrote, most often of the form "if this condition, then this action", so that every output can be traced to the rule that produced it.Système dont le comportement est fixé par des règles écrites par des personnes, le plus souvent de la forme « si cette condition, alors cette action », de sorte que chaque résultat peut être rapporté à la règle qui l'a produit. , depuis les débuts du domaine dans les années 1950 (Jurafsky & Martin, 2026) : des personnes spécifient toute la logique et toutes les connaissances, sous forme de règles que le système applique (see also the Rule-based systems page, in the Foundations of AI & NLP module) (voir aussi la page Les systèmes à base de règles, dans le module Fondements de l'IA et du TAL).
2. L’apprentissage automatique machine learning (ML)apprentissage automatique machine learningapprentissage automatique An approach to artificial intelligence in which a model is trained on data or experience so that its adjustable parameters come to reflect patterns relevant to a task.Approche de l'intelligence artificielle dans laquelle un modèle est entraîné sur des données ou sur l'expérience, de sorte que ses paramètres ajustables en viennent à refléter des régularités pertinentes pour une tâche. , depuis la fin des années 1980 : des personnes spécifient ce qu’il faut mesurer, les attributs, et le système apprend les régularités à partir d’exemples étiquetés ; on parle aussi d’apprentissage statistique ou fondé sur des attributs (see also the turn to machine learning page, in the Foundations of AI & NLP module) (voir aussi la page Le virage vers l'apprentissage automatique, dans le module Fondements de l'IA et du TAL).
3. L’apprentissage profond deep learning (DL)apprentissage profond machine learningapprentissage automatique An approach to machine learning based on neural networks with many successive layers of computing units.Approche de l'apprentissage automatique fondée sur des réseaux de neurones comportant de nombreuses couches successives d'unités de calcul. , pour la langue depuis 2015 environ : toujours de l’apprentissage automatique, mais le système apprend aussi les attributs, directement à partir des données brutes, avec des réseaux de neurones neural network (NN)réseau de neurones (RNA) machine learningapprentissage automatique A machine-learning model composed of interconnected layers of small computational units.Modèle d'apprentissage automatique composé de couches interconnectées de petites unités de calcul. à plusieurs couches (LeCun et al., 2015) (see also the How a network learns page, in the Foundations of AI & NLP module) (voir aussi la page Comment un réseau apprend, dans le module Fondements de l'IA et du TAL).
4. Les grands modèles de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. , démontrés en 2020 et d’usage courant depuis la fin de 2022 : toujours de l’apprentissage profond, mais un seul modèle, entraîné une fois sur d’immenses quantités de texte sans tâche en vue, accomplit de nombreuses tâches pour lesquelles il n’a jamais été construit, et la tâche est spécifiée au moment de l’utilisation, dans une requête, par la personne qui s’en sert (see also the Large language models page, in the Foundations of AI & NLP module) (voir aussi la page Les grands modèles de langue, dans le module Fondements de l'IA et du TAL).

Chaque paradigme s’inscrit dans le précédent, comme s’emboîtent les domaines sur la carte : l’apprentissage automatique est une forme d’IA, l’apprentissage profond une forme d’apprentissage automatique, un grand modèle de langue une forme d’apprentissage profond (see also the nested fields page, in the Foundations of AI & NLP module) (voir aussi la page Les domaines emboîtés, dans le module Fondements de l'IA et du TAL). Chacun n’en est pas moins un paradigme à part entière, parce que le partage du travail entre les personnes et la machine a changé à chaque fois : d’abord les régularités ont été apprises, puis les attributs, puis la tâche elle-même n’a plus eu à être construite dans le système.

Interpréter l’évolution

• Certaines stratégies étaient disponibles bien avant de s’imposer. Les modèles de langue existaient avant que ChatGPT ne les rende populaires (Brown et al., 2020), et les réseaux de neurones ont existé longtemps avant que les données et la puissance de calcul dont ils ont besoin pour bien fonctionner ne soient disponibles (see also the How a network learns page, in the Foundations of AI & NLP module) (voir aussi la page Comment un réseau apprend, dans le module Fondements de l'IA et du TAL).
• Chaque changement de paradigme signifie qu’une méthodologie différente devient plus populaire et plus performante pour certaines tâches, mais toutes les méthodologies précédentes restent en usage. Aujourd’hui encore, pour bien des tâches, les méthodes à base de règles restent la meilleure solution. Et même si une nouvelle stratégie fait mieux pour certaines tâches, le changement se paie souvent en contrôle et en transparence (Figure 6figure 6) (see also the black box page, in the Foundations of AI & NLP module) (voir aussi la page La boîte noire, dans le module Fondements de l'IA et du TAL), et il exige beaucoup de données et de calcul.

Rules written by people

A rule-based system automates a task by applying rules that people wrote down.

Two examples of simple rule-based systems are:

• a grammar checker:
  a singular subject followed by a plural verb ⇒ flag the sentence
• a date converter:
  four digits, a hyphen, two digits, a hyphen, two digits ⇒ a date; reorder the parts

Every piece of the system’s behaviour was specified by a human, which is why this is called the deductive approach: general rules first, applied to each new case. Figure 1figure 1 shows one such rule applied to two sentences.

For language, the rule writers were often linguists. Early machine translation machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. systems, spelling and grammar checkers, and the first dialogue systems were built from thousands of grammatical rules, dictionary entries and transformation patterns, each written and maintained by hand.

The text a rule can see

A rule can only test what the program can observe in the text. The date converter’s rule is written in characters, digits and hyphens, which any program can read. The grammar checker’s rule assumes that the program already knows which words form the subject, whether it is singular and which word is the verb, and none of that is written in the text: it takes part-of-speech tagging part-of-speech tagging (POS tagging)étiquetage morphosyntaxique NLPTAL The task of taking a sequence of tokenized words and a tagset, and assigning to each word one tag naming its grammatical class, such as noun or verb.Tâche qui consiste à prendre une suite de mots segmentés et un jeu d'étiquettes, puis à attribuer à chaque mot une étiquette nommant sa classe grammaticale, par exemple nom ou verbe. and parsing first, each a task of its own. Writing a rule therefore starts by translating what a person notices into something a program can measure.

Strengths and weaknesses

Rule-based systems are still in use, and Figure 2figure 2 sums up why, and why the field moved on. In a narrow, well-defined domain they are precise, every decision can be traced to a rule a person can read and fix, and they need no data. Against real language, which is ambiguous ambiguityambiguïté linguisticslinguistique The property of a stretch of language that allows more than one interpretation.Propriété d'un segment de langue qui autorise plus d'une interprétation. , variable and full of exceptions, the rule set keeps growing without ever covering everything, and every new language or text type means starting over (see also the Why language is hard chapter, in the Language as numbers module) (voir aussi le chapitre Pourquoi le langage est difficile, dans le module Le langage en nombres).

By the late 1980s, the weaknesses had pushed the field toward another way of building systems, in which the patterns are found in data instead of written as rules.

Des règles écrites par des personnes

Un système à base de règles automatise une tâche en appliquant des règles que des personnes ont écrites.

Voici deux exemples de systèmes simples à base de règles :

• un correcteur grammatical :
  un sujet singulier suivi d’un verbe pluriel ⇒ signaler la phrase
• un convertisseur de dates :
  quatre chiffres, un trait d’union, deux chiffres, un trait d’union, deux chiffres ⇒ une date ; réordonner les parties

Chaque élément du comportement du système a été spécifié par une personne, et c’est pourquoi on parle d’approche déductive : des règles générales d’abord, appliquées à chaque nouveau cas. La Figure 1figure 1 montre une telle règle appliquée à deux phrases.

Pour la langue, les auteurs de règles étaient souvent des linguistes. Les premiers systèmes de traduction automatique machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. , les correcteurs orthographiques et grammaticaux et les premiers systèmes de dialogue étaient faits de milliers de règles grammaticales, d’entrées de dictionnaire et de schémas de transformation, chacun écrit et maintenu à la main.

Le texte vu par une règle

Une règle ne peut tester que ce que le programme observe dans le texte. La règle du convertisseur de dates est écrite en caractères, en chiffres et en traits d’union, que n’importe quel programme sait lire. Celle du correcteur grammatical suppose que le programme sait déjà quels mots forment le sujet, si celui-ci est singulier et quel mot est le verbe, et rien de tout cela n’est écrit dans le texte : il faut d’abord un étiquetage morphosyntaxique part-of-speech tagging (POS tagging)étiquetage morphosyntaxique NLPTAL The task of taking a sequence of tokenized words and a tagset, and assigning to each word one tag naming its grammatical class, such as noun or verb.Tâche qui consiste à prendre une suite de mots segmentés et un jeu d'étiquettes, puis à attribuer à chaque mot une étiquette nommant sa classe grammaticale, par exemple nom ou verbe. et une analyse syntaxique, deux tâches à part entière. Écrire une règle commence donc par traduire ce qu’une personne remarque en quelque chose qu’un programme peut mesurer.

Points forts et points faibles

Les systèmes à base de règles servent encore, et la Figure 2figure 2 résume pourquoi, et pourquoi le domaine s’en est détourné. Dans un domaine étroit et bien défini, ils sont précis, chaque décision remonte à une règle qu’une personne peut lire et corriger, et ils n’ont besoin d’aucune donnée. Face à la langue réelle, ambiguë ambiguityambiguïté linguisticslinguistique The property of a stretch of language that allows more than one interpretation.Propriété d'un segment de langue qui autorise plus d'une interprétation. , variable et pleine d’exceptions, l’ensemble de règles ne cesse de grossir sans jamais tout couvrir, et chaque nouvelle langue ou chaque nouveau type de texte oblige à recommencer (see also the Why language is hard chapter, in the Language as numbers module) (voir aussi le chapitre Pourquoi le langage est difficile, dans le module Le langage en nombres).

À la fin des années 1980, ces faiblesses avaient poussé le domaine vers une autre façon de construire les systèmes, où les régularités sont trouvées dans des données au lieu d’être écrites sous forme de règles.

From cases to patterns

Instead of asking an expert to write the rules, you can collect examples that people have already labelled, and let an algorithm work out what separates them. Letting the algorithm find the pattern in the cases is the inductive approach; a rule-based system rule-based systemsystème à base de règles AIIA A system whose behaviour is fixed by rules that people wrote, most often of the form "if this condition, then this action", so that every output can be traced to the rule that produced it.Système dont le comportement est fixé par des règles écrites par des personnes, le plus souvent de la forme « si cette condition, alors cette action », de sorte que chaque résultat peut être rapporté à la règle qui l'a produit. works the other way round, from a general rule to each case, which is the deductive approach (Figure 3figure 3). The field made that turn to machine learning machine learning (ML)apprentissage automatique machine learningapprentissage automatique An approach to artificial intelligence in which a model is trained on data or experience so that its adjustable parameters come to reflect patterns relevant to a task.Approche de l'intelligence artificielle dans laquelle un modèle est entraîné sur des données ou sur l'expérience, de sorte que ses paramètres ajustables en viennent à refléter des régularités pertinentes pour une tâche. in the late 1980s.

In this paradigm a person still chooses what the system measures, its features featureattribut machine learningapprentissage automatique A property or representation of an observation that a machine-learning model uses as input when making a prediction.Propriété ou représentation d'une observation qu'un modèle d'apprentissage automatique utilise en entrée pour produire une prédiction. , which is why it is also called statistical or feature-based machine learning. The algorithm adjusts a model one labelled example at a time (see also the Learning from labelled examples page, in the Foundations of AI & NLP module) (voir aussi la page Apprendre à partir d'exemples étiquetés, dans le module Fondements de l'IA et du TAL). Machine learning replaced rule writing for three reasons: a learned system can combine hundreds of weak signals that nobody would think to write down, labelling examples is cheaper and less specialized work than writing and maintaining rules, and a method transfers to a new language or domain once examples in it are collected. The table below sets the two paradigms side by side.

Rules against machine learning

Des cas aux régularités

Au lieu de demander à un expert d’écrire les règles, vous pouvez réunir des exemples que des personnes ont déjà étiquetés, et laisser un algorithme trouver ce qui les distingue. Laisser l’algorithme trouver la régularité dans les cas, c’est l’approche inductive ; un système à base de règles rule-based systemsystème à base de règles AIIA A system whose behaviour is fixed by rules that people wrote, most often of the form "if this condition, then this action", so that every output can be traced to the rule that produced it.Système dont le comportement est fixé par des règles écrites par des personnes, le plus souvent de la forme « si cette condition, alors cette action », de sorte que chaque résultat peut être rapporté à la règle qui l'a produit. procède en sens inverse, d’une règle générale à chaque cas, et c’est l’approche déductive (Figure 3figure 3). Le domaine a pris ce virage vers l’apprentissage automatique machine learning (ML)apprentissage automatique machine learningapprentissage automatique An approach to artificial intelligence in which a model is trained on data or experience so that its adjustable parameters come to reflect patterns relevant to a task.Approche de l'intelligence artificielle dans laquelle un modèle est entraîné sur des données ou sur l'expérience, de sorte que ses paramètres ajustables en viennent à refléter des régularités pertinentes pour une tâche. à la fin des années 1980.

Dans ce paradigme, une personne choisit encore ce que le système mesure, ses attributs featureattribut machine learningapprentissage automatique A property or representation of an observation that a machine-learning model uses as input when making a prediction.Propriété ou représentation d'une observation qu'un modèle d'apprentissage automatique utilise en entrée pour produire une prédiction. , et c’est pourquoi on parle aussi d’apprentissage statistique ou fondé sur des attributs. L’algorithme ajuste un modèle un exemple étiqueté à la fois (see also the Learning from labelled examples page, in the Foundations of AI & NLP module) (voir aussi la page Apprendre à partir d'exemples étiquetés, dans le module Fondements de l'IA et du TAL). L’apprentissage automatique a remplacé l’écriture de règles pour trois raisons : un système appris peut combiner des centaines d’indices faibles que personne ne penserait à écrire, étiqueter des exemples est un travail moins coûteux et moins spécialisé qu’écrire et maintenir des règles, et une méthode se transpose à une nouvelle langue ou à un nouveau domaine dès qu’on y a réuni des exemples. Le tableau ci-dessous compare les deux paradigmes.

Règles et apprentissage automatique

Suppose you want a system that sorts email into spam and not spam. The rule-based way is to describe spam: certain senders, certain words, too many links. The supervised way is to show the system ten thousand emails that a human already sorted, and let it work out the difference. Each email with its human verdict attached is a labelled example, and a collection of many labelled examples becomes training data.

Training then runs as a loop. The algorithm takes an example, predicts a label, and compares its prediction with the human label. A wrong prediction adjusts the model’s settings, a little, in the direction that would have made it right. A correct one changes little or nothing: some algorithms leave the settings exactly as they are, others nudge them toward answering the same way more confidently.The settings are the model’s parameters parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. . How they are stored and adjusted is not covered in this module; the loop is the point here, not the arithmetic inside it (see also the From neural networks to large language models chapter, in the Foundations of AI & NLP module) (voir aussi le chapitre Des réseaux de neurones aux grands modèles de langue, dans le module Fondements de l'IA et du TAL). One pass through one email teaches almost nothing. Millions of passes through thousands of examples add up, and the predictions improve until they are good enough to use on email nobody has labelled.

Two consequences follow directly from this setup, and they will come back again and again in this collection:

• Everything is learned from the data, not from rules. The system reproduces the judgements in its training data, mistakes and blind spots included, and the data is the only way in: there is no rule to rewrite when it gets something wrong.
• The training data has to resemble the real job. A spam filter trained on English corporate email will stumble on French phishing. What the examples do not show, the model cannot learn.

Before anything can be learned, somebody has to decide what the algorithm looks at when it compares two emails.

Supposons que vous vouliez un système qui trie les courriels entre pourriel et non pourriel. La façon à base de règles consiste à décrire le pourriel : certains expéditeurs, certains mots, trop de liens. La façon supervisée consiste à montrer au système dix mille courriels qu’un humain a déjà triés, et à le laisser dégager la différence. Chaque courriel accompagné du verdict humain est un exemple étiqueté, et un ensemble de nombreux exemples étiquetés devient des données d’entraînement.

L’entraînement se déroule alors en boucle. L’algorithme prend un exemple, prédit une étiquette et compare sa prédiction à celle de l’humain. Une prédiction fausse ajuste les réglages du modèle, un peu, dans la direction qui l’aurait rendue juste. Une prédiction juste ne change rien ou presque : certains algorithmes laissent les réglages exactement tels quels, d’autres les poussent à répondre pareil avec plus d’assurance.Ces réglages sont les paramètres parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. du modèle. La façon dont ils sont stockés et ajustés n’est pas traitée dans ce module ; ce qui compte ici, c’est la boucle, pas l’arithmétique qui s’y trouve (see also the From neural networks to large language models chapter, in the Foundations of AI & NLP module) (voir aussi le chapitre Des réseaux de neurones aux grands modèles de langue, dans le module Fondements de l'IA et du TAL). Un passage sur un courriel n’apprend presque rien. Des millions de passages sur des milliers d’exemples s’accumulent, et les prédictions s’améliorent jusqu’à devenir assez bonnes pour des courriels que personne n’a étiquetés.

Deux conséquences découlent directement de ce fonctionnement, et elles reviendront sans cesse dans ce matériel :

• Tout s’apprend des données, pas de règles. Le système reproduit les jugements de ses données d’entraînement, erreurs et angles morts compris, et les données sont la seule porte d’entrée : il n’y a aucune règle à réécrire quand il se trompe.
• Les données d’entraînement doivent ressembler au travail réel. Un filtre antipourriel entraîné sur des courriels d’entreprise en anglais trébuchera sur de l’hameçonnage en français. Ce que les exemples ne montrent pas, le modèle ne peut pas l’apprendre.

Avant que quoi que ce soit puisse s’apprendre, quelqu’un doit décider ce que l’algorithme regarde quand il compare deux courriels.

Algorithms cannot read emails the way humans do: they need numbers. So each example has to be described as a set of measurable properties: how long the message is, whether the sender is in your address book (typically encoded as 1 if yes, 0 if no), how many links it contains, whether the words win, free or miracle appear. Each such property is a feature.

In traditional machine learning, choosing the features is human work, and it is where most of the craft goes. Someone has to guess which properties distinguish spam from ordinary mail, work out how to turn each one into a number, test the result, and go back for better features when the model disappoints. The guesses are hypotheses about the problem, and bad ones cap what any algorithm can achieve.

The strength of this recipe, features plus labels plus the loop, is that it can weigh hundreds of weak signals at once, which no hand-written rule set manages. Its ceiling is the features themselves: the model can only be as observant as the properties someone thought to measure. That ceiling is what neural networks later removed, by learning the features too (see also the From neural networks to large language models chapter, in the Foundations of AI & NLP module) (voir aussi le chapitre Des réseaux de neurones aux grands modèles de langue, dans le module Fondements de l'IA et du TAL).

Les algorithmes ne lisent pas les courriels comme les humains : il leur faut des nombres. Chaque exemple doit donc être décrit par un ensemble de propriétés mesurables : la longueur du message, la présence de l’expéditeur dans votre carnet d’adresses (encodée en général par 1 si oui, 0 si non), le nombre de liens, la présence des mots gagner, gratuit ou miracle. Chacune de ces propriétés est un attribut.

En apprentissage automatique traditionnel, le choix des attributs est un travail humain, et c’est là que passe l’essentiel du métier. Quelqu’un doit deviner quelles propriétés distinguent le pourriel du courrier ordinaire, trouver comment transformer chacune en nombre, tester le résultat et repartir en chercher de meilleures quand le modèle déçoit. Ces suppositions sont des hypothèses sur le problème, et les mauvaises plafonnent ce que n’importe quel algorithme peut atteindre.

La force de cette recette, des attributs plus des étiquettes plus la boucle, est de pouvoir peser des centaines de signaux faibles à la fois, ce qu’aucun ensemble de règles écrites à la main ne réussit. Son plafond, ce sont les attributs eux-mêmes : le modèle ne peut être plus observateur que les propriétés que quelqu’un a pensé à mesurer. Ce plafond, ce sont les réseaux de neurones qui l’ont levé plus tard, en apprenant aussi les attributs (see also the From neural networks to large language models chapter, in the Foundations of AI & NLP module) (voir aussi le chapitre Des réseaux de neurones aux grands modèles de langue, dans le module Fondements de l'IA et du TAL).

The same example, described by the same features, can be put to two different questions. Asked which of a fixed set of categories it belongs to, the task is classification: spam or not spam, positive or negative review, which part of speech a word is. Asked for a value on a scale, the task is regression: how many minutes a text takes to read, how long a translator will need to post-edit a segment segmentsegment CAT toolsTAO A portion of translatable content that a CAT tool treats as a discrete unit for translation, alignment, storage and match retrieval.Portion de contenu à traduire qu'un outil de TAO traite comme une unité distincte aux fins de traduction, d'alignement, de stockage et de recherche de correspondances. , what a house is worth.

The distinction is about the answer, not about the data. A customer review supports both: a classifier decides whether it is positive or negative, and a regression predicts the rating the reviewer gave, 1 to 5 stars, from the same features. And the training loop does not change either way: predict, compare with the label, adjust.

Le même exemple, décrit par les mêmes attributs, peut être soumis à deux questions différentes. Si on demande à laquelle des catégories d’un ensemble fixe il appartient, la tâche est une classification : pourriel ou non pourriel, critique positive ou négative, catégorie grammaticale d’un mot. Si on demande une valeur sur une échelle, la tâche est une régression : combien de minutes un texte demande à lire, combien de temps une traductrice mettra à post-éditer un segment segmentsegment CAT toolsTAO A portion of translatable content that a CAT tool treats as a discrete unit for translation, alignment, storage and match retrieval.Portion de contenu à traduire qu'un outil de TAO traite comme une unité distincte aux fins de traduction, d'alignement, de stockage et de recherche de correspondances. , ce que vaut une maison.

La distinction porte sur la réponse, pas sur les données. Une critique de client se prête aux deux : un classifieur décide si elle est positive ou négative, et une régression prédit la note que la personne a donnée, de 1 à 5 étoiles, à partir des mêmes attributs. Et la boucle d’entraînement ne change pas non plus : prédire, comparer à l’étiquette, ajuster.

Labelled examples are one way to learn, and the one this chapter follows, because it is the clearest and the most common. Two other families complete the standard picture.

Unsupervised learning unsupervised learningapprentissage non supervisé machine learningapprentissage automatique A machine-learning approach that seeks patterns or structure in data without being given a target label or expected output for each training example.Approche d'apprentissage automatique qui cherche des régularités ou des structures dans les données sans recevoir d'étiquette cible ni de sortie attendue pour chaque exemple d'entraînement. works on data with no labels at all. There is no right answer to compare against; instead the algorithm looks for structure that is already in the data, such as groups of similar items. Given thousands of translation-agency invoices, an unsupervised method might discover that they fall into clusters by client type, without anyone having defined the clusters beforehand. Where it matters most for language, word embeddings are learned from raw text, with no human labelling anything (see also the Word embeddings chapter, in the Language as numbers module) (voir aussi le chapitre Plongements lexicaux, dans le module Le langage en nombres).

Reinforcement learning reinforcement learning (RL)apprentissage par renforcement (AR) machine learningapprentissage automatique A type of machine learning in which an agent learns how to act by receiving rewards or penalties in response to its actions, with the aim of maximizing its overall reward.Type d'apprentissage automatique dans lequel un agent apprend à agir en recevant des récompenses ou des pénalités en réponse à ses actions, avec l'objectif de maximiser sa récompense globale. learns from trial and error. The system acts, receives a reward or a penalty, and adjusts toward what earned reward. No example shows it the right action; it has to find out. This family powers game-playing systems, and it is part of how a raw language model is turned into a usable assistant (see also the LLM lifecycle module) (voir aussi le module Cycle de vie des GML).

Les exemples étiquetés sont une façon d’apprendre, celle que suit ce chapitre, parce qu’elle est la plus claire et la plus répandue. Deux autres familles complètent le tableau habituel.

L’apprentissage non supervisé unsupervised learningapprentissage non supervisé machine learningapprentissage automatique A machine-learning approach that seeks patterns or structure in data without being given a target label or expected output for each training example.Approche d'apprentissage automatique qui cherche des régularités ou des structures dans les données sans recevoir d'étiquette cible ni de sortie attendue pour chaque exemple d'entraînement. travaille sur des données sans aucune étiquette. Il n’y a pas de bonne réponse à laquelle se comparer ; l’algorithme cherche plutôt une structure déjà présente dans les données, par exemple des groupes d’éléments semblables. Devant des milliers de factures d’agences de traduction, une méthode non supervisée pourrait découvrir qu’elles se regroupent par type de client, sans que personne ait défini ces groupes à l’avance. Là où cela compte le plus pour la langue, les plongements lexicaux s’apprennent à partir de texte brut, sans que personne n’étiquette quoi que ce soit (see also the Word embeddings chapter, in the Language as numbers module) (voir aussi le chapitre Plongements lexicaux, dans le module Le langage en nombres).

L’apprentissage par renforcement reinforcement learning (RL)apprentissage par renforcement (AR) machine learningapprentissage automatique A type of machine learning in which an agent learns how to act by receiving rewards or penalties in response to its actions, with the aim of maximizing its overall reward.Type d'apprentissage automatique dans lequel un agent apprend à agir en recevant des récompenses ou des pénalités en réponse à ses actions, avec l'objectif de maximiser sa récompense globale. apprend par essais et erreurs. Le système agit, reçoit une récompense ou une pénalité, et s’ajuste vers ce qui a été récompensé. Aucun exemple ne lui montre la bonne action ; il doit la trouver. Cette famille fait fonctionner les systèmes qui jouent à des jeux, et elle fait partie de la façon dont un modèle de langue brut devient un assistant utilisable (see also the LLM lifecycle module) (voir aussi le module Cycle de vie des GML).

What does a feature look like when the examples are words rather than emails? Take named entity recognition named entity recognition (NER)reconnaissance d'entités nommées (REN) NLPTAL The task of finding the spans of a text that are proper names, and labelling the category, most often a person, a location or an organization.Tâche qui consiste à repérer dans un texte les segments qui sont des noms propres, et à en étiqueter la catégorie, le plus souvent une personne, un lieu ou une organisation. as an example. This is an NLP task where the goal is to label named entities automatically: names of people, places, organizations, and so on (see also the Named entity recognition: one task up close page, in the Classical NLP module) (voir aussi la page La reconnaissance d'entités nommées : une tâche vue de près, dans le module TAL classique). Useful features for a word include: does it start with a capital letter, is it the first word of the sentence, does it appear in a list of known first names, what word comes just before it (Mr., in, at), and what suffix it ends with (-town, -land, -ville). With a training corpus corpuscorpus corporacorpus A collection of written texts, speech recordings or transcribed language assembled for analysis or use in language technology (plural: corpora).Ensemble de textes écrits, d'enregistrements de parole ou de langue transcrite réuni pour l'analyse ou pour les technologies langagières. where the entities have been labelled by hand, and those features calculated for every word, the algorithm can learn which patterns in the data go with a name.

Though you can do some impressive things with feature engineering, these systems tend to all hit the same wall. Features like suffixes and capitalization describe the form of a word. They say nothing about what it means. To a feature-based model, voiture and char are simply two different sequences of letters, though in Quebec both can mean car; travail (work) and travaux (roadworks) look like the singular and plural of one word, though the plural often shifts the meaning. The way past the wall was to stop describing words by hand-picked properties and let a system learn, from how words are used, a numerical representation of the words themselves (see also the Language as numbers module) (voir aussi le module Le langage en nombres).

À quoi ressemble un attribut quand les exemples sont des mots plutôt que des courriels ? Prenons la reconnaissance d’entités nommées named entity recognition (NER)reconnaissance d'entités nommées (REN) NLPTAL The task of finding the spans of a text that are proper names, and labelling the category, most often a person, a location or an organization.Tâche qui consiste à repérer dans un texte les segments qui sont des noms propres, et à en étiqueter la catégorie, le plus souvent une personne, un lieu ou une organisation. comme exemple. C’est une tâche de TAL dont le but est d’étiqueter automatiquement les entités nommées : noms de personnes, de lieux, d’organisations, et ainsi de suite (see also the Named entity recognition: one task up close page, in the Classical NLP module) (voir aussi la page La reconnaissance d'entités nommées : une tâche vue de près, dans le module TAL classique). Des attributs utiles pour un mot : commence-t-il par une majuscule, est-il le premier mot de la phrase, figure-t-il dans une liste de prénoms connus, quel mot le précède immédiatement (M., à, chez), et par quel suffixe se termine-t-il (-ville, -bourg, -ac). Avec un corpus corpuscorpus corporacorpus A collection of written texts, speech recordings or transcribed language assembled for analysis or use in language technology (plural: corpora).Ensemble de textes écrits, d'enregistrements de parole ou de langue transcrite réuni pour l'analyse ou pour les technologies langagières. d’entraînement où les entités ont été étiquetées à la main, et ces attributs calculés pour chaque mot, l’algorithme peut apprendre quels motifs des données vont avec un nom.

On peut faire des choses impressionnantes avec l’ingénierie des attributs, et pourtant ces systèmes butent tous sur le même mur. Des attributs comme les suffixes et les majuscules décrivent la forme d’un mot. Ils ne disent rien de ce qu’il veut dire. Pour un modèle fondé sur des attributs, voiture et char sont simplement deux suites de lettres différentes, alors qu’au Québec les deux peuvent désigner le même véhicule ; travail et travaux ont l’air du singulier et du pluriel d’un même mot, alors que le pluriel en change souvent le sens. Pour passer le mur, il a fallu cesser de décrire les mots par des propriétés choisies à la main et laisser un système apprendre, à partir de la façon dont les mots sont employés, une représentation numérique des mots eux-mêmes (see also the Language as numbers module) (voir aussi le module Le langage en nombres).

The field behind the tools you use

Your word processor underlines a misspelled word. Your phone proposes the rest of the word you are typing. A search engine returns pages that say what you asked in other words. A video gets subtitles in a language its speakers do not know. Behind each of these is a program that takes human language as its input, as text or as speech, and does something with it. The field that builds such programs is natural language processing.

Two neighbouring names, computational linguistics computational linguistics (CL)linguistique informatique NLPTAL The interdisciplinary study of human language from a computational perspective, including the development of computational models of linguistic phenomena.Étude interdisciplinaire du langage humain dans une perspective computationnelle, y compris l'élaboration de modèles computationnels des phénomènes linguistiques. and language technology language technologytechnologie langagière NLPTAL The field that builds usable tools and services out of the computational processing of human language, such as machine translation systems, terminology tools, speech interfaces and writing aids. By extension, the term also names those tools themselves.Domaine consacré à la conception d'outils et de services utilisables à partir du traitement informatique de la langue humaine : systèmes de traduction automatique, outils terminologiques, interfaces vocales, aides à la rédaction. Par extension, le terme désigne aussi ces outils eux-mêmes. , cover much the same field with a different emphasis (see also the NLP and its neighbours page, in the Foundations of AI & NLP module) (voir aussi la page Le TAL et ses voisins, dans le module Fondements de l'IA et du TAL).

A field organized in tasks

For most of the history of the field, a program could not be asked to “understand a text”. It could be asked to do one defined thing with it, and over the decades the field has settled on a set of such things, called tasks. A task has a defined input and a defined output. For named entity recognition named entity recognition (NER)reconnaissance d'entités nommées (REN) NLPTAL The task of finding the spans of a text that are proper names, and labelling the category, most often a person, a location or an organization.Tâche qui consiste à repérer dans un texte les segments qui sont des noms propres, et à en étiqueter la catégorie, le plus souvent une personne, un lieu ou une organisation. , the input is a text and the output is the list of stretches that are proper names, each with its type. For machine translation machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. , the input is a sentence in one language and the output is a sentence in another. A precisely defined output makes it possible to say whether a program did the task well, and to compare two programs on it (see also the Evaluation foundations chapter, in the Evaluating language technology module) (voir aussi le chapitre Fondements de l'évaluation, dans le module L'évaluation des technologies langagières).

Tasks that read a text and return something found in it, or a label for it, are grouped under natural language understanding (NLU; in French, compréhension du langage naturel). Tasks that produce new text are grouped under natural language generation (NLG; génération automatique de textes, GAT). Tasks on speech take spoken language in or give it out (Figure 1figure 1).

The two groups overlap: a translation system has to read before it writes, and a chatbot does both at every turn.

Tasks inside everyday tools

Most of these tasks are already in the tools you use, where you do not see them as tasks:

• the spelling checker and the grammar checker in a word processor;
• the segmentation segmentationsegmentation CAT toolsTAO The operation of dividing translatable content into segments, which correspond roughly to sentences, titles and other separate text elements.Opération qui consiste à diviser le contenu à traduire en segments, qui correspondent plus ou moins aux phrases, aux titres et aux autres éléments textuels séparés. of a document into sentences and the terminology checks of a CAT tool computer-assisted translation (CAT)traduction assistée par ordinateur (TAO) CAT toolsTAO Software that assists a human translator during the translation process, commonly by dividing texts into segments and providing functions such as translation-memory retrieval, terminology management, consistency checks and file management.Logiciel qui assiste un traducteur humain pendant le processus de traduction, généralement en divisant les textes en segments et en offrant des fonctions comme la recherche en mémoire de traduction, la gestion terminologique, les vérifications de cohérence et la gestion des fichiers. (see also the Wordfast: quality assurance and delivery chapter, in the CAT tools module) (voir aussi le chapitre Wordfast : assurance de la qualité et livraison, dans le module Outils de TAO);
• the lemmatized word lists and the searches by grammatical class of a concordancer (see also the Corpus analysis module) (voir aussi le module L'analyse de corpus);
• the dictation that types what you say (see also the Speech technology module) (voir aussi le module Les technologies de la parole);
• machine translation itself, and the extraction of terms from a text or a collection of documents (see also the Automatic term extraction (from rules to large language models) chapter, in the Classical NLP module) (voir aussi le chapitre Extraction automatique de termes (des règles aux grands modèles de langue), dans le module TAL classique).

Before large language models large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. , every one of these tasks raised the same question: how do you turn something people do by intuition into something a program can measure?

Le domaine derrière les outils du quotidien

Votre traitement de texte souligne un mot mal orthographié. Votre téléphone propose la fin du mot que vous tapez. Un moteur de recherche renvoie des pages qui disent ce que vous avez demandé en d’autres mots. Une vidéo reçoit des sous-titres dans une langue que ses locuteurs ne connaissent pas. Derrière chacun de ces cas se trouve un programme qui prend la langue humaine en entrée, à l’écrit ou à l’oral, et en fait quelque chose. Le domaine qui conçoit ces programmes est le traitement automatique de la langue.

Deux noms voisins, la linguistique informatique computational linguistics (CL)linguistique informatique NLPTAL The interdisciplinary study of human language from a computational perspective, including the development of computational models of linguistic phenomena.Étude interdisciplinaire du langage humain dans une perspective computationnelle, y compris l'élaboration de modèles computationnels des phénomènes linguistiques. et les technologies langagières language technologytechnologie langagière NLPTAL The field that builds usable tools and services out of the computational processing of human language, such as machine translation systems, terminology tools, speech interfaces and writing aids. By extension, the term also names those tools themselves.Domaine consacré à la conception d'outils et de services utilisables à partir du traitement informatique de la langue humaine : systèmes de traduction automatique, outils terminologiques, interfaces vocales, aides à la rédaction. Par extension, le terme désigne aussi ces outils eux-mêmes. , désignent à peu près le même domaine, avec un accent différent (see also the NLP and its neighbours page, in the Foundations of AI & NLP module) (voir aussi la page Le TAL et ses voisins, dans le module Fondements de l'IA et du TAL).

Un domaine organisé en tâches

Pendant la plus grande partie de l’histoire du domaine, on ne pouvait pas demander à un programme de « comprendre un texte ». On pouvait lui demander de faire une chose définie avec ce texte, et, au fil des décennies, le domaine s’est fixé un ensemble de ces choses, appelées tâches. Une tâche a une entrée et une sortie définies. Pour la reconnaissance d’entités nommées named entity recognition (NER)reconnaissance d'entités nommées (REN) NLPTAL The task of finding the spans of a text that are proper names, and labelling the category, most often a person, a location or an organization.Tâche qui consiste à repérer dans un texte les segments qui sont des noms propres, et à en étiqueter la catégorie, le plus souvent une personne, un lieu ou une organisation. , l’entrée est un texte et la sortie, la liste des passages qui sont des noms propres, chacun avec son type. Pour la traduction automatique machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. , l’entrée est une phrase dans une langue et la sortie, une phrase dans une autre. Une sortie définie avec précision permet de dire si un programme a bien accompli la tâche et de comparer deux programmes sur celle-ci (see also the Evaluation foundations chapter, in the Evaluating language technology module) (voir aussi le chapitre Fondements de l'évaluation, dans le module L'évaluation des technologies langagières).

Les tâches qui lisent un texte et renvoient quelque chose qui s’y trouve, ou une étiquette qui le décrit, sont regroupées sous la compréhension du langage naturel (angl. natural language understanding, NLU). Les tâches qui produisent un texte nouveau relèvent de la génération automatique de textes (GAT, angl. natural language generation, NLG). Les tâches sur la parole prennent la langue orale en entrée ou la produisent (Figure 1figure 1).

Les deux groupes se recoupent : un système de traduction doit lire avant d’écrire, et un agent conversationnel fait les deux à chaque échange.

Des tâches dans les outils du quotidien

La plupart de ces tâches se trouvent déjà dans les outils que vous utilisez, où vous ne les voyez pas comme des tâches :

• le correcteur orthographique et le correcteur grammatical d’un traitement de texte ;
• la segmentation segmentationsegmentation CAT toolsTAO The operation of dividing translatable content into segments, which correspond roughly to sentences, titles and other separate text elements.Opération qui consiste à diviser le contenu à traduire en segments, qui correspondent plus ou moins aux phrases, aux titres et aux autres éléments textuels séparés. d’un document en phrases et les vérifications terminologiques d’un outil de TAO computer-assisted translation (CAT)traduction assistée par ordinateur (TAO) CAT toolsTAO Software that assists a human translator during the translation process, commonly by dividing texts into segments and providing functions such as translation-memory retrieval, terminology management, consistency checks and file management.Logiciel qui assiste un traducteur humain pendant le processus de traduction, généralement en divisant les textes en segments et en offrant des fonctions comme la recherche en mémoire de traduction, la gestion terminologique, les vérifications de cohérence et la gestion des fichiers. (see also the Wordfast: quality assurance and delivery chapter, in the CAT tools module) (voir aussi le chapitre Wordfast : assurance de la qualité et livraison, dans le module Outils de TAO) ;
• les listes de mots lemmatisés et les recherches par catégorie grammaticale d’un concordancier (see also the Corpus analysis module) (voir aussi le module L'analyse de corpus) ;
• la dictée qui tape ce que vous dites (see also the Speech technology module) (voir aussi le module Les technologies de la parole) ;
• la traduction automatique elle-même, et l’extraction de termes d’un texte ou d’un ensemble de documents (see also the Automatic term extraction (from rules to large language models) chapter, in the Classical NLP module) (voir aussi le chapitre Extraction automatique de termes (des règles aux grands modèles de langue), dans le module TAL classique).

Avant les grands modèles de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. (GML), chacune de ces tâches posait la même question : comment transformer ce que les gens font par intuition en quelque chose qu’un programme peut mesurer ?

What the task does

In the sentence In March, Marie Tremblay left Hydro-Québec for a job at McGill University in Montreal, a reader recognizes four names without effort: a person, two organizations and a city. Named entity recognition is the task of doing the same automatically: finding every stretch of a text that is a proper name, and labelling its type (Figure 2figure 2).

Four types are used most often, for persons, organizations, locations and geopolitical entities such as countries. The task is often extended to dates, times and amounts of money, which are not names in the strict sense (Jurafsky & Martin, 2026). Applications add their own types, for instance products, works of art or, in medicine, genes and proteins.

Where it gets hard

The task sounds simple because reading a name is simple for you. Figure 3figure 3 shows one sentence annotated by three people: they agree that Marie Tremblay is a person, and differ on five points, numbered above the sentence.

The difficulties of the task are of three kinds. The table below sorts them, with the cases from the figure and a few others.

The people who annotate a text to produce the correct answers follow the guidelines (see also the gold standard page, in the Evaluating language technology module) (voir aussi la page L'étalon de référence, dans le module L'évaluation des technologies langagières) and still do not always agree. How far they agree is the point of comparison for any program’s score, and their disagreement is an important factor in the evaluation of NLP systems (see also the Agreement between annotators page, in the Evaluating language technology module) (voir aussi la page L'accord entre annotateurs, dans le module L'évaluation des technologies langagières).

Ce que fait la tâche

Dans la phrase En mars, Marie Tremblay a quitté Hydro-Québec pour l’Université McGill, à Montréal, on reconnaît sans effort quatre noms : une personne, deux organisations et une ville. La reconnaissance d’entités nommées consiste à faire la même chose automatiquement : trouver chaque passage d’un texte qui est un nom propre et en indiquer le type (Figure 2figure 2).

Quatre types sont les plus courants : les personnes, les organisations, les lieux et les entités géopolitiques comme les pays. La tâche est souvent élargie aux dates, aux heures et aux sommes d’argent, qui ne sont pas des noms au sens strict (Jurafsky & Martin, 2026). Les applications ajoutent leurs propres types, par exemple des produits, des œuvres d’art ou, en médecine, des gènes et des protéines.

Là où la tâche se complique

La tâche paraît simple parce que lire un nom est simple pour vous. La Figure 3figure 3 montre une phrase annotée par trois personnes : elles s’accordent sur le fait que Marie Tremblay est une personne, et divergent sur cinq points, numérotés au-dessus de la phrase.

Les difficultés de la tâche sont de trois sortes. Le tableau ci-dessous les range avec les cas de la figure et d’autres exemples.

Les personnes qui annotent un texte pour produire les bonnes réponses suivent les consignes (see also the gold standard page, in the Evaluating language technology module) (voir aussi la page L'étalon de référence, dans le module L'évaluation des technologies langagières) et ne s’accordent pourtant pas toujours. Leur degré d’accord sert de point de comparaison pour le score de tout programme, et leur désaccord est un facteur important dans l’évaluation des systèmes de TAL (see also the Agreement between annotators page, in the Evaluating language technology module) (voir aussi la page L'accord entre annotateurs, dans le module L'évaluation des technologies langagières).

Pipelines and single models

Until recently, a system that did something with a text did it in steps, and each step was one task of the field. A program that extracts the names of companies from news articles first cuts the text into words, then labels each word with its grammatical class, then groups the words into phrases, and only then decides which phrases are names, which is named entity recognition named entity recognition (NER)reconnaissance d'entités nommées (REN) NLPTAL The task of finding the spans of a text that are proper names, and labelling the category, most often a person, a location or an organization.Tâche qui consiste à repérer dans un texte les segments qui sont des noms propres, et à en étiqueter la catégorie, le plus souvent une personne, un lieu ou une organisation. . Each step takes the output of the one before it as its input, which is why the arrangement is called a pipeline (Figure 4figure 4).

A large language model large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. can instead be asked for the end result directly: given a text and the instruction list the names of companies in this text, it returns a list, with no visible steps in between. For many tasks, that is now how the work gets done, and for most NLP tasks the best scores are reached by neural models of one kind or another, trained on large amounts of text (Jurafsky & Martin, 2026). The table below compares the two ways of working.

The tasks have not disappeared. They are still the units in which systems are judged: a model is evaluated on named entity recognition, on translation or on summarization, one task at a time, against answers produced by people, and that is how its strengths and its gaps are found (see also the Benchmarks and test sets page, in the Evaluating language technology module) (voir aussi la page Tests de performances et jeux de test, dans le module L'évaluation des technologies langagières). And pipelines still run inside many of the tools you use: the spelling and grammar checker of a word processor, the way a search engine matches a query to pages, or the spam filter of an email inbox are built from components of this kind.

Chaînes de traitement et modèle unique

Jusqu’à récemment, un système qui faisait quelque chose d’un texte procédait par étapes, et chaque étape était une tâche du domaine. Un programme qui extrait les noms d’entreprises d’articles de presse découpe d’abord le texte en mots, attribue ensuite à chaque mot sa catégorie grammaticale, regroupe les mots en syntagmes et ne décide qu’alors quels syntagmes sont des noms, ce qui est la reconnaissance d’entités nommées named entity recognition (NER)reconnaissance d'entités nommées (REN) NLPTAL The task of finding the spans of a text that are proper names, and labelling the category, most often a person, a location or an organization.Tâche qui consiste à repérer dans un texte les segments qui sont des noms propres, et à en étiqueter la catégorie, le plus souvent une personne, un lieu ou une organisation. . Chaque étape prend en entrée la sortie de la précédente, d’où le nom de chaîne de traitement (angl. pipeline) (Figure 4figure 4).

Un grand modèle de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. peut au contraire être interrogé directement sur le résultat final : avec un texte et la consigne dresse la liste des noms d’entreprises de ce texte, il renvoie une liste, sans étape visible entre les deux. Pour de nombreuses tâches, c’est désormais ainsi que le travail se fait, et pour la plupart des tâches du TAL, les meilleurs scores sont atteints par des modèles neuronaux d’un type ou d’un autre, entraînés sur de grandes quantités de texte (Jurafsky & Martin, 2026). Le tableau ci-dessous compare les deux façons de travailler.

Les tâches n’ont pas disparu. Elles restent les unités dans lesquelles on évalue les systèmes : un modèle est évalué sur la reconnaissance d’entités nommées, la traduction ou le résumé automatique, une tâche à la fois, par rapport à des réponses produites par des personnes, et c’est ainsi qu’on découvre ses forces et ses lacunes (see also the Benchmarks and test sets page, in the Evaluating language technology module) (voir aussi la page Tests de performances et jeux de test, dans le module L'évaluation des technologies langagières). Et des chaînes de traitement fonctionnent encore dans bien des outils que vous utilisez : le correcteur orthographique et grammatical d’un traitement de texte, la façon dont un moteur de recherche associe une requête à des pages ou le filtre antipourriel d’une messagerie sont construits à partir de composants de ce type.

Two ways to count the words

The sentence Le chat voit le chien, et le chien voit le chat. has eleven words if you count every word as you read it, and five if you count each distinct word once: le four times, chat, chien and voit twice each, et once. Counting the comma and the full stop as well gives thirteen and seven. The occurrences are called tokens, the distinct forms are called types, as shown in Figure 1figure 1.

The two counts answer different questions, and so does the ratio between them, the number of types divided by the number of tokens, called the type-token ratio. The table below gives examples of each in use.

Vanmassenhove et al. (2019, 2021) found machine translations less varied than human translations of the same texts: frequent words became more frequent and rare words rarer.Both studies used statistical and neural systems the authors trained on European Parliament proceedings, English with French and Spanish, in 2019 and 2021. Less varied is not necessarily worse: in a technical text, naming the same thing the same way throughout is what you want (Vanmassenhove et al., 2021). Chatbot output can go the other way: essays written by ChatGPT were more varied than essays by human writers (Kendro et al., 2026).Thirty essays each from ChatGPT-3.5, ChatGPT-4, o4-mini and GPT-4.5 on one argumentative prompt of the TOEFL, against 240 writers of English as a first or second language, from high school to doctoral level.

The ratio depends on length

A short text has a high type-token ratio, a whole book a much lower one, and a large corpus lower still, as the table below shows.The Gettysburg Address was counted here on the Bliss copy, by word form as the corpora were, so cat and cats would be two types; capitals were ignored and punctuation left out. Jurafsky and Martin do not say how capitals and punctuation were treated in each corpus. Keeping capitals would give the address 142 types instead of 138.

This happens with any text. The more of it you count, the more types you find, but ever more slowly, since the common words keep recurring and new words become rarer; the relation is known as Herdan’s law or Heaps’ law (Jurafsky & Martin, 2026, p. 4). A type-token ratio therefore only compares texts of a similar length, and studies that compare texts of different lengths use measures designed to depend less on it (Vanmassenhove et al., 2019).

Word counts differ from tool to tool

A word count is the number of tokens a tool finds, so two tools can give two different counts for the same document. The difference has two sources:

• The rules of the tool. Whether l’opéra or doesn’t counts as one word or two, whether peut-être and 1 000 000 stay whole, whether punctuation counts at all: each tool makes these decisions in its own way (see also the Hard cases for tokenization page, in the Classical NLP module) (voir aussi la page Les cas difficiles de la segmentation, dans le module TAL classique).
• The text the tool counts. A document contains more than its running text, for instance footnotes, text boxes, headers, the alternative text of images or the hidden parts of a web page. One tool counts them, another leaves them out, and a word processor may count them only when a setting asks it to.

A translation is often quoted and paid by the word, so a count is worth comparing with the one the other party’s tool gives before relying on it.

Deux façons de compter les mots

La phrase Le chat voit le chien, et le chien voit le chat. compte onze mots si l’on compte chaque mot au fil de la lecture, et cinq si l’on ne compte qu’une fois chaque mot distinct : le quatre fois, chat, chien et voit deux fois chacun, et une fois. En comptant aussi la virgule et le point, on obtient treize et sept. Les apparitions s’appellent des occurrences, les formes distinctes des types, comme le montre la Figure 1figure 1.

Les deux comptes répondent à des questions différentes, tout comme le rapport entre eux, le nombre de types divisé par le nombre d’occurrences, appelé rapport types/occurrences (angl. type-token ratio). Le tableau ci-dessous donne des exemples d’usage de chacun.

Vanmassenhove et al. (2019, 2021) ont constaté que des traductions automatiques étaient moins variées que des traductions humaines des mêmes textes : les mots fréquents devenaient plus fréquents, et les mots rares, plus rares.Les deux études portaient sur des systèmes statistiques et neuronaux que les auteurs avaient entraînés sur les débats du Parlement européen, entre l’anglais et le français ou l’espagnol, en 2019 et 2021. Moins varié ne veut pas forcément dire moins bon : dans un texte technique, nommer la même chose de la même façon d’un bout à l’autre est précisément ce qu’on cherche (Vanmassenhove et al., 2021). Les textes produits par un agent conversationnel peuvent aller dans l’autre sens : des dissertations écrites par ChatGPT étaient plus variées que celles de rédacteurs humains (Kendro et al., 2026).Trente dissertations par modèle, de ChatGPT-3.5, ChatGPT-4, o4-mini et GPT-4.5, sur un même sujet argumentatif du TOEFL, comparées à celles de 240 personnes qui écrivent l’anglais comme première ou seconde langue, du secondaire au doctorat.

Le rapport dépend de la longueur

Un texte court a un rapport types/occurrences élevé, un livre entier un rapport bien plus bas, et un grand corpus un rapport plus bas encore, comme le montre le tableau ci-dessous.Le discours de Gettysburg a été compté ici sur la copie Bliss, par forme de mot comme les corpus, si bien que cat et cats seraient deux types ; les majuscules ont été ignorées et la ponctuation laissée de côté. Jurafsky et Martin ne précisent pas comment les majuscules et la ponctuation ont été traitées dans chaque corpus. En gardant les majuscules, le discours compterait 142 types au lieu de 138.

C’est le cas de tout texte. Plus on en compte, plus on y trouve de types, mais de plus en plus lentement, puisque les mots courants reviennent sans cesse et que les mots nouveaux se raréfient ; cette relation s’appelle la loi de Herdan ou loi de Heaps (Jurafsky & Martin, 2026, p. 4). Un rapport types/occurrences ne compare donc que des textes de longueur semblable, et les études qui comparent des textes de longueurs différentes emploient des mesures conçues pour en dépendre moins (Vanmassenhove et al., 2019).

Le nombre de mots varie d’un outil à l’autre

Un nombre de mots est le nombre d’occurrences qu’un outil trouve ; deux outils peuvent donc donner deux nombres différents pour un même document. La différence a deux sources :

• Les règles de l’outil. Que l’opéra ou doesn’t compte pour un mot ou pour deux, que peut-être et 1 000 000 restent entiers, que la ponctuation compte ou non : chaque outil tranche ces questions à sa façon (see also the Hard cases for tokenization page, in the Classical NLP module) (voir aussi la page Les cas difficiles de la segmentation, dans le module TAL classique).
• Le texte que l’outil compte. Un document contient plus que son texte courant, par exemple des notes de bas de page, des zones de texte, des en-têtes, le texte de remplacement des images ou les parties cachées d’une page Web. Un outil les compte, un autre les laisse de côté, et un traitement de texte peut ne les compter que si un réglage le demande.

Une traduction est souvent chiffrée et payée au mot : avant de se fier à un nombre de mots, mieux vaut le comparer à celui que donne l’outil de l’autre partie.

A task for rules

Cutting a text into words looks like a task made for rules: it is narrow, and the rules seem easy to state completely (see also the Rule-based systems page, in the Foundations of AI & NLP module) (voir aussi la page Les systèmes à base de règles, dans le module Fondements de l'IA et du TAL). You do it without thinking, the first rule is obvious, and nothing about it seems to need understanding.

Writing the rules, one text at a time

Writing the rules means testing them on one text after another. Each text below breaks the rules written so far, and the fix is a new rule or a new exception (Figure 2figure 2). Each text appears first as it is written and as the rules so far cut it: before moving to the next stage, decide where the cut goes wrong and which rule you would add.

Two of these rules are unlike the others. The fixed expressions such as aujourd’hui cannot be described by a pattern: someone has to write them out, and the list is never complete. And unfusing au, du and des is right for a tool that analyzes grammar, which needs à le, but a tool that counts words would leave them whole: the right cut depends on what the output is for.

Seven short texts already need three rules and seven exceptions, and the list is far from complete. A task that looks simple becomes complex very quickly.

Limits of a rule set for tokenization

A tokenizer written as rules has the strengths and weaknesses of every rule-based system rule-based systemsystème à base de règles AIIA A system whose behaviour is fixed by rules that people wrote, most often of the form "if this condition, then this action", so that every output can be traced to the rule that produced it.Système dont le comportement est fixé par des règles écrites par des personnes, le plus souvent de la forme « si cette condition, alors cette action », de sorte que chaque résultat peut être rapporté à la règle qui l'a produit. . Two weaknesses may already be clear from the example:

• The list is written for one language and one kind of text. French numbers use a comma where English numbers use a full stop, and a rule set for tweets is not a rule set for legal documents.
• The list is never finished, because language keeps producing cases nobody wrote a rule for.

Tokenization today

Tokenization into words is still mostly done with rules. Rule-based tokenizers are deterministic deterministicdéterministe computinginformatique Describes a process, algorithm, or system that, under the same initial conditions and with the same input, always produces the same output.Se dit d'un processus, d'un algorithme ou d'un système qui, dans les mêmes conditions initiales et avec la même entrée, produit toujours la même sortie. programs built from regular expressions and lists of exceptions, so the same text is always cut the same way, and they are fast, as a step that runs before everything else has to be (Jurafsky & Martin, 2026).

Une tâche pour des règles

Couper un texte en mots semble une tâche faite pour des règles : elle est étroite, et les règles paraissent faciles à énoncer entièrement (see also the Rule-based systems page, in the Foundations of AI & NLP module) (voir aussi la page Les systèmes à base de règles, dans le module Fondements de l'IA et du TAL). Vous la faites sans y penser, la première règle est évidente, et rien ne semble demander de comprendre quoi que ce soit.

Écrire les règles, un texte à la fois

Écrire les règles, c’est les tester sur un texte après l’autre. Chaque texte ci-dessous met en défaut les règles écrites jusque-là, et la correction est une nouvelle règle ou une nouvelle exception (Figure 2figure 2). Chaque texte apparaît d’abord tel qu’il est écrit et tel que les règles déjà là le coupent : avant de passer à l’étape suivante, repérez où la coupe se trompe et quelle règle vous ajouteriez.

Deux de ces règles ne ressemblent pas aux autres. Les expressions figées comme aujourd’hui ne se décrivent pas par un motif : quelqu’un doit en rédiger la liste, et cette liste n’est jamais complète. Et décomposer au, du et des convient à un outil qui analyse la grammaire, qui a besoin de à le, mais un outil qui compte les mots les laisserait entiers : la bonne coupe dépend de l’usage qu’on fera du résultat.

Sept textes courts demandent déjà trois règles et sept exceptions, et la liste est loin d’être complète. Une tâche qui paraît simple devient complexe très vite.

Les limites d’un ensemble de règles

Un segmenteur écrit sous forme de règles a les forces et les faiblesses de tout système à base de règles rule-based systemsystème à base de règles AIIA A system whose behaviour is fixed by rules that people wrote, most often of the form "if this condition, then this action", so that every output can be traced to the rule that produced it.Système dont le comportement est fixé par des règles écrites par des personnes, le plus souvent de la forme « si cette condition, alors cette action », de sorte que chaque résultat peut être rapporté à la règle qui l'a produit. . Deux faiblesses ressortent peut-être déjà de l’exemple :

• La liste est écrite pour une langue et un type de texte. Les nombres français emploient une virgule là où les nombres anglais emploient un point, et un ensemble de règles pour des messages de réseaux sociaux ne convient pas à des documents juridiques.
• La liste n’est jamais terminée, parce que la langue produit sans cesse des cas pour lesquels personne n’a écrit de règle.

La segmentation aujourd’hui

La segmentation en mots se fait encore surtout avec des règles. Les segmenteurs à base de règles sont des programmes déterministes deterministicdéterministe computinginformatique Describes a process, algorithm, or system that, under the same initial conditions and with the same input, always produces the same output.Se dit d'un processus, d'un algorithme ou d'un système qui, dans les mêmes conditions initiales et avec la même entrée, produit toujours la même sortie. faits d’expressions rationnelles et de listes d’exceptions : un même texte est toujours coupé de la même façon, et ils sont rapides, comme doit l’être une étape qui passe avant toutes les autres (Jurafsky & Martin, 2026).

The cases a rule set has to cover

The table below lists common cases where splitting at spaces and punctuation is not enough, with what makes each one hard.

Every row needs its own rule, and the rules interact: a full stop may end a sentence, mark an abbreviation, appear inside a number or inside an address, and the tokenizer has to tell which from the characters around it (see also the Segmenting a text into sentences page, in the Classical NLP module) (voir aussi la page Segmenter un texte en phrases, dans le module TAL classique).

Writing systems without spaces

Chinese, Japanese and Thai do not separate words with spaces, so there is no first rule to start from. For Chinese, one option is to treat each character as a unit, which works quite well because a character generally stands for a meaningful unit of its own; for Japanese and Thai, where the individual character is too small a unit, the words have to be found by other means (Jurafsky & Martin, 2026). A rule set written for a language with spaces has nothing to say about these languages at all.

Every tool has its own conventions

Since every one of these cases is a decision, two tokenizers seldom make all of them the same way, and the same text comes out with different counts in different tools. The difference shows wherever words are counted or matched: in a word count, in a frequency list, in a search for an exact phrase, in the comparison of two word lists. Knowing that the cuts differ lets you check a count instead of trusting it. Some conventions are published as standards: the Penn Treebank convention for English, for instance, splits doesn’t into does and n’t and keeps hyphenated words together (Jurafsky & Martin, 2026).

Les cas qu’un ensemble de règles doit couvrir

Le tableau ci-dessous présente des cas courants où couper aux espaces et à la ponctuation ne suffit pas, avec ce qui rend chacun difficile.

Chaque ligne demande sa propre règle, et les règles interagissent : un point peut terminer une phrase, marquer une abréviation, apparaître dans un nombre ou dans une adresse, et le segmenteur doit déterminer lequel d’après les caractères qui l’entourent (see also the Segmenting a text into sentences page, in the Classical NLP module) (voir aussi la page Segmenter un texte en phrases, dans le module TAL classique).

Les écritures sans espaces

Le chinois, le japonais et le thaï ne séparent pas les mots par des espaces : il n’y a donc pas de première règle par laquelle commencer. Pour le chinois, une solution consiste à traiter chaque caractère comme une unité, ce qui fonctionne assez bien parce qu’un caractère correspond en général à une unité de sens ; pour le japonais et le thaï, où le caractère isolé est une unité trop petite, il faut trouver les mots autrement (Jurafsky & Martin, 2026). Un ensemble de règles écrit pour une langue à espaces n’a rien à dire sur ces langues.

Chaque outil a ses conventions

Puisque chacun de ces cas est une décision, deux segmenteurs les tranchent rarement tous de la même façon, et un même texte donne des comptes différents dans des outils différents. La différence apparaît partout où l’on compte ou compare des mots : dans un nombre de mots, dans une liste de fréquences, dans une recherche d’expression exacte, dans la comparaison de deux listes de mots. Savoir que les coupes diffèrent permet de vérifier un compte au lieu de s’y fier. Certaines conventions sont publiées comme des normes : la convention du Penn Treebank pour l’anglais, par exemple, coupe doesn’t en does et n’t et garde entiers les mots à trait d’union (Jurafsky & Martin, 2026).

A task of its own

Cutting a text into sentences is a task of its own, and the full stop is the whole difficulty.

Question marks and exclamation marks almost always end a sentence. A full stop ends a sentence, marks an abbreviation such as Dr. or etc., appears inside a number such as 3.5 and inside an address, and sometimes does two of these at once, as the last full stop of a sentence ending in etc. does (Jurafsky & Martin, 2026). Figure 4figure 4 puts four of them in one sentence.

Rules for sentences

Many sentence splitters first decide, for each full stop, whether it belongs to a word or ends a sentence. The decision is often made by rules and sometimes learned from examples, and a dictionary of abbreviations helps, which can itself be written by hand or learned (Jurafsky & Martin, 2026).

Written as rules, the decision for the full stop alone already nests, each exception settling a case that the line above got wrong:

• Split at a full stop: it ends the sentence.
  • except when no space follows: a number or an address, as in 3.5 or umontreal.ca;
  • except when the next word starts with a lowercase letter: an abbreviation inside a sentence, as in the lab, etc. and the staff;
  • except after a title from a list written out by hand, even when a space and a capital follow: Dr. Tremblay, M. Dupont;
  • but after another abbreviation followed by a space and a capital, the full stop does both jobs at once: in etc. The staff stayed., it belongs to etc. and ends the sentence.

The four full stops of Figure 4figure 4 each fall under a different line. Every exception also opens a new gap: a sentence that starts with a lowercase word, such as a brand name like iPhone, is not split from the one before it, and an abbreviation missing from the list is read as the end of a sentence.

Translation tools face the same problem when they cut a document into segments, the units a translator works through one by one, and their segmentation segmentationsegmentation CAT toolsTAO The operation of dividing translatable content into segments, which correspond roughly to sentences, titles and other separate text elements.Opération qui consiste à diviser le contenu à traduire en segments, qui correspondent plus ou moins aux phrases, aux titres et aux autres éléments textuels séparés. rules are lists of exactly this kind (see also the Translation memories chapter, in the CAT tools module) (voir aussi le chapitre Les mémoires de traduction, dans le module Outils de TAO).

Une tâche à part entière

Couper un texte en phrases est une tâche à part entière, et toute la difficulté vient du point.

Les points d’interrogation et d’exclamation terminent presque toujours une phrase. Un point termine une phrase, marque une abréviation comme M. ou etc., apparaît dans un numéro de version comme 2.5 et dans une adresse, et joue parfois deux de ces rôles à la fois, comme le dernier point d’une phrase qui se termine par etc. (Jurafsky & Martin, 2026). La Figure 4figure 4 en réunit quatre dans une même phrase.

Des règles pour les phrases

Beaucoup de segmenteurs de phrases décident d’abord, pour chaque point, s’il appartient à un mot ou s’il termine une phrase. Cette décision est souvent prise par des règles, parfois apprise à partir d’exemples, et un dictionnaire d’abréviations aide, dictionnaire qui peut lui-même être rédigé à la main ou appris (Jurafsky & Martin, 2026).

Écrite sous forme de règles, la décision pour le seul point s’emboîte déjà, chaque exception réglant un cas que la ligne au-dessus traitait mal :

• Couper à un point : il termine la phrase.
  • sauf quand aucune espace ne suit : un numéro ou une adresse, comme 2.5 ou umontreal.ca ;
  • sauf quand le mot suivant commence par une minuscule : une abréviation au milieu d’une phrase, comme dans au labo, etc. et le personnel ;
  • sauf après un titre d’une liste rédigée à la main, même quand une espace et une majuscule suivent : M. Tremblay ;
  • mais après une autre abréviation suivie d’une espace et d’une majuscule, le point joue les deux rôles à la fois : dans etc. Le personnel est resté., il appartient à etc. et termine la phrase.

Les quatre points de la Figure 4figure 4 relèvent chacun d’une ligne différente. Chaque exception ouvre aussi une nouvelle brèche : une phrase qui commence par une minuscule, par exemple un nom de marque comme iPhone, n’est pas séparée de la précédente, et une abréviation absente de la liste est lue comme une fin de phrase.

Les outils de traduction rencontrent le même problème quand ils coupent un document en segments, les unités qu’un traducteur traite une à une, et leurs règles de segmentation segmentationsegmentation CAT toolsTAO The operation of dividing translatable content into segments, which correspond roughly to sentences, titles and other separate text elements.Opération qui consiste à diviser le contenu à traduire en segments, qui correspondent plus ou moins aux phrases, aux titres et aux autres éléments textuels séparés. sont des listes exactement de ce genre (see also the Translation memories chapter, in the CAT tools module) (voir aussi le chapitre Les mémoires de traduction, dans le module Outils de TAO).

A label for every word

In the sentence Mary loves reading books, you can say of every word what kind of word it is: a proper noun, a verb, another verb, a noun. Part-of-speech tagging does this automatically for every word of a text, and the result is written with a tag after each word: Mary/PROPN loves/VERB reading/VERB books/NOUN.

The task takes a text that has already been cut into words (see also the Tokenization (including an example of the rule-based approach) chapter, in the Classical NLP module) (voir aussi le chapitre La segmentation en unités lexicales (y compris un exemple d'approche à base de règles), dans le module TAL classique) and gives each of them exactly one tag (Jurafsky & Martin, 2026). It is rarely the end of a pipeline and almost always a step in one: a concordancer uses the tags to let you search for all the nouns after a given verb, and a grammar checker uses them, among other information, to check that a verb agrees with its subject.

Open and closed classes

The classes themselves are older than computers. Grammars have sorted words into nouns, verbs, adjectives and the rest for two millennia, and the classes are defined by how a word behaves with its neighbours and by the endings it takes, not by what it means: a noun is a word that can follow a determiner and take a plural, whatever it refers to (Jurafsky & Martin, 2026).

Classes come in two kinds. Nouns, verbs, adjectives and adverbs are open classes: new members appear all the time, as selfie and to google did. Determiners, pronouns, prepositions and conjunctions are closed classes: a few dozen words each, rarely added to, very frequent, and doing the structural work of a sentence (Jurafsky & Martin, 2026). Figure 1figure 1 shows the seventeen classes of the tagset that Universal Dependencies, a large collection of annotated corpora, uses for more than a hundred languages (de Marneffe et al., 2021).

Tagsets differ

Those seventeen tags are one choice among many. A tagset is a decision about how finely to cut the classes, and different projects have cut them very differently.

The table below sets some of them side by side, from the seventeen universal tags to sets that fold number, tense, case or gender into the tag.The French and Dutch counts were checked on 6 October 2026 at their sources: TreeTagger’s French tagset, the label list of a CamemBERT tagger trained on the French Treebank, and the documentation of the Spoken Dutch Corpus.

The information does not disappear when the tagset is small; it is encoded elsewhere. Universal Dependencies keeps its seventeen tags and records number, tense or gender as separate features attached to the word (de Marneffe et al., 2021), where a larger tagset folds them into the tag itself. Figure 2figure 2 shows the two conventions on two English words. When you read the output of a tagger, the first thing to find out is which tagset it used, since ADJ in one and JJ in another may be the same class, and NN in one may be two classes in another.

Une étiquette pour chaque mot

Dans la phrase Marie adore lire des livres, vous pouvez dire de chaque mot de quel type de mot il s’agit : un nom propre, un verbe, un autre verbe, un déterminant, un nom. L’étiquetage morphosyntaxique fait la même chose automatiquement pour chaque mot d’un texte, et le résultat s’écrit avec une étiquette après chaque mot : Marie/PROPN adore/VERB lire/VERB des/DET livres/NOUN.

La tâche prend un texte déjà découpé en mots (see also the Tokenization (including an example of the rule-based approach) chapter, in the Classical NLP module) (voir aussi le chapitre La segmentation en unités lexicales (y compris un exemple d'approche à base de règles), dans le module TAL classique) et donne à chacun exactement une étiquette (Jurafsky & Martin, 2026). Elle est rarement le bout d’une chaîne de traitement et presque toujours une étape à l’intérieur : un concordancier se sert des étiquettes pour vous laisser chercher tous les noms qui suivent un verbe donné, et un correcteur grammatical s’en sert, entre autres informations, pour vérifier qu’un verbe s’accorde avec son sujet.

Classes ouvertes et classes fermées

Les classes elles-mêmes sont plus anciennes que les ordinateurs. Les grammaires répartissent les mots en noms, verbes, adjectifs et ainsi de suite depuis deux millénaires, et les classes se définissent par le comportement d’un mot avec ses voisins et par les terminaisons qu’il prend, non par ce qu’il veut dire : un nom est un mot qui peut suivre un déterminant et prendre un pluriel, quoi qu’il désigne (Jurafsky & Martin, 2026).

Il y a deux sortes de classes. Les noms, les verbes, les adjectifs et les adverbes forment des classes ouvertes : de nouveaux membres y entrent sans cesse, comme courriel et télécharger. Les déterminants, les pronoms, les prépositions et les conjonctions forment des classes fermées : quelques dizaines de mots chacune, rarement enrichies, très fréquentes, et qui font le travail structurel de la phrase (Jurafsky & Martin, 2026). La Figure 1figure 1 montre les dix-sept classes du jeu d’étiquettes qu’utilise Universal Dependencies, une vaste collection de corpus annotés, pour plus de cent langues (de Marneffe et al., 2021).

Les jeux d’étiquettes diffèrent

Ces dix-sept étiquettes sont un choix parmi d’autres. Un jeu d’étiquettes est une décision sur la finesse du découpage des classes, et les projets l’ont tranchée de façons très différentes.

Le tableau ci-dessous en met quelques-uns côte à côte, des dix-sept étiquettes universelles aux jeux qui intègrent le nombre, le temps, le cas ou le genre dans l’étiquette.Les chiffres pour le français et le néerlandais ont été vérifiés le 6 octobre 2026 à leur source : le jeu d’étiquettes français de TreeTagger, la liste d’étiquettes d’un étiqueteur CamemBERT entraîné sur le French Treebank, et la documentation du Spoken Dutch Corpus.

L’information ne disparaît pas quand le jeu d’étiquettes est petit : elle est codée ailleurs. Universal Dependencies garde ses dix-sept étiquettes et consigne le nombre, le temps ou le genre sous forme de traits distincts attachés au mot (de Marneffe et al., 2021), là où un jeu plus grand les intègre à l’étiquette elle-même. La Figure 2figure 2 montre les deux conventions sur deux mots anglais, puisque le Penn Treebank est un jeu d’étiquettes pour l’anglais. Quand vous lisez la sortie d’un étiqueteur, la première chose à vérifier est le jeu d’étiquettes utilisé : ADJ dans l’un et JJ dans un autre peuvent être la même classe, et NN dans l’un peut correspondre à deux classes dans un autre.

One form, several classes

The reason tagging is a task at all is that the form of a word does not tell you its class. Book is a verb in book that flight and a noun in hand me that book; fast is an adjective in a fast car and an adverb in she runs fast. The table below gives four English words with two readings each.

A tagger therefore cannot simply look a word up: it has to assign each occurrence one of the word’s possible tags. Tagging is a disambiguation task (Jurafsky & Martin, 2026).

How much of a text is ambiguous

Counted over the word types of a corpus, ambiguity looks like a minor problem: in two large English corpora, the Wall Street Journal section of the Penn Treebank (Marcus et al., 1993) and the Brown corpus (Francis & Kučera, 1979), about 85 % of the types have a single possible tag. Counted over the word tokens, it is the normal case: the ambiguous types are among the most frequent words of the language, and 55 to 67 % of the tokens in those corpora are ambiguous (Jurafsky & Martin, 2026). Figure 3figure 3 shows the two counts for the Wall Street Journal.

The words with the most readings are short function words and common verbs: in English that, back, down, put and set; back alone can take six tags (Jurafsky & Martin, 2026). Word classes are one kind of ambiguity among several, and frequency goes with the others too. Piantadosi et al. (2012) found that in English, German and Dutch, more frequent word forms have more homophones, and that in English more frequent words have more senses, even with word length taken into account, a link Zipf had already observed. They read it as efficiency: short, frequent forms are easy to produce and to process, so a language reuses them for several meanings and leaves the context to tell them apart.

Where annotators disagree

Ambiguity is not only a problem for programs. When people tag a corpus by hand, following written guidelines, they agree on about 97 % of the tags, and many of the remaining 3 % are cases where the grammar gives no clean answer (Manning, 2011). English -ing forms before a noun are the classic case, and the table below applies one test to three of them: an adjective takes very, a verb form does not.

The last row is the kind of case the guidelines have to decide, and the kind on which two annotators can still differ. Manning (2011) went through a hundred errors of a state-of-the-art English tagger and found that more than 40 % of them were cases where the gold standard gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. itself was wrong or inconsistent, and another 12 % cases like the last row, where the tag is underspecified in context; only a minority could have been fixed by a better tagger (Figure 4figure 4).The 97 % figure for human agreement goes back to an estimate in the Penn Treebank’s own documentation; when two annotators tagged from scratch rather than correcting a tagger’s output, they disagreed on 7.2 % of the words (Manning, 2011).

That figure, 97 %, is also the accuracy accuracyexactitude evaluationévaluation The share of all decisions of a system that are correct, true positives and true negatives together.Part de toutes les décisions d'un système qui sont correctes, vrais positifs et vrais négatifs ensemble. that the best taggers reach today, whatever the method (Jurafsky & Martin, 2026). It is a figure per word: counted per sentence, a tagger that gets 97 % of the words right gets only about 56 % of the sentences entirely right (Manning, 2011; Figure 5figure 5). Jurafsky and Martin (2026) call 97 % the human ceiling. A tagger is evaluated against tags that people assigned, and on the cases where the guidelines leave two answers open, a tag that differs from the gold standard is not necessarily wrong. The agreement between annotators is therefore best read as the point of comparison for a tagger’s score, not as a limit it cannot pass (see also the Agreement between annotators page, in the Evaluating language technology module) (voir aussi la page L'accord entre annotateurs, dans le module L'évaluation des technologies langagières).

Une forme, plusieurs classes

Si l’étiquetage est une tâche, c’est parce que la forme d’un mot ne dit pas sa classe. Marche est un verbe dans je marche lentement et un nom dans une marche en forêt ; fort est un adjectif dans un homme fort et un adverbe dans il travaille fort. Le tableau ci-dessous donne quatre mots français à deux lectures.

Un étiqueteur ne peut donc pas simplement chercher un mot dans une liste : il doit attribuer à chaque occurrence l’une des étiquettes possibles du mot. L’étiquetage est une tâche de désambiguïsation (Jurafsky & Martin, 2026).

Quelle part d’un texte est ambiguë

Comptée sur les types de mots d’un corpus, l’ambiguïté semble un problème mineur : dans deux grands corpus anglais, la section Wall Street Journal du Penn Treebank (Marcus et al., 1993) et le corpus Brown (Francis & Kučera, 1979), environ 85 % des types n’ont qu’une étiquette possible. Comptée sur les occurrences, elle est la norme : les types ambigus sont parmi les mots les plus fréquents de la langue, et 55 à 67 % des occurrences de ces corpus sont ambiguës (Jurafsky & Martin, 2026). La Figure 3figure 3 montre les deux comptes pour le Wall Street Journal.

Les mots qui ont le plus de lectures sont de petits mots grammaticaux et des verbes courants : en anglais that, back, down, put et set ; back peut à lui seul prendre six étiquettes (Jurafsky & Martin, 2026). Les classes de mots sont une forme d’ambiguïté parmi d’autres, et la fréquence va de pair avec les autres aussi. Piantadosi et al. (2012) ont constaté qu’en anglais, en allemand et en néerlandais, les formes de mots les plus fréquentes ont plus d’homophones, et qu’en anglais les mots les plus fréquents ont plus de sens, même à longueur égale, un lien que Zipf avait déjà observé. Ils y voient une question d’efficacité : les formes courtes et fréquentes sont faciles à produire et à traiter, si bien qu’une langue les réutilise pour plusieurs sens et laisse au contexte le soin de les distinguer.

Là où les annotateurs divergent

L’ambiguïté n’est pas un problème réservé aux programmes. Quand des personnes étiquettent un corpus à la main en suivant des consignes écrites, elles s’accordent sur environ 97 % des étiquettes, et bien des 3 % restants sont des cas où la grammaire ne donne pas de réponse nette (Manning, 2011). En anglais, les formes en -ing devant un nom sont le cas classique, et le tableau ci-dessous applique un test à trois d’entre elles : un adjectif accepte very (« très »), une forme verbale non.

La dernière ligne est le genre de cas que les consignes doivent trancher, et sur lequel deux annotateurs peuvent encore diverger. Manning (2011) a examiné cent erreurs d’un étiqueteur anglais de pointe et a constaté que plus de 40 % d’entre elles étaient des cas où l’étalon de référence gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. lui-même était erroné ou incohérent, et 12 % de plus des cas comme la dernière ligne, où l’étiquette est sous-spécifiée dans le contexte ; seule une minorité aurait pu être corrigée par un meilleur étiqueteur (Figure 4figure 4).Le chiffre de 97 % d’accord entre personnes remonte à une estimation de la documentation du Penn Treebank ; quand deux annotateurs étiquetaient à partir de zéro au lieu de corriger la sortie d’un étiqueteur, ils divergeaient sur 7,2 % des mots (Manning, 2011).

Ce chiffre de 97 % est aussi l’exactitude accuracyexactitude evaluationévaluation The share of all decisions of a system that are correct, true positives and true negatives together.Part de toutes les décisions d'un système qui sont correctes, vrais positifs et vrais négatifs ensemble. qu’atteignent aujourd’hui les meilleurs étiqueteurs, quelle que soit la méthode (Jurafsky & Martin, 2026). C’est un chiffre par mot : compté par phrase, un étiqueteur qui a juste 97 % des mots n’a qu’environ 56 % des phrases entièrement justes (Manning, 2011 ; Figure 5figure 5). Jurafsky et Martin (2026) appellent 97 % le plafond humain. Un étiqueteur est évalué par rapport à des étiquettes attribuées par des personnes, et dans les cas où les consignes laissent deux réponses ouvertes, une étiquette qui diffère de l’étalon de référence n’est pas forcément fausse. L’accord entre annotateurs se lit donc mieux comme un point de comparaison pour le score d’un étiqueteur que comme une limite infranchissable (see also the Agreement between annotators page, in the Evaluating language technology module) (voir aussi la page L'accord entre annotateurs, dans le module L'évaluation des technologies langagières).

A rule-based tagger

Taggers can be written as rules. The oldest ones worked in two stages: a dictionary listing every possible tag of every word, then thousands of hand-written constraints that rule out the tags incompatible with the context (Jurafsky & Martin, 2026). The dictionary alone is tens of thousands of entries, every one of them written by a person, and the constraints have to be written again for every language. It can be done, and it was, but the cost pushed the field toward its second paradigm, machine learning machine learning (ML)apprentissage automatique machine learningapprentissage automatique An approach to artificial intelligence in which a model is trained on data or experience so that its adjustable parameters come to reflect patterns relevant to a task.Approche de l'intelligence artificielle dans laquelle un modèle est entraîné sur des données ou sur l'expérience, de sorte que ses paramètres ajustables en viennent à refléter des régularités pertinentes pour une tâche. (see also the turn to machine learning page, in the Foundations of AI & NLP module) (voir aussi la page Le virage vers l'apprentissage automatique, dans le module Fondements de l'IA et du TAL).

The most frequent tag

A tagger built by machine learning starts from a corpus corpuscorpus corporacorpus A collection of written texts, speech recordings or transcribed language assembled for analysis or use in language technology (plural: corpora).Ensemble de textes écrits, d'enregistrements de parole ou de langue transcrite réuni pour l'analyse ou pour les technologies langagières. that people have already tagged, and the simplest thing to count in it is how often each word appears under each tag. Book is a noun more often than it is a verb, so a tagger that labels every occurrence of book as a noun will be right most of the time (Figure 6figure 6). This tagger asks the question that comes to mind first: of all the occurrences of book, what share are nouns? A tagger built on that one count for every word, the most frequent tag, is right for about 92 % of the words of an English text, against 97 % for the best taggers and for people (Jurafsky & Martin, 2026; Figure 7figure 7). The gap between a method that ignores the context entirely and the best taggers is five points. That is why a score is read against this kind of simple method before it is called good (see also the Baselines page, in the Evaluating language technology module) (voir aussi la page Les étalons, dans le module L'évaluation des technologies langagières).

Looking at the previous word

So the challenge is to get from 92 % as close as possible to 97 %. The errors that remain with the naive approach, always using a word’s most frequent tag, mostly come from ambiguous words with more than one possible tag, such as book, which can be a verb or a noun (Figure 6figure 6). To disambiguate such a word, a tagger looks at its context, and a first step is to look not only at the word that needs a tag, but also at the word before it. A bigram is a sequence of two consecutive words, or here of two consecutive tags, and a bigram tagger adds a second count to the first: how often each tag follows the tag of the previous word (Jurafsky & Martin, 2026). The bigram is one case of a general notion, the n-gram, a sequence of n consecutive items: a trigram tagger, for instance, looks at the tags of the two previous words.

The tagger answers the two questions of Figure 8figure 8 with two probabilities, both counted in the tagged corpus, and gives the word the tag for which the two together score highest.

Reading a probability such as P(book | VERB)

A probability is a share: a number between 0 and 1 that says how often something happens out of a set of cases. 0 means never, 1 means always, and 0.25 means one time in four, or 25 %.

The notation P(A | B) is read “the probability of A, given B”. The bar means given, and what comes after it says which cases you count in. Figure 9figure 9 reads P(book | VERB) piece by piece, and the table below reads both probabilities a bigram tagger uses.

Both probabilities are plain shares, so you can work them out by hand.

A worked example, step by step

The phrase is travellers who book a room, and the counts come from a small corpus of eight short English sentences, tagged by hand, in which book occurs seven times in the singular (the plural books is another form), five times as a noun and twice as a verb. Figure 10figure 10 builds up with the four steps below.

Mary/PROPN loves/VERB reading/VERB books/NOUN ./PUNCT
On/ADP Monday/PROPN ,/PUNCT she/PRON found/VERB an/DET old/ADJ book/NOUN in/ADP the/DET library/NOUN ./PUNCT
The/DET book/NOUN tells/VERB the/DET story/NOUN of/ADP travellers/NOUN who/PRON book/VERB a/DET room/NOUN in/ADP an/DET old/ADJ hotel/NOUN ./PUNCT
Curious/ADJ ,/PUNCT Mary/PROPN and/CCONJ Tom/PROPN book/VERB a/DET weekend/NOUN there/ADV ./PUNCT
At/ADP the/DET end/NOUN ,/PUNCT she/PRON finds/VERB that/SCONJ the/DET book/NOUN is/AUX a/DET masterpiece/NOUN ./PUNCT
She/PRON decides/VERB to/PART recommend/VERB the/DET book/NOUN to/ADP friends/NOUN ,/PUNCT hoping/VERB that/SCONJ they/PRON will/AUX like/VERB it/PRON too/ADV ./PUNCT
The/DET next/ADJ day/NOUN ,/PUNCT Mary/PROPN starts/VERB a/DET new/ADJ book/NOUN ,/PUNCT because/SCONJ she/PRON ca/AUX n't/PART stop/VERB reading/VERB ./PUNCT
Some/DET call/VERB it/PRON an/DET obsession/NOUN ,/PUNCT but/CCONJ all/DET agree/VERB it/PRON is/AUX harmless/ADJ ./PUNCT

Step 1: the candidate tags

A tagger does not invent a tag: it compares the tags a word can have. The corpus shows two for book, NOUN and VERB, so the tagger computes one score for each, and the higher score wins (Figure 11figure 11).

Step 2: the word, given each tag

The first question counts, of the words that carry each tag, the share that are book: among the nouns first, then among the verbs, and not among the occurrences of book (Figure 12figure 12).

• 5 of the 17 nouns are book: 0.294, written P(book | NOUN);
• 2 of the 16 verbs are book: 0.125, written P(book | VERB).

On this question alone, NOUN is ahead. That is the most frequent tag again, and it is wrong here: the word on its own cannot tell this book from the noun.

Step 3: each tag, given the previous tag

The second question is what usually comes after the previous tag, which is the information the most frequent tag never used. The word before book is who, a pronoun, and the corpus has 9 words after a pronoun (Figure 13figure 13).

• none of them is a noun: 0, written P(NOUN | PRON);
• 4 of them are verbs: 0.444, written P(VERB | PRON).

Step 4: combining the two

The tagger needs one score per tag that takes both answers into account, so it multiplies them (Figure 14figure 14). A product is high only when both numbers are, and a zero in either makes the whole product zero: NOUN scores 0.294 × 0 = 0, and VERB scores 0.125 × 0.444 = 0.056.

VERB wins. The previous tag has overturned the lead NOUN had on the word alone, and the tagger labels this book a verb, although book is a noun more often than not.

A count of zero decided this case, and in a corpus of a hundred words that happens all the time: a noun can follow a pronoun in English, as in her book, where Universal Dependencies tags her as a pronoun, but the corpus contains no example of it. Real taggers correct for this by giving every count a small minimum, so that a sequence never seen in the corpus is unlikely rather than impossible (Jurafsky & Martin, 2026).

The method as a rule

For every word of a text, a bigram tagger does the same three things with counts from a tagged corpus:

1. it lists the tags the word can have;
2. for each tag, it multiplies the share of the word among the words that carry this tag, P(word | tag), by the share of this tag among the words that follow the previous tag, P(tag | previous tag);
3. it keeps the tag with the larger product.

No rule anywhere says that book after who is a verb, and the method never uses what book means: the counts alone decide.

exercise 1 "the word given the tag, for the noun"exercice 1 « le mot sachant l'étiquette, pour le nom » and the exercises after it apply the same four steps to another word, watch, in she checks her watch, then to he waits, watch in hand, where the rule gives the wrong answer.

Un étiqueteur à base de règles

On peut écrire un étiqueteur sous forme de règles. Les plus anciens fonctionnaient en deux temps : un dictionnaire qui donne toutes les étiquettes possibles de chaque mot, puis des milliers de contraintes écrites à la main qui éliminent les étiquettes incompatibles avec le contexte (Jurafsky & Martin, 2026). Le dictionnaire compte à lui seul des dizaines de milliers d’entrées, toutes rédigées par une personne, et les contraintes sont à réécrire pour chaque langue. C’est faisable, et cela a été fait, mais le coût a poussé le domaine vers son deuxième paradigme, l’apprentissage automatique machine learning (ML)apprentissage automatique machine learningapprentissage automatique An approach to artificial intelligence in which a model is trained on data or experience so that its adjustable parameters come to reflect patterns relevant to a task.Approche de l'intelligence artificielle dans laquelle un modèle est entraîné sur des données ou sur l'expérience, de sorte que ses paramètres ajustables en viennent à refléter des régularités pertinentes pour une tâche. (see also the turn to machine learning page, in the Foundations of AI & NLP module) (voir aussi la page Le virage vers l'apprentissage automatique, dans le module Fondements de l'IA et du TAL).

L’étiquette la plus fréquente

Un étiqueteur construit par apprentissage automatique part d’un corpus corpuscorpus corporacorpus A collection of written texts, speech recordings or transcribed language assembled for analysis or use in language technology (plural: corpora).Ensemble de textes écrits, d'enregistrements de parole ou de langue transcrite réuni pour l'analyse ou pour les technologies langagières. que des personnes ont déjà étiqueté, et la chose la plus simple à y compter est la fréquence de chaque mot sous chaque étiquette. Livre est plus souvent un nom qu’un verbe, donc un étiqueteur qui étiquette toutes les occurrences de livre comme des noms aura raison la plupart du temps (Figure 6figure 6). Cet étiqueteur pose la question qui vient spontanément : parmi les occurrences de livre, quelle part sont des noms ? Un étiqueteur fondé sur ce seul compte pour chaque mot, l’étiquette la plus fréquente, a raison pour environ 92 % des mots d’un texte anglais, contre 97 % pour les meilleurs étiqueteurs et pour les personnes (Jurafsky & Martin, 2026 ; Figure 7figure 7). Entre une méthode qui ignore entièrement le contexte et les meilleurs étiqueteurs, l’écart est de cinq points. C’est pourquoi un score se lit par rapport à ce genre de méthode simple avant d’être jugé bon (see also the Baselines page, in the Evaluating language technology module) (voir aussi la page Les étalons, dans le module L'évaluation des technologies langagières).

Regarder le mot précédent

Le défi est donc de passer de 92 % au plus près de 97 %. Les erreurs qui restent avec l’approche naïve, toujours prendre l’étiquette la plus fréquente d’un mot, viennent surtout des mots ambigus qui ont plus d’une étiquette possible, comme livre, qui peut être un verbe ou un nom (Figure 6figure 6). Pour lever l’ambiguïté d’un tel mot, un étiqueteur regarde son contexte, et une première étape consiste à regarder non seulement le mot à étiqueter, mais aussi le mot qui le précède. Un bigramme est une suite de deux mots consécutifs, ou ici de deux étiquettes consécutives, et un étiqueteur bigramme ajoute un second compte au premier : la fréquence de chaque étiquette après l’étiquette du mot précédent (Jurafsky & Martin, 2026). Le bigramme est un cas d’une notion générale, le n-gramme, une suite de n éléments consécutifs : un étiqueteur trigramme, par exemple, regarde les étiquettes des deux mots précédents.

L’étiqueteur répond aux deux questions de Figure 8figure 8 par deux probabilités, toutes deux comptées dans le corpus étiqueté, et donne au mot l’étiquette pour laquelle les deux ensemble obtiennent le meilleur score.

Lire une probabilité comme P(livre | VERB)

Une probabilité est une proportion : un nombre entre 0 et 1 qui dit combien de fois quelque chose se produit dans un ensemble de cas. 0 veut dire jamais, 1 toujours, et 0,25 une fois sur quatre, soit 25 %.

La notation P(A | B) se lit « la probabilité de A sachant B ». La barre veut dire sachant, et ce qui la suit dit parmi quels cas on compte. La Figure 9figure 9 lit P(livre | VERB) morceau par morceau, et le tableau ci-dessous lit les deux probabilités qu’utilise un étiqueteur bigramme.

Les deux probabilités sont de simples proportions, et vous pouvez les calculer à la main.

Un exemple détaillé, étape par étape

Le segment est un auteur qui livre ses pensées, et les comptes viennent d’un petit corpus de huit courtes phrases françaises, étiquetées à la main, où livre apparaît sept fois au singulier (le pluriel livres est une autre forme), cinq fois comme nom et deux fois comme verbe. La Figure 10figure 10 se construit au fil des quatre étapes ci-dessous.

Marie/PROPN adore/VERB lire/VERB des/DET livres/NOUN ./PUNCT
Hier/ADV ,/PUNCT elle/PRON a/AUX trouvé/VERB un/DET livre/NOUN ancien/ADJ dans/ADP la/DET bibliothèque/NOUN ./PUNCT
Ce/DET livre/NOUN raconte/VERB l'/DET histoire/NOUN d'/ADP un/DET auteur/NOUN qui/PRON livre/VERB ses/DET pensées/NOUN avec/ADP passion/NOUN ./PUNCT
Intriguée/ADJ ,/PUNCT Marie/PROPN se/PRON livre/VERB alors/ADV à/ADP une/DET lecture/NOUN attentive/ADJ ./PUNCT
À/ADP la/DET fin/NOUN ,/PUNCT elle/PRON trouve/VERB que/SCONJ ce/DET livre/NOUN est/AUX un/DET chef-d'œuvre/NOUN ./PUNCT
Elle/PRON décide/VERB de/ADP recommander/VERB ce/DET livre/NOUN à/ADP ses/DET amis/NOUN ,/PUNCT espérant/VERB qu'/SCONJ ils/PRON l'/PRON apprécieront/VERB autant/ADV que/SCONJ elle/PRON ./PUNCT
Le/DET lendemain/NOUN ,/PUNCT Marie/PROPN commence/VERB un/DET nouveau/ADJ livre/NOUN ,/PUNCT car/CCONJ elle/PRON ne/ADV peut/VERB pas/ADV s'/PRON arrêter/VERB de/ADP lire/VERB ./PUNCT
Ce/PRON peut/VERB surprendre/VERB certains/PRON ,/PUNCT mais/CCONJ ce/PRON est/AUX vrai/ADJ ./PUNCT

Étape 1 : les étiquettes candidates

Un étiqueteur n’invente pas d’étiquette : il compare les étiquettes qu’un mot peut avoir. Le corpus en montre deux pour livre, NOUN et VERB, donc l’étiqueteur calcule un score pour chacune, et le plus haut l’emporte (Figure 11figure 11).

Étape 2 : le mot, sachant chaque étiquette

La première question compte, parmi les mots qui portent chaque étiquette, la part qui sont livre : parmi les noms d’abord, puis parmi les verbes, et non parmi les occurrences de livre (Figure 12figure 12).

• 5 des 16 noms sont livre : 0,313, qui s’écrit P(livre | NOUN) ;
• 2 des 17 verbes sont livre : 0,118, qui s’écrit P(livre | VERB).

Sur cette seule question, NOUN est en tête. C’est encore l’étiquette la plus fréquente, et elle est fausse ici : le mot seul ne permet pas de distinguer ce livre du nom.

Étape 3 : chaque étiquette, sachant l’étiquette précédente

La seconde question porte sur ce qui vient d’habitude après l’étiquette précédente, l’information que l’étiquette la plus fréquente n’utilisait jamais. Le mot avant livre est qui, un pronom, et le corpus compte 13 mots après un pronom (Figure 13figure 13).

• aucun n’est un nom : 0, qui s’écrit P(NOUN | PRON) ;
• 7 sont des verbes : 0,538, qui s’écrit P(VERB | PRON).

Étape 4 : combiner les deux

L’étiqueteur a besoin d’un score par étiquette qui tienne compte des deux réponses, et il les multiplie (Figure 14figure 14). Un produit n’est élevé que si les deux nombres le sont, et un zéro dans l’un des deux annule le produit entier : NOUN obtient 0,313 × 0 = 0, et VERB 0,118 × 0,538 = 0,063.

VERB l’emporte. L’étiquette précédente a renversé l’avance que NOUN avait sur le mot seul, et l’étiqueteur étiquette ce livre comme un verbe, alors que livre est le plus souvent un nom.

Un compte nul a décidé ce cas, et dans un corpus d’une centaine de mots, cela arrive tout le temps : une séquence absente du corpus devient impossible, alors qu’elle n’est que rare. Les vrais étiqueteurs corrigent ce problème en donnant à chaque compte un petit minimum, de sorte qu’une séquence jamais vue dans le corpus soit improbable plutôt qu’impossible (Jurafsky & Martin, 2026).

La méthode comme règle

Pour chaque mot d’un texte, un étiqueteur bigramme fait les trois mêmes choses avec des comptes tirés d’un corpus étiqueté :

1. il fait la liste des étiquettes que le mot peut avoir ;
2. pour chaque étiquette, il multiplie la part du mot parmi les mots qui portent cette étiquette, P(mot | étiquette), par la part de cette étiquette parmi les mots qui suivent l’étiquette précédente, P(étiquette | étiquette précédente) ;
3. il garde l’étiquette dont le produit est le plus grand.

Aucune règle ne dit nulle part que livre après qui est un verbe, et la méthode n’utilise jamais ce que livre veut dire : seuls les comptes décident.

L’exercise 1 "the word given the tag, for the noun"exercice 1 « le mot sachant l'étiquette, pour le nom » et les exercices qui le suivent appliquent les quatre mêmes étapes à un autre mot, montre, dans un bracelet de montre, puis à il attend, montre en main, où la règle donne la mauvaise réponse.

The corpus

The exercises below apply the four steps of the worked example to another word, watch, which can be a noun (an old watch) or a verb (the children watch the birds) (see also the Tagging with probabilities from an annotated corpus page, in the Classical NLP module) (voir aussi la page Étiqueter avec des probabilités tirées d'un corpus annoté, dans le module TAL classique). Most of them are about the sentence She/PRON checks/VERB her/PRON watch/?. The counts come from the small tagged corpus below, in which each word is followed by its tag from the Universal Dependencies tagset tagsetjeu d'étiquettes NLPTAL The set of labels available to a part-of-speech tagger or to an annotation task, from which exactly one is given to each word.Ensemble des étiquettes dont dispose un étiqueteur morphosyntaxique ou une tâche d'annotation, et dont exactement une est attribuée à chaque mot. : NOUN for a noun, VERB for a verb, DET for a determiner, PRON for a pronoun, PUNCT for punctuation, and so on. Universal Dependencies tags possessives such as her and his as pronouns. The corpus has been tokenized the way a tagger’s training data usually is, so can’t appears as ca n’t.

Lea/PROPN wears/VERB an/DET old/ADJ watch/NOUN on/ADP her/PRON wrist/NOUN ./PUNCT
Her/PRON grandfather/NOUN shows/VERB her/PRON how/ADV to/PART wind/VERB it/PRON ./PUNCT
Every/DET morning/NOUN ,/PUNCT the/DET children/NOUN watch/VERB the/DET birds/NOUN in/ADP their/PRON garden/NOUN ./PUNCT
A/DET guide/NOUN takes/VERB visitors/NOUN to/ADP a/DET workshop/NOUN where/ADV craftsmen/NOUN repair/VERB clocks/NOUN for/ADP them/PRON ./PUNCT
He/PRON explains/VERB ,/PUNCT pointing/VERB at/ADP the/DET parts/NOUN ,/PUNCT that/SCONJ a/DET watch/NOUN needs/VERB patience/NOUN ./PUNCT
Visitors/NOUN watch/VERB as/SCONJ his/PRON apprentices/NOUN work/VERB in/ADP silence/NOUN ./PUNCT
On/ADP the/DET last/ADJ day/NOUN ,/PUNCT Lea/PROPN and/CCONJ Tom/PROPN watch/VERB a/DET demonstration/NOUN ./PUNCT
They/PRON ca/AUX n't/PART believe/VERB how/ADV small/ADJ the/DET parts/NOUN are/AUX ./PUNCT

To answer, count in the corpus: all the nouns and all the verbs, those that are the form watch, and what follows each pronoun and each punctuation mark. Each line is one sentence, and you count what follows a word inside its sentence: the final full stop is followed by nothing. The probabilities are shares, so write them as decimals or as percentages, rounded to two decimals.

Exercises

Le corpus

Les exercices ci-dessous appliquent les quatre étapes de l’exemple détaillé à un autre mot, montre, qui peut être un nom (une montre en or) ou un verbe (il lui montre le chemin) (see also the Tagging with probabilities from an annotated corpus page, in the Classical NLP module) (voir aussi la page Étiqueter avec des probabilités tirées d'un corpus annoté, dans le module TAL classique). La plupart portent sur la phrase Elle/PRON cherche/VERB un/DET bracelet/NOUN de/ADP montre/?. Les comptes viennent du petit corpus étiqueté ci-dessous, où chaque mot est suivi de son étiquette dans le jeu d’étiquettes tagsetjeu d'étiquettes NLPTAL The set of labels available to a part-of-speech tagger or to an annotation task, from which exactly one is given to each word.Ensemble des étiquettes dont dispose un étiqueteur morphosyntaxique ou une tâche d'annotation, et dont exactement une est attribuée à chaque mot. d’Universal Dependencies : NOUN pour un nom, VERB pour un verbe, DET pour un déterminant, ADP pour une préposition, PUNCT pour une ponctuation, et ainsi de suite. Le corpus a été normalisé comme le sont d’habitude les données d’entraînement d’un étiqueteur, si bien que au y apparaît sous la forme à le et c’est sous la forme ce est.

Léa/PROPN porte/VERB une/DET montre/NOUN en/ADP or/NOUN à/ADP le/DET poignet/NOUN ./PUNCT
Son/DET grand-père/NOUN lui/PRON montre/VERB comment/ADV la/PRON remonter/VERB ./PUNCT
Chaque/DET matin/NOUN ,/PUNCT les/DET enfants/NOUN observent/VERB les/DET oiseaux/NOUN avec/ADP attention/NOUN ./PUNCT
Un/DET guide/NOUN montre/VERB à/ADP les/DET visiteurs/NOUN un/DET atelier/NOUN d'/ADP horlogerie/NOUN ./PUNCT
Il/PRON explique/VERB ,/PUNCT montrant/VERB les/DET pièces/NOUN ,/PUNCT qu'/SCONJ une/DET montre/NOUN demande/VERB de/ADP la/DET patience/NOUN ./PUNCT
Les/DET apprentis/NOUN travaillent/VERB en/ADP silence/NOUN ,/PUNCT sous/ADP le/DET regard/NOUN de/ADP les/DET visiteurs/NOUN ./PUNCT
Le/DET dernier/ADJ jour/NOUN ,/PUNCT Léa/PROPN montre/VERB fièrement/ADV son/DET travail/NOUN ./PUNCT
Elle/PRON trouve/VERB cela/PRON difficile/ADJ à/ADP croire/VERB ,/PUNCT mais/CCONJ ce/PRON est/AUX vrai/ADJ ./PUNCT

Pour répondre, comptez dans le corpus : tous les noms et tous les verbes, ceux qui sont la forme montre, et ce qui suit chaque préposition et chaque ponctuation. Chaque ligne est une phrase, et on compte ce qui suit un mot à l’intérieur de sa phrase : le point final n’est suivi de rien. Les probabilités sont des proportions : écrivez-les en décimales ou en pourcentages, arrondies à deux décimales.

Exercices

Unknown words

The bigram tagger has three weaknesses, and the first shows as soon as it tags a text other than its corpus. A word that never occurred in the training corpus training corpusbase d'apprentissage datadonnées A collection of text or other language data used to estimate or update a model's parameters during training or pretraining.Collection de textes ou d'autres données langagières servant à estimer ou à mettre à jour les paramètres d'un modèle pendant l'entraînement ou le préentraînement. has no counts, so P(word | tag) is zero for every tag and the first half of the product says nothing. Every real text contains such words, since new nouns, names and verbs appear all the time, and languages with rich morphology have far more word forms, and so far more unknown words (Jurafsky & Martin, 2026). Three strategies help (Figure 15figure 15):

• rely on the second half of the product alone, the tag that usually follows the previous tag;
• assume the unknown word belongs to an open class, since the closed classes, determiners, pronouns and prepositions, are all already in the corpus;
• look at the shape of the word: a capital letter suggests a proper noun, a word ending in -ly is usually an adverb, one ending in -ed a verb.

The third strategy adds information of a new kind: not a count of the word, which does not exist, but a measurable property of its form.

Errors that spread

The second weakness is built into the method as the worked example applies it, from left to right. Each tag is chosen partly from the tag before it, so a wrong tag changes the odds for the next word, and one error can produce a run of them. Suppose a tagger takes time in time flies like an arrow for a verb, as in time the runners. A noun is then a likely tag for flies, and after a noun a verb is a likely tag for like: one wrong tag has become three (Figure 16figure 16). A tagger that chooses the tags for the whole sentence at once can still revise time in the light of the words after it; one that works strictly from left to right cannot.

A context of one word

The third weakness is the size of the window: one word back is very little context, and the information that settles a tag is often further away (Jurafsky & Martin, 2026). A tagset tagsetjeu d'étiquettes NLPTAL The set of labels available to a part-of-speech tagger or to an annotation task, from which exactly one is given to each word.Ensemble des étiquettes dont dispose un étiqueteur morphosyntaxique ou une tâche d'annotation, et dont exactement une est attribuée à chaque mot. such as the Penn Treebank’s records number in the tag, and the tag of sheep in the sheep that the farmer bought last week are hungry is plural (NNS) because of are, seven words later; no bigram can reach it (Figure 17figure 17).

Les mots inconnus

L’étiqueteur bigramme a trois faiblesses, et la première apparaît dès qu’il étiquette un autre texte que son corpus. Un mot absent de la base d’apprentissage training corpusbase d'apprentissage datadonnées A collection of text or other language data used to estimate or update a model's parameters during training or pretraining.Collection de textes ou d'autres données langagières servant à estimer ou à mettre à jour les paramètres d'un modèle pendant l'entraînement ou le préentraînement. n’a aucun compte, donc P(mot | étiquette) vaut zéro pour toutes les étiquettes, et la première moitié du produit ne dit rien. Tout texte réel contient de tels mots, puisque de nouveaux noms, noms propres et verbes apparaissent sans cesse, et les langues à morphologie riche ont beaucoup plus de formes de mots, donc beaucoup plus de mots inconnus (Jurafsky & Martin, 2026). Trois stratégies aident (Figure 15figure 15) :

• se fier à la seconde moitié du produit seule, l’étiquette qui suit d’habitude l’étiquette précédente ;
• supposer que le mot inconnu appartient à une classe ouverte, puisque les classes fermées, déterminants, pronoms et prépositions, sont toutes déjà dans le corpus ;
• regarder la forme du mot : une majuscule suggère un nom propre, un mot en -ment est d’habitude un adverbe, un mot en -ait un verbe.

La troisième stratégie apporte une information d’un nouveau genre : non pas un compte du mot, qui n’existe pas, mais une propriété mesurable de sa forme.

Les erreurs qui se propagent

La deuxième faiblesse tient à la méthode telle que l’exemple détaillé l’applique, de gauche à droite. Chaque étiquette est choisie en partie d’après l’étiquette précédente, donc une étiquette fausse change les chances du mot suivant, et une erreur peut en entraîner une série. Supposons qu’un étiqueteur prenne le dans elle le livre demain pour un déterminant, comme dans le livre est long. Après un déterminant, un nom est l’étiquette la plus probable pour livre : une étiquette fausse en a entraîné une deuxième (Figure 16figure 16). Un étiqueteur qui choisit les étiquettes de toute la phrase à la fois peut encore réviser le à la lumière des mots qui suivent ; un étiqueteur qui travaille strictement de gauche à droite ne le peut pas.

Un contexte d’un seul mot

La troisième faiblesse est la taille de la fenêtre : un mot en arrière, c’est très peu de contexte, et l’information qui fixe une étiquette se trouve souvent plus loin (Jurafsky & Martin, 2026). Avec un jeu d’étiquettes tagsetjeu d'étiquettes NLPTAL The set of labels available to a part-of-speech tagger or to an annotation task, from which exactly one is given to each word.Ensemble des étiquettes dont dispose un étiqueteur morphosyntaxique ou une tâche d'annotation, et dont exactement une est attribuée à chaque mot. qui consigne le genre et le nombre dans l’étiquette, comme MULTITAG, l’étiquette de cueillies dans les fleurs que Marie a cueillies est féminin pluriel à cause de fleurs, quatre mots plus tôt ; aucun bigramme ne peut l’atteindre (Figure 17figure 17).

From counts to features

The ending and the capital letter that help with an unknown word help with every word, and so do the word before, the word after, the tag before and the length of the word. A feature-based tagger combines many such clues, each a feature featureattribut machine learningapprentissage automatique A property or representation of an observation that a machine-learning model uses as input when making a prediction.Propriété ou représentation d'une observation qu'un modèle d'apprentissage automatique utilise en entrée pour produire une prédiction. a person chose to measure, and learns from the tagged corpus how much each one counts (Figure 18figure 18).

This is machine learning machine learning (ML)apprentissage automatique machine learningapprentissage automatique An approach to artificial intelligence in which a model is trained on data or experience so that its adjustable parameters come to reflect patterns relevant to a task.Approche de l'intelligence artificielle dans laquelle un modèle est entraîné sur des données ou sur l'expérience, de sorte que ses paramètres ajustables en viennent à refléter des régularités pertinentes pour une tâche. with people still choosing what to measure (see also the Features for language page, in the Foundations of AI & NLP module) (voir aussi la page Les attributs pour la langue, dans le module Fondements de l'IA et du TAL). Its limit is that someone has to think of every clue.

Tagging today

Neural taggers, trained on the same tagged corpora, find their own clues in the words and their context (see also the How a network learns page, in the Foundations of AI & NLP module) (voir aussi la page Comment un réseau apprend, dans le module Fondements de l'IA et du TAL) (Figure 19figure 19).

Where that leaves the task (Jurafsky & Martin, 2026):

• The scores: about 97 % on English and on fifteen Universal Dependencies languages, whatever the method, which is also the level of human agreement. Many of the remaining errors are in the gold standard gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. itself (Manning, 2011) (see also the Ambiguous word classes page, in the Classical NLP module) (voir aussi la page L'ambiguïté des classes de mots, dans le module TAL classique).
• The tools: trained taggers run inside the standard text-analysis toolkits. A large language model large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. will also tag a sentence given a prompt promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. : in one test on 6 October 2026, Gemini 3 Pro tagged three test sentences correctly, a classic garden-path sentence among them (Figure 20figure 20). For whole corpora, a trained tagger is still faster, cheaper and more predictable.
• What still costs: unknown words, rich morphology, and texts unlike the training texts, such as tweets for a tagger trained on newspapers (Manning, 2011).

Where you see tagging

You will rarely run a tagger yourself, but you will see its output wherever a tool uses grammatical classes, for instance:

• the word sketches and the searches by class of a concordancer (see also the Corpus analysis module) (voir aussi le module L'analyse de corpus);
• the lemmas lemmalemme linguisticslinguistique The base or dictionary form under which the inflected forms of a word are grouped: go, goes, went and gone share the lemma go.Forme de base, ou forme de dictionnaire, sous laquelle sont regroupées les formes fléchies d'un mot : va, allons, allait et allé partagent le lemme aller. many tools assign, since a lemmatizer often needs the tag to choose between two lemmas (see also the Lemmatization and stemming page, in the Classical NLP module) (voir aussi la page Lemmatisation et racinisation, dans le module TAL classique);
• the grammar checks of a word processor.

Because every occurrence in its corpus is tagged, Sketch Engine treats book as a noun and book as a verb as two different words, with sketches that share almost nothing (Figure 21figure 21). The counts show the most frequent tag at work on a real corpus: the noun is about fifteen times as frequent as the verb.

When such a tool makes an odd mistake, a tag wrongly assigned to an ambiguous word is often the reason.

Des comptes aux attributs

La terminaison et la majuscule qui aident pour un mot inconnu aident pour tous les mots, tout comme le mot précédent, le mot suivant, l’étiquette précédente et la longueur du mot. Un étiqueteur fondé sur des attributs combine de nombreux indices de ce genre, chacun étant un attribut featureattribut machine learningapprentissage automatique A property or representation of an observation that a machine-learning model uses as input when making a prediction.Propriété ou représentation d'une observation qu'un modèle d'apprentissage automatique utilise en entrée pour produire une prédiction. qu’une personne a choisi de mesurer, et apprend du corpus étiqueté le poids de chacun (Figure 18figure 18).

C’est de l’apprentissage automatique machine learning (ML)apprentissage automatique machine learningapprentissage automatique An approach to artificial intelligence in which a model is trained on data or experience so that its adjustable parameters come to reflect patterns relevant to a task.Approche de l'intelligence artificielle dans laquelle un modèle est entraîné sur des données ou sur l'expérience, de sorte que ses paramètres ajustables en viennent à refléter des régularités pertinentes pour une tâche. où des personnes choisissent encore ce qu’il faut mesurer (see also the Features for language page, in the Foundations of AI & NLP module) (voir aussi la page Les attributs pour la langue, dans le module Fondements de l'IA et du TAL). Sa limite est que quelqu’un doit penser à chaque indice.

L’étiquetage aujourd’hui

Les étiqueteurs neuronaux, entraînés sur les mêmes corpus étiquetés, trouvent leurs propres indices dans les mots et leur contexte (see also the How a network learns page, in the Foundations of AI & NLP module) (voir aussi la page Comment un réseau apprend, dans le module Fondements de l'IA et du TAL) (Figure 19figure 19).

Où en est la tâche (Jurafsky & Martin, 2026) :

• Les scores : environ 97 % en anglais et dans quinze langues d’Universal Dependencies, quelle que soit la méthode, ce qui est aussi le niveau de l’accord humain. Bien des erreurs restantes se trouvent dans l’étalon de référence gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. lui-même (Manning, 2011) (see also the Ambiguous word classes page, in the Classical NLP module) (voir aussi la page L'ambiguïté des classes de mots, dans le module TAL classique).
• Les outils : des étiqueteurs entraînés sont intégrés aux boîtes à outils courantes d’analyse de texte. Un grand modèle de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. (GML) étiquette aussi une phrase à partir d’une requête promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie.  : lors d’un test le 6 octobre 2026, Gemini 3 Pro a correctement étiqueté trois phrases anglaises, dont une phrase qui égare d’abord le lecteur (angl. garden-path sentence) (Figure 20figure 20). Pour des corpus entiers, un étiqueteur entraîné reste plus rapide, moins coûteux et plus prévisible.
• Ce qui fait encore baisser les scores : les mots inconnus, la morphologie riche, et les textes différents des textes d’entraînement, comme des tweets pour un étiqueteur entraîné sur des journaux (Manning, 2011).

Où vous voyez l’étiquetage

Vous lancerez rarement un étiqueteur vous-même, mais vous verrez ses résultats partout où un outil se sert des classes grammaticales, par exemple :

• les Word Sketches et les recherches par classe d’un concordancier (see also the Corpus analysis module) (voir aussi le module L'analyse de corpus) ;
• les lemmes lemmalemme linguisticslinguistique The base or dictionary form under which the inflected forms of a word are grouped: go, goes, went and gone share the lemma go.Forme de base, ou forme de dictionnaire, sous laquelle sont regroupées les formes fléchies d'un mot : va, allons, allait et allé partagent le lemme aller. que de nombreux outils attribuent, puisqu’un lemmatiseur a souvent besoin de l’étiquette pour choisir entre deux lemmes (see also the Lemmatization and stemming page, in the Classical NLP module) (voir aussi la page Lemmatisation et racinisation, dans le module TAL classique) ;
• les vérifications grammaticales d’un traitement de texte.

Comme chaque occurrence de son corpus est étiquetée, Sketch Engine traite le nom book et le verbe book comme deux mots différents, avec des Word Sketches qui n’ont presque rien en commun, ici dans un corpus anglais (Figure 21figure 21). Les comptes montrent l’étiquette la plus fréquente à l’œuvre sur un vrai corpus : le nom est environ quinze fois plus fréquent que le verbe.

Quand un tel outil fait une erreur étrange, une étiquette mal attribuée à un mot ambigu en est souvent la cause.

Fewer types for the same text

Once a text is cut into tokens, many of its types are the same word in different clothes: Le and le, colour and color, livre and livres, ” and «. For many purposes these should count as one. Making them one is normalization.

The point is to reduce the number of types while keeping what the task needs. A frequency list that keeps Le and le apart splits the count of one of the most frequent words in two. A search for chien that does not find chiens misses every plural. A comparison of two lists of terms in which one list is in lowercase and the other is not finds no matches at all.

Normalizing and filtering

Normalization is one of two ways to reduce the number of types, and the two are easy to confuse because both leave a shorter list. The table below sets out how they differ: in what happens to the occurrences.

Information retrieval treats them as two separate steps (Manning et al., 2008, §2.2.2–2.2.3). A count should say which of the two was applied: after normalizing, the text is still all there; after filtering, part of it is gone.

A filter many tools offer is a list of stop words, the words that occur in every text and tell you little about its subject.

Dropping them is useful when the subject is what you are after and useless when the grammar is.

An example on a Dutch corpus

The effect on a corpus corpuscorpus corporacorpus A collection of written texts, speech recordings or transcribed language assembled for analysis or use in language technology (plural: corpora).Ensemble de textes écrits, d'enregistrements de parole ou de langue transcrite réuni pour l'analyse ou pour les technologies langagières. is large, and Figure 1figure 1 shows one normalization followed by two filters on a web corpus of Dutch of 6.8 billion tokens.

• Putting everything in lowercase normalizes. It removes almost four million types and leaves the number of tokens exactly as it was: every occurrence is still there, written in fewer ways.
• Keeping only the types that start with a letter filters. It removes two million more types and almost a billion tokens, because punctuation marks, numbers and symbols are few types but occur everywhere.
• Keeping only the types that occur at least five times filters too. It removes 18.7 million types but only about 30 million tokens, under 1 % of the corpus, since each of those types occurs at most four times.

Four million types remain of the original twenty-nine.The token and word counts are Sketch Engine’s own statistics for nlTenTen20, a crawl of the Dutch web from 2020 (6 836 979 371 tokens, 5 890 009 964 words); the type counts come from my word lists on that corpus, with each filter added in turn. The 5.89 billion tokens left after the second filter are the corpus’s word count, since Sketch Engine counts as a word every token that starts with a letter (Sketch Engine glossary, “word”, read 6 October 2026).

The usual normalizations

The table below lists normalizations that tools commonly offer, with what each one changes and what it can cost.

Expanding contractions

Expanding contractions is the one normalization in the table that adds tokens, since one written word becomes two.

• In English, don’t becomes do not, I’m becomes I am and won’t becomes will not.
• In French, du becomes de le, au becomes à le and aux becomes à les; c’est, which a tokenizer usually cuts into c’ and est, becomes ce est.

It is still a normalization, because nothing is removed: the number of types falls while the number of tokens rises, as Figure 2figure 2 shows. After it, don’t and do not are the same form, and the negation in don’t, won’t or isn’t is counted with every other not. In French, the types du, au and aux disappear: the preposition in them is counted under de or à, and the article under le or les. Some expansions need a decision first: it’s is it is in it’s raining and it has in it’s been raining.

The line between this and tokenization is not sharp. Cutting doesn’t into does and n’t only cuts what is written, which is tokenization; writing n’t as not, or du as de le, changes the letters, which is normalization. Many tools do both in one step, and the list of tokenization rules built for French in the tokenization chapter ends with one that turns au, du and des into two words (see also the Tokenizing a text with rules page, in the Classical NLP module) (voir aussi la page Segmenter un texte avec des règles, dans le module TAL classique).

The forms an expansion produces are not always real words: ce est and de le are not French. They are there so that a tagger can label the pronoun and the verb, or the preposition and the article, separately. The annotated corpus of the part-of-speech tagging chapter shows the tokenization side of the same choice: it cuts can’t into ca and n’t, the form English tagsets expect, and ca is not an English word either (see also the Practice: tagging watch with probabilities page, in the Classical NLP module) (voir aussi la page Exercices : étiqueter montre avec des probabilités, dans le module TAL classique).

Choosing what to normalize and filter

Every normalization and every filter loses something, and the loss is only acceptable if the task does not need what was lost. Lowercasing is right for a frequency list and wrong for finding proper names. Removing accents is right for a rough search and wrong for French, where a and à are two words. Dropping stop words is right for finding the topic of a text and wrong for tagging its grammar. So both are chosen per task, and the choice should be stated, because a count or a score made after one set of normalizations and filters is not comparable to a count made after another.

Moins de types pour le même texte

Une fois un texte découpé en occurrences, beaucoup de ses types sont le même mot sous des habits différents : Le et le, colour et color, livre et livres, ” et «. Pour bien des usages, ils devraient compter pour un. Les ramener à une seule forme, c’est la normalisation.

Le but est de réduire le nombre de types tout en gardant ce dont la tâche a besoin. Une liste de fréquences qui sépare Le et le coupe en deux le décompte de l’un des mots les plus fréquents. Une recherche de chien qui ne trouve pas chiens manque tous les pluriels. Une comparaison de deux listes de termes, l’une en minuscules et l’autre non, ne trouve aucune correspondance.

Normaliser et filtrer

La normalisation est l’une des deux façons de réduire le nombre de types, et on confond facilement les deux, puisque l’une comme l’autre donne une liste plus courte. Le tableau ci-dessous montre en quoi elles diffèrent : dans ce qu’il advient des occurrences.

La recherche d’information en fait deux étapes distinctes (Manning et al., 2008, §2.2.2–2.2.3). Un décompte devrait préciser laquelle des deux a été appliquée : après une normalisation, le texte est encore là en entier ; après un filtrage, une partie a disparu.

Un filtre que proposent beaucoup d’outils est une liste de mots vides, les mots qui apparaissent dans tous les textes et en disent peu sur leur sujet.

Les supprimer est utile quand on s’intéresse au sujet d’un texte, et inutile quand on s’intéresse à sa grammaire.

Un exemple sur un corpus néerlandais

L’effet sur un corpus corpuscorpus corporacorpus A collection of written texts, speech recordings or transcribed language assembled for analysis or use in language technology (plural: corpora).Ensemble de textes écrits, d'enregistrements de parole ou de langue transcrite réuni pour l'analyse ou pour les technologies langagières. est important, et la Figure 1figure 1 montre une normalisation suivie de deux filtres sur un corpus du Web néerlandais de 6,8 milliards d’occurrences.

• La mise en minuscules normalise. Elle supprime près de quatre millions de types et laisse le nombre d’occurrences exactement tel quel : chaque occurrence est toujours là, écrite de moins de façons.
• Ne garder que les types qui commencent par une lettre est un filtre. Il supprime deux millions de types de plus et près d’un milliard d’occurrences, parce que les signes de ponctuation, les nombres et les symboles sont peu nombreux comme types, mais apparaissent partout.
• Ne garder que les types qui apparaissent au moins cinq fois est aussi un filtre. Il supprime 18,7 millions de types, mais seulement 30 millions d’occurrences environ, moins de 1 % du corpus, puisque chacun de ces types apparaît au plus quatre fois.

Il reste quatre millions de types sur les vingt-neuf du départ.Les nombres d’occurrences et de mots sont les statistiques de Sketch Engine pour nlTenTen20, une collecte du Web néerlandais de 2020 (6 836 979 371 occurrences, 5 890 009 964 mots) ; les nombres de types viennent de mes listes de mots sur ce corpus, en ajoutant chaque filtre l’un après l’autre. Les 5,89 milliards d’occurrences qui restent après le deuxième filtre correspondent au nombre de mots du corpus, puisque Sketch Engine compte comme mot toute occurrence qui commence par une lettre (glossaire de Sketch Engine, « word », consulté le 6 octobre 2026).

Les normalisations courantes

Le tableau ci-dessous présente des normalisations que les outils proposent souvent, avec ce que chacune change et ce qu’elle peut coûter.

Décomposer les contractions

La décomposition des contractions est la seule normalisation du tableau qui ajoute des occurrences, puisqu’un mot écrit en devient deux.

• En anglais, don’t devient do not, I’m devient I am et won’t devient will not.
• En français, du devient de le, au devient à le et aux devient à les ; c’est, qu’un segmenteur coupe d’ordinaire en c’ et est, devient ce est.

C’est tout de même une normalisation, puisque rien n’est supprimé : le nombre de types baisse pendant que le nombre d’occurrences augmente, comme le montre la Figure 2figure 2. Après la décomposition, don’t et do not sont la même forme, et la négation de don’t, won’t ou isn’t est comptée avec tous les autres not. En français, les types du, au et aux disparaissent : leur préposition est comptée sous de ou à, et leur article sous le ou les. Certaines décompositions demandent d’abord de trancher : it’s vaut it is dans it’s raining et it has dans it’s been raining.

La frontière avec la segmentation en unités lexicales n’est pas nette. Couper doesn’t en does et n’t ne fait que couper ce qui est écrit, c’est de la segmentation ; écrire n’t sous la forme not, ou du sous la forme de le, change les lettres, c’est de la normalisation. Beaucoup d’outils font les deux en une seule étape, et la liste de règles de segmentation construite pour le français dans le chapitre sur la segmentation se termine par une règle qui transforme au, du et des en deux mots (see also the Tokenizing a text with rules page, in the Classical NLP module) (voir aussi la page Segmenter un texte avec des règles, dans le module TAL classique).

Les formes qu’une décomposition produit ne sont pas toujours de vrais mots : ce est et de le ne sont pas du français. Elles servent à ce qu’un étiqueteur puisse étiqueter séparément le pronom et le verbe, ou la préposition et l’article. Le corpus annoté du chapitre sur l’étiquetage morphosyntaxique a été normalisé de cette façon, c’est pourquoi il contient la phrase mais ce est vrai (see also the Practice: tagging watch with probabilities page, in the Classical NLP module) (voir aussi la page Exercices : étiqueter montre avec des probabilités, dans le module TAL classique).

Choisir ce qu’on normalise et ce qu’on filtre

Toute normalisation et tout filtrage font perdre quelque chose, et la perte n’est acceptable que si la tâche n’a pas besoin de ce qui a été perdu. La mise en minuscules convient à une liste de fréquences, mais pas à la recherche de noms propres. La suppression des accents convient à une recherche approximative, mais pas au français, où a et à sont deux mots. La suppression des mots vides convient pour trouver le sujet d’un texte, mais pas pour en étiqueter la grammaire. On les choisit donc selon la tâche, et ce choix devrait être indiqué, parce qu’un décompte ou un score obtenu après un ensemble de normalisations et de filtres n’est pas comparable à un décompte obtenu après un autre.

Lemmas and stems

Two normalizations normalizationnormalisation NLPTAL The processing that reduces the variation in a text that is irrelevant to a task, for instance by putting every word in lowercase, removing accents, unifying quotation marks or grouping the forms of a word, so that fewer distinct forms remain to count or to match.Traitement qui réduit la variation d'un texte sans rapport avec la tâche, par exemple en mettant tous les mots en minuscules, en supprimant les accents, en unifiant les guillemets ou en regroupant les formes d'un mot, de sorte qu'il reste moins de formes distinctes à compter ou à apparier. group the inflected forms of a word: lemmatization and stemming.

Figure 3figure 3 shows both on nine French forms, with the stems the Snowball stemmer for French produces.The stems are the output of the Snowball stemmer for French (snowballstem.org), run on 6 October 2026.

Stemming errors

A stemmer works on letters alone. It has no dictionary and no information about grammatical class, so nothing in its rules can tell that livre and livrer are two words, or that cherchent belongs with chercher. Writing its rules is a balance between two errors (Jurafsky & Martin, 2024):

• Over-stemming: a rule applied too widely merges words that should stay apart, as livre and livrer under livr.
• Under-stemming: a rule applied too narrowly, or left out, splits forms that belong together, as cherchent and chercher.

Applying a rule more widely removes some under-stemming and adds over-stemming, so every rule is a judgement about which does more harm.

Two endings, two decisions

In French, -ent ends the third person plural of the present and -ant the present participle, so removing them would bring more of a verb’s forms together. Both endings also end many other words, and the Snowball stemmer treats the two differently.

The stemmer’s documentation explains the first decision: removing -ent or -ons would cause “unacceptable overstemming”, as in accident and garçons.Snowball, French stemming algorithm (snowballstem.org), read 6 October 2026; the stems in the table were produced with it the same day. That is also why allons only becomes allon: a later rule deletes the final s, and the -on stays.

Lemmatization and tagging

A form can belong to two lemmas: livre is its own lemma as a noun (un livre) and a form of livrer as a verb (il livre), as saw is a form of see as a verb and its own lemma as a noun (Manning et al., 2008). Figure 4figure 4 shows two such forms.

Tag and lemma are linked in three ways:

• The tag settles livre, which is why many systems run a part-of-speech tagger part-of-speech tagging (POS tagging)étiquetage morphosyntaxique NLPTAL The task of taking a sequence of tokenized words and a tagset, and assigning to each word one tag naming its grammatical class, such as noun or verb.Tâche qui consiste à prendre une suite de mots segmentés et un jeu d'étiquettes, puis à attribuer à chaque mot une étiquette nommant sa classe grammaticale, par exemple nom ou verbe. first and the lemmatizer after it (Müller et al., 2015) (see also the Part-of-speech tagging (including an example of machine learning) chapter, in the Classical NLP module) (voir aussi le chapitre L'étiquetage morphosyntaxique (y compris un exemple d'apprentissage automatique), dans le module TAL classique).
• The lemma can help choose the tag, for instance in German, where a plural noun phrase does not show its gender and only the lemma does. Systems that do both tasks together improve on both (Müller et al., 2015; Kondratyuk et al., 2018).
• The tag does not settle fils, a noun either way: the singular fils (son) or the plural of fil (thread, or wire in des fils électriques). Only the rest of the sentence tells them apart, and lemmatizers built with neural networks neural network (NN)réseau de neurones (RNA) machine learningapprentissage automatique A machine-learning model composed of interconnected layers of small computational units.Modèle d'apprentissage automatique composé de couches interconnectées de petites unités de calcul. read that context directly, which helps them most on such ambiguous words (Bergmanis & Goldwater, 2018).

Lemmes et racines

Deux normalisations normalizationnormalisation NLPTAL The processing that reduces the variation in a text that is irrelevant to a task, for instance by putting every word in lowercase, removing accents, unifying quotation marks or grouping the forms of a word, so that fewer distinct forms remain to count or to match.Traitement qui réduit la variation d'un texte sans rapport avec la tâche, par exemple en mettant tous les mots en minuscules, en supprimant les accents, en unifiant les guillemets ou en regroupant les formes d'un mot, de sorte qu'il reste moins de formes distinctes à compter ou à apparier. regroupent les formes fléchies d’un mot : la lemmatisation et la racinisation.

La Figure 3figure 3 montre les deux sur neuf formes françaises, avec les racines que produit le raciniseur Snowball pour le français.Les racines sont celles que produit le raciniseur Snowball pour le français (snowballstem.org), exécuté le 6 octobre 2026.

Les erreurs de racinisation

Un raciniseur ne travaille que sur les lettres. Il n’a ni dictionnaire ni information sur la classe grammaticale, si bien que rien dans ses règles ne permet de savoir que livre et livrer sont deux mots, ou que cherchent va avec chercher. Écrire ses règles revient à trouver un équilibre entre deux erreurs (Jurafsky & Martin, 2024) :

• La racinisation excessive : une règle appliquée trop largement fusionne des mots qui devraient rester distincts, comme livre et livrer sous livr.
• La racinisation insuffisante : une règle appliquée trop étroitement, ou absente, sépare des formes qui vont ensemble, comme cherchent et chercher.

Appliquer une règle plus largement réduit la racinisation insuffisante et augmente la racinisation excessive : chaque règle repose donc sur un jugement, celui de l’erreur qui fait le plus de tort.

Deux terminaisons, deux décisions

En français, -ent termine la troisième personne du pluriel du présent et -ant le participe présent : les supprimer rapprocherait davantage de formes d’un même verbe. Mais ces deux terminaisons terminent aussi beaucoup d’autres mots, et le raciniseur Snowball les traite différemment.

La documentation du raciniseur explique la première décision : supprimer -ent ou -ons entraînerait « unacceptable overstemming » [ma traduction : « une racinisation excessive inacceptable »], comme dans accident et garçons.Snowball, algorithme de racinisation pour le français (snowballstem.org), consulté le 6 octobre 2026 ; les racines du tableau ont été produites avec lui le même jour. C’est aussi pourquoi allons ne devient que allon : une règle appliquée plus tard supprime le s final, et le -on reste.

Lemmatisation et étiquetage

Une forme peut appartenir à deux lemmes : livre est son propre lemme comme nom (un livre) et une forme de livrer comme verbe (il livre), de même que saw est une forme de see comme verbe et son propre lemme comme nom (Manning et al., 2008). La Figure 4figure 4 montre deux formes de ce genre.

L’étiquette et le lemme sont liés de trois façons :

• L’étiquette tranche pour livre, c’est pourquoi beaucoup de systèmes passent d’abord par un étiquetage morphosyntaxique part-of-speech tagging (POS tagging)étiquetage morphosyntaxique NLPTAL The task of taking a sequence of tokenized words and a tagset, and assigning to each word one tag naming its grammatical class, such as noun or verb.Tâche qui consiste à prendre une suite de mots segmentés et un jeu d'étiquettes, puis à attribuer à chaque mot une étiquette nommant sa classe grammaticale, par exemple nom ou verbe. et lemmatisent ensuite (Müller et al., 2015) (see also the Part-of-speech tagging (including an example of machine learning) chapter, in the Classical NLP module) (voir aussi le chapitre L'étiquetage morphosyntaxique (y compris un exemple d'apprentissage automatique), dans le module TAL classique).
• Le lemme peut aider à choisir l’étiquette, par exemple en allemand, où un groupe nominal au pluriel ne montre pas son genre, que seul le lemme indique. Les systèmes qui font les deux tâches ensemble améliorent les deux (Müller et al., 2015 ; Kondratyuk et al., 2018).
• L’étiquette ne tranche pas pour fils, un nom dans les deux cas : le singulier fils (l’enfant) ou le pluriel de fil (un fil à coudre, ou électrique dans des fils électriques). Seul le reste de la phrase permet de les distinguer, et les lemmatiseurs construits avec des réseaux de neurones neural network (NN)réseau de neurones (RNA) machine learningapprentissage automatique A machine-learning model composed of interconnected layers of small computational units.Modèle d'apprentissage automatique composé de couches interconnectées de petites unités de calcul. lisent directement ce contexte, ce qui les aide le plus sur ces mots ambigus (Bergmanis & Goldwater, 2018).

Terms in a specialized text

When you read a text about dressage without knowing the sport, many of its words need no thought: horse, rider, arena, yesterday. Others send you to a dictionary, a termbase termbasebase terminologique terminologyterminologie A database of terminological entries organized by concept, grouping the terms of several languages with metadata such as definitions, domains and usage status.Base de données d'entrées terminologiques organisée par concept, contenant les termes de plusieurs langues et des métadonnées comme des définitions, des domaines et des marques d'usage. or an expert: half-halt, piaffe, flying change, collected canter. A rider needs no dictionary for those: each one names a specific movement or gait in the sport. They are examples of terms, in the sense of the definition below.

A term is a single unit. The word terminology is used in two senses: the set of all the terms of a domain (the terminology of dressage), and the discipline that studies terms and how to record them.

Terms take up a real share of a translator’s time. In studies from the 2000s, translators estimated that they spent roughly 15 to 30% of their working time on terminology, most of it on looking terms up (Champagne, 2004; Gornostay, 2010).Both studies date from before neural machine translation and large language models, and no comparable figures for today’s tools are cited here. The share depends on the translator and on the field: in Champagne’s study it was highest in financial institutions and lowest in language firms, and the participants put it at 40 to 60% for a translator new to the job. Translating a term often takes knowledge of the domain as well as of the two languages. Translators are therefore among the main users of terminological resources such as termbases and glossaries.

Figure 1figure 1 shows four of the movements that dressage terms name.The photographs are from Wikimedia Commons, cropped and resized: the piaffe, the passage and the extended trot by Eponimm, under CC BY 4.0; the canter pirouette by World Dressage Masters, under CC BY 2.0.

Terms are often recorded in termbases, which tend to organize them by concept. In a multilingual termbase, you can then see the terms used for one concept in several languages. The example in Figure 2figure 2, taken from TERMIUM Plus, also shows that the ideal of one term per concept in each language is often not reached in practice: the record suggests three English terms for a single French one.

Terms of several words

In the texts a translator works on, many terms are longer than one word. Flying change names one movement, in which the horse changes its leading leg in the air between two strides of canter, and its meaning does not follow from flying and change looked up separately. Recognizing a term therefore includes deciding where it starts and where it ends: in “the collected canter pirouette”, you might record canter pirouette, collected canter, canter, pirouette, or all four.

Les termes dans un texte spécialisé

Quand vous lisez un texte sur le dressage sans connaître ce sport, beaucoup de ses mots ne vous arrêtent pas : cheval, cavalier, manège, hier. D’autres vous envoient vers un dictionnaire, une base terminologique termbasebase terminologique terminologyterminologie A database of terminological entries organized by concept, grouping the terms of several languages with metadata such as definitions, domains and usage status.Base de données d'entrées terminologiques organisée par concept, contenant les termes de plusieurs langues et des métadonnées comme des définitions, des domaines et des marques d'usage. ou une personne experte : demi-arrêt, piaffer, changement de pied, galop rassemblé. Un cavalier n’a pas besoin de dictionnaire pour ceux-là : chacun désigne un mouvement ou une allure précis de ce sport. Ce sont des exemples de termes, au sens de la définition ci-dessous.

Un terme est une unité. Le mot terminologie s’emploie en deux sens : l’ensemble des termes d’un domaine (la terminologie du dressage), et la discipline qui étudie les termes et la façon de les consigner.

Les termes occupent une part réelle du temps de traduction. Dans des études des années 2000, des traducteurs estimaient consacrer de 15 à 30 % environ de leur temps de travail à la terminologie, surtout à la recherche de termes (Champagne, 2004 ; Gornostay, 2010).Les deux études datent d’avant la traduction automatique neuronale et les grands modèles de langue, et aucun chiffre comparable pour les outils d’aujourd’hui n’est cité ici. Cette part dépend de la personne et du secteur : dans l’étude de Champagne, elle était la plus élevée dans les institutions financières et la plus faible dans les cabinets de traduction, et les participants l’estimaient à 40 à 60 % pour une personne qui débute dans le métier. Traduire un terme demande souvent de connaître le domaine, en plus des deux langues. Les traducteurs comptent donc parmi les principaux utilisateurs de ressources terminologiques comme les bases terminologiques et les glossaires.

La Figure 1figure 1 montre quatre des mouvements que désignent les termes du dressage.Les photographies viennent de Wikimedia Commons, recadrées et redimensionnées : le piaffer, le passage et le trot allongé par Eponimm, sous licence CC BY 4.0 ; la pirouette au galop par World Dressage Masters, sous licence CC BY 2.0.

Les termes sont souvent consignés dans des bases terminologiques, qui tendent à les organiser par concept. Dans une base multilingue, vous voyez alors les termes employés pour un même concept dans plusieurs langues. L’exemple de la Figure 2figure 2, tiré de TERMIUM Plus, montre aussi que l’idéal d’un seul terme par concept dans chaque langue ne se vérifie souvent pas en pratique : la fiche propose trois termes anglais pour un seul terme français.

Les termes de plusieurs mots

Dans les textes sur lesquels travaille une traductrice ou un traducteur, beaucoup de termes dépassent un mot. Changement de pied désigne un seul mouvement, dans lequel le cheval change de pied en l’air entre deux foulées de galop, et son sens ne se déduit pas de changement et de pied cherchés séparément. Reconnaître un terme suppose donc de décider où il commence et où il finit : dans « la pirouette au galop rassemblé », vous pourriez consigner pirouette au galop, galop rassemblé, galop, pirouette, ou les quatre.

How much annotators disagree

Disagreement between the people who annotate the same data is common across NLP tasks. In many cases more than one answer is correct, and even where there is a single correct answer, the disagreement makes it hard to settle on a gold standard gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. (Basile et al., 2021). Term annotation data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. is no exception. In one study, three annotators marked the terms in the same texts, in three languages and three domains, and only a third of the 4,207 terms they found were marked by all three (Figure 3figure 3). More elaborate annotation guidelines raised the agreement between annotators, but two people’s lists still remained far from identical (Rigouts Terryn et al., 2020a). The agreement is measured as an F1 score F1 scorescore F1 evaluationévaluation The harmonic mean of precision and recall: a single number between 0 and 1 that is high only when both are high.Moyenne harmonique de la précision et du rappel : un seul nombre entre 0 et 1, qui n'est élevé que si les deux le sont. (see also the Agreement as an F1 score page, in the Evaluating language technology module) (voir aussi la page L'accord mesuré par le score F1, dans le module L'évaluation des technologies langagières).

Term boundaries

In “the horse moves on in posting trot”, is the term posting trot, trot, posting, or all three? There is no universally correct answer to that question, so this is where annotation guidelines can reduce some of the variation. The guidelines of the ACTER dataset, for instance, answer “all three”: when part of a longer term is a term in its own right, the longer term and the shorter one are both marked. In the dressage texts, posting trot was marked as a whole, and posting and trot were marked as well (Rigouts Terryn, 2021a).

Other annotation schemes keep only the longest unit (Liu et al., 2025). Terms interrupted by other words are another case to settle: in “collected and extended trot”, collected trot is there in meaning but never appears as such in the text. Figure 4figure 4 shows both cases as an annotation tool records them.

Everyday words with a specialized sense

Some terms look like ordinary words; the table below gives three from dressage. A reader who does not know the domain reads straight past them; for a translator, they are exactly the words that need checking.

Named entities

FEI, the international federation for equestrian sports, and Grand Prix, the highest level of dressage test, are proper names. In NLP, something that is referred to by a proper name is called a named entity, and finding named entities in a text is a task of its own, named entity recognition named entity recognition (NER)reconnaissance d'entités nommées (REN) NLPTAL The task of finding the spans of a text that are proper names, and labelling the category, most often a person, a location or an organization.Tâche qui consiste à repérer dans un texte les segments qui sont des noms propres, et à en étiqueter la catégorie, le plus souvent une personne, un lieu ou une organisation. (NER) (see also the A tour of NLP tasks chapter, in the Classical NLP module) (voir aussi le chapitre Tour d'horizon des tâches du TAL, dans le module TAL classique). Term annotation projects differ on what to do with them: some mark named entities with a label of their own, some leave them out, and some treat them like any other term if a translator would need them.

Degree of specialization

Annotators also disagree about how specialized a unit has to be to count as a term. One way to make that decision explicit is to ask two separate questions, as the ACTER guidelines do (Rigouts Terryn, 2021a):

• Is it specific to the domain? Does the unit relate to the subject of the texts? This dimension is called domain specificity.
• Is it specific in the lexicon? Is it known only to specialists, or is it part of everyday vocabulary? This dimension is called lexicon specificity.

Different term labels can be defined from these two dimensions. Figure 5figure 5 shows the three labels of the ACTER scheme: a unit that is specific on both dimensions is a Specific Term, one that is specific to the domain only is a Common Term, and one that is specific in the lexicon only is an Out-of-Domain Term.

Both answers depend on who is asking, and the edge of the domain is a decision too. When the dressage texts were annotated, terms from other equestrian sports, such as gymkhana or voltige (vaulting), were labelled as out of the domain, because the domain was taken to be dressage rather than riding as a whole (Rigouts Terryn et al., 2019).

Knowing a domain well does not settle it either. I annotated the dressage texts myself, and I know the sport well: I understood the terminology without effort, but found it harder to tell terms from general vocabulary, because the terms had become part of my own everyday vocabulary (Rigouts Terryn et al., 2020a).

Two ways of settling the cases

A project that needs a list of terms has to settle the cases annotators disagree about, such as term boundaries and everyday words with a specialized sense. It can do so in two broad ways.

• Categories. A scheme such as ACTER’s keeps the disagreement visible by giving each unit a label: one of the three term labels above, or Named Entity. A list can then be made strict or broad afterwards, by choosing which labels count.
• A purpose. A project can also define a term by what the list is for, for instance everything a translator would add to their own termbase termbasebase terminologique terminologyterminologie A database of terminological entries organized by concept, grouping the terms of several languages with metadata such as definitions, domains and usage status.Base de données d'entrées terminologiques organisée par concept, contenant les termes de plusieurs langues et des métadonnées comme des définitions, des domaines et des marques d'usage. before translating similar texts. The decision then depends on the reader’s needs rather than on a property of the unit.

Neither way removes the disagreement. Every list of terms depends on such choices, whether a person or a tool made it, and two lists made with different choices cannot simply be compared as right and wrong.

L’ampleur du désaccord entre annotateurs

Le désaccord entre les personnes qui annotent les mêmes données est courant dans les tâches de TAL. Dans bien des cas, plus d’une réponse est correcte, et même lorsqu’il n’existe qu’une réponse correcte, le désaccord rend difficile l’établissement d’une référence gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. (Basile et al., 2021). L’annotation data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. de termes ne fait pas exception. Dans une étude, trois annotateurs ont repéré les termes des mêmes textes, dans trois langues et trois domaines, et seul un tiers des 4 207 termes trouvés avait été retenu par les trois (Figure 3figure 3). Des consignes d’annotation plus détaillées ont fait monter l’accord entre annotateurs, mais les listes de deux personnes restaient loin d’être identiques (Rigouts Terryn et al., 2020a). L’accord se mesure par un score F1 F1 scorescore F1 evaluationévaluation The harmonic mean of precision and recall: a single number between 0 and 1 that is high only when both are high.Moyenne harmonique de la précision et du rappel : un seul nombre entre 0 et 1, qui n'est élevé que si les deux le sont. (see also the Agreement as an F1 score page, in the Evaluating language technology module) (voir aussi la page L'accord mesuré par le score F1, dans le module L'évaluation des technologies langagières).

Les frontières d’un terme

Dans « le cheval repart au trot enlevé », le terme est-il trot enlevé, trot, enlevé, ou les trois ? Cette question n’a pas de réponse universellement correcte, et c’est donc là que des consignes d’annotation peuvent réduire une partie de la variation. Les consignes du jeu de données ACTER, par exemple, répondent « les trois » : quand une partie d’un terme plus long est elle-même un terme, le terme long et le terme court sont tous deux annotés. Dans les textes anglais sur le dressage, posting trot (trot enlevé) a été annoté en entier, et posting et trot l’ont été aussi (Rigouts Terryn, 2021a).

D’autres schémas d’annotation ne gardent que l’unité la plus longue (Liu et al., 2025). Les termes interrompus par d’autres mots sont un autre cas à trancher : dans « trot rassemblé et allongé », trot allongé est là par le sens, mais n’apparaît jamais tel quel dans le texte. La Figure 4figure 4 montre les deux cas tels qu’un outil d’annotation les enregistre.

Les mots courants qui ont un sens spécialisé

Certains termes ressemblent à des mots ordinaires ; le tableau ci-dessous en donne trois, tirés du dressage. Une personne qui ne connaît pas le domaine ne s’y arrête pas ; pour un traducteur, ce sont justement les mots à vérifier.

Les entités nommées

FEI, la fédération internationale des sports équestres, et Grand Prix, le niveau le plus élevé des reprises de dressage, sont des noms propres. En TAL, ce que désigne un nom propre s’appelle une entité nommée, et repérer les entités nommées d’un texte est une tâche à part entière, la reconnaissance d’entités nommées named entity recognition (NER)reconnaissance d'entités nommées (REN) NLPTAL The task of finding the spans of a text that are proper names, and labelling the category, most often a person, a location or an organization.Tâche qui consiste à repérer dans un texte les segments qui sont des noms propres, et à en étiqueter la catégorie, le plus souvent une personne, un lieu ou une organisation. (REN) (see also the A tour of NLP tasks chapter, in the Classical NLP module) (voir aussi le chapitre Tour d'horizon des tâches du TAL, dans le module TAL classique). Les projets d’annotation de termes ne les traitent pas tous de la même façon : certains donnent aux entités nommées une étiquette à part, d’autres les écartent, et d’autres encore les traitent comme n’importe quel terme si un traducteur en a besoin.

Le degré de spécialisation

Les annotateurs ne s’accordent pas non plus sur le degré de spécialisation qu’une unité doit avoir pour compter comme terme. Une façon de rendre cette décision explicite consiste à poser deux questions distinctes, comme le font les consignes d’ACTER (Rigouts Terryn, 2021a) :

• Est-elle spécifique au domaine ? L’unité se rapporte-t-elle au sujet des textes ? Cette dimension s’appelle la spécificité au domaine.
• Est-elle spécifique dans le lexique ? Est-elle connue des seuls spécialistes, ou fait-elle partie du vocabulaire courant ? Cette dimension s’appelle la spécificité lexicale.

Ces deux dimensions permettent de définir différentes étiquettes de termes. La Figure 5figure 5 montre les trois étiquettes du schéma d’ACTER : une unité spécifique sur les deux dimensions est un terme spécifique (Specific Term), une unité spécifique au domaine seulement est un terme commun (Common Term), et une unité spécifique dans le lexique seulement est un terme hors domaine (Out-of-Domain Term).

Les deux réponses dépendent de la personne qui les donne, et la limite du domaine est elle aussi une décision. Quand les textes sur le dressage ont été annotés, les termes d’autres sports équestres, comme gymkhana ou voltige, ont été étiquetés hors domaine, parce que le domaine retenu était le dressage et non l’équitation dans son ensemble (Rigouts Terryn et al., 2019).

Bien connaître un domaine ne règle pas la question non plus. J’ai annoté moi-même les textes sur le dressage, et je connais bien ce sport : je comprenais la terminologie sans effort, mais j’avais plus de mal à distinguer les termes du vocabulaire général, parce que ces termes faisaient désormais partie de mon vocabulaire courant (Rigouts Terryn et al., 2020a).

Deux façons de trancher les cas

Un projet qui a besoin d’une liste de termes doit trancher les cas sur lesquels les annotateurs ne s’accordent pas, comme les frontières d’un terme et les mots courants qui ont un sens spécialisé. Il peut le faire de deux grandes façons.

• Des catégories. Un schéma comme celui d’ACTER garde le désaccord visible en donnant à chaque unité une étiquette : l’une des trois étiquettes de termes ci-dessus, ou celle d’entité nommée. La liste peut ensuite être rendue stricte ou large, selon les étiquettes retenues.
• Une finalité. Un projet peut aussi définir le terme par l’usage prévu de la liste, par exemple tout ce qu’un traducteur ajouterait à sa propre base terminologique termbasebase terminologique terminologyterminologie A database of terminological entries organized by concept, grouping the terms of several languages with metadata such as definitions, domains and usage status.Base de données d'entrées terminologiques organisée par concept, contenant les termes de plusieurs langues et des métadonnées comme des définitions, des domaines et des marques d'usage. avant de traduire des textes semblables. La décision dépend alors des besoins du lecteur plutôt que d’une propriété de l’unité.

Aucune des deux façons ne supprime le désaccord. Toute liste de termes repose sur de tels choix, qu’elle vienne d’une personne ou d’un outil, et deux listes établies avec des choix différents ne peuvent pas simplement être comparées comme une bonne et une mauvaise.

Why extract terms

A list of the terms in a set of texts is useful in several kinds of work, for instance:

• for a translator, the terms in a client’s earlier documents show the terminology that client uses;
• the terms in a text you are about to translate can be looked up and settled in one go before you start, where you would otherwise stop to research each term as you come to it;
• outside translation, the terms in a company’s manuals are the starting point for a glossary for new staff, and the terms in a book for its index.

Marking those terms by hand is slow, and the result depends on the person doing it. Termbases do not solve the problem either: new terms appear all the time, and a termbase termbasebase terminologique terminologyterminologie A database of terminological entries organized by concept, grouping the terms of several languages with metadata such as definitions, domains and usage status.Base de données d'entrées terminologiques organisée par concept, contenant les termes de plusieurs langues et des métadonnées comme des définitions, des domaines et des marques d'usage. for your domain and your language pair may simply not exist. Many translators therefore build their own lists of terms from the texts they work on (Lefever & Rigouts Terryn, 2024).

From a text to candidate terms

Having a program find the terms in a text, or in a collection of texts on one subject, is called automatic term extraction.

No method is flawless, which is why the program’s output is called a list of candidates (Lefever & Rigouts Terryn, 2024).

The input is usually a specialized corpus corpuscorpus corporacorpus A collection of written texts, speech recordings or transcribed language assembled for analysis or use in language technology (plural: corpora).Ensemble de textes écrits, d'enregistrements de parole ou de langue transcrite réuni pour l'analyse ou pour les technologies langagières. , a collection of texts about one domain. Some methods need a large one, because they rely on how often words occur; others work on a single document or even a single sentence (Rigouts Terryn et al., 2022a).

Two forms of output

A term extractor can return its candidate terms in two forms (Figure 6figure 6):

• A list. Each candidate appears once, however often it occurs, usually ranked by a score that estimates how likely it is to be a term. The person who validates the list decides where to stop reading it (Rigouts Terryn et al., 2019).
• The terms in the text. Every occurrence is marked where it appears, the way a person highlights terms in a document (Lefever & Rigouts Terryn, 2024). The same word can then be marked in one sentence and left unmarked in another, where it has its everyday sense (Rigouts Terryn, 2021a).

The two forms are also checked differently: a list is compared with another list, and marked text occurrence by occurrence (see also the Matching rules page, in the Evaluating language technology module) (voir aussi la page Les règles de correspondance, dans le module L'évaluation des technologies langagières).

Making the notion of a term measurable

Finding all the terms in a long text is slow and repetitive, which makes it a typical task to hand over to a computer. Before large language models large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. , however, you could not simply tell a program to find the terms in a text. A program works with what it can count or check in the text itself, and the definition of a term, a word or group of words that names a concept in a specialized domain, gives it nothing of that kind.

The challenge was therefore to translate the human notion of a term into characteristics that a program can measure. Each method in this chapter is one answer to that challenge, and each answer is imperfect in its own way.

Three families of methods

Methods for term extraction fall into three broad families, but the older ones are still in use: tools built on rules remain competitive with machine learning machine learning (ML)apprentissage automatique machine learningapprentissage automatique An approach to artificial intelligence in which a model is trained on data or experience so that its adjustable parameters come to reflect patterns relevant to a task.Approche de l'intelligence artificielle dans laquelle un modèle est entraîné sur des données ou sur l'expérience, de sorte que ses paramètres ajustables en viennent à refléter des régularités pertinentes pour une tâche. (Lefever & Rigouts Terryn, 2024). The table below sets the three side by side.

Pourquoi extraire des termes

La liste des termes d’un ensemble de textes est utile dans plusieurs types de travail, par exemple :

• pour un traducteur, les termes des documents antérieurs d’un client montrent la terminologie que ce client emploie ;
• les termes d’un texte que vous allez traduire peuvent être cherchés et fixés en une fois avant de commencer, au lieu de vous arrêter pour chercher chaque terme au moment où vous le rencontrez ;
• en dehors de la traduction, les termes des manuels d’une entreprise sont le point de départ d’un glossaire pour le nouveau personnel, et les termes d’un livre, celui de son index.

Repérer ces termes à la main est lent, et le résultat dépend de la personne qui s’en charge. Les bases terminologiques ne règlent pas le problème non plus : de nouveaux termes apparaissent sans cesse, et une base terminologique termbasebase terminologique terminologyterminologie A database of terminological entries organized by concept, grouping the terms of several languages with metadata such as definitions, domains and usage status.Base de données d'entrées terminologiques organisée par concept, contenant les termes de plusieurs langues et des métadonnées comme des définitions, des domaines et des marques d'usage. pour votre domaine et votre paire de langues n’existe peut-être tout simplement pas. Beaucoup de traducteurs construisent donc leurs propres listes de termes à partir des textes sur lesquels ils travaillent (Lefever et Rigouts Terryn, 2024).

Du texte aux candidats terminologiques

Faire repérer par un programme les termes d’un texte, ou d’un ensemble de textes sur un même sujet, s’appelle l’extraction automatique de termes.

Aucune méthode n’est sans défaut, et c’est pourquoi le résultat du programme s’appelle une liste de candidats (Lefever et Rigouts Terryn, 2024).

L’entrée est le plus souvent un corpus corpuscorpus corporacorpus A collection of written texts, speech recordings or transcribed language assembled for analysis or use in language technology (plural: corpora).Ensemble de textes écrits, d'enregistrements de parole ou de langue transcrite réuni pour l'analyse ou pour les technologies langagières. spécialisé, c’est-à-dire un ensemble de textes sur un même domaine. Certaines méthodes en demandent un grand, parce qu’elles reposent sur la fréquence des mots ; d’autres fonctionnent sur un seul document, voire une seule phrase (Rigouts Terryn et al., 2022a).

Deux formes de résultat

Un extracteur de termes peut renvoyer ses candidats terminologiques sous deux formes (Figure 6figure 6) :

• Une liste. Chaque candidat y figure une fois, quel que soit son nombre d’occurrences, le plus souvent classé selon un score qui estime la probabilité qu’il soit un terme. La personne qui valide la liste décide où arrêter sa lecture (Rigouts Terryn et al., 2019).
• Les termes dans le texte. Chaque occurrence est marquée là où elle apparaît, comme lorsqu’on surligne les termes d’un document (Lefever et Rigouts Terryn, 2024). Le même mot peut alors être marqué dans une phrase et ne pas l’être dans une autre, où il a son sens courant (Rigouts Terryn, 2021a).

Les deux formes ne se vérifient pas non plus de la même façon : une liste se compare à une autre liste, et un texte marqué se compare occurrence par occurrence (see also the Matching rules page, in the Evaluating language technology module) (voir aussi la page Les règles de correspondance, dans le module L'évaluation des technologies langagières).

Rendre mesurable la notion de terme

Repérer tous les termes d’un long texte est lent et répétitif, ce qui en fait une tâche typique à confier à un ordinateur. Avant les grands modèles de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. (GML), cependant, il n’était pas possible de simplement demander à un programme de trouver les termes d’un texte. Un programme travaille avec ce qu’il peut compter ou vérifier dans le texte lui-même, et la définition du terme, un mot ou un groupe de mots qui désigne un concept dans un domaine spécialisé, ne lui donne rien de tel.

Le défi consistait donc à traduire la notion humaine de terme en caractéristiques qu’un programme peut mesurer. Chaque méthode de ce chapitre est une réponse à ce défi, et chaque réponse est imparfaite à sa manière.

Trois familles de méthodes

Les méthodes d’extraction de termes se répartissent en trois grandes familles, mais les plus anciennes servent toujours : les outils à base de règles restent compétitifs face à l’apprentissage automatique machine learning (ML)apprentissage automatique machine learningapprentissage automatique An approach to artificial intelligence in which a model is trained on data or experience so that its adjustable parameters come to reflect patterns relevant to a task.Approche de l'intelligence artificielle dans laquelle un modèle est entraîné sur des données ou sur l'expérience, de sorte que ses paramètres ajustables en viennent à refléter des régularités pertinentes pour une tâche. (Lefever et Rigouts Terryn, 2024). Le tableau ci-dessous présente les trois côte à côte.

The reasoning behind the linguistic approach

The linguistic approach to term extraction automatic term extraction (ATE)extraction automatique de termes NLPTAL The identification, by a program, of candidate terms in a text or a corpus, for a person to validate.Repérage, par un programme, de candidats terminologiques dans un texte ou un corpus, en vue de leur validation par une personne. is based on two observations:

• The part of speech of each word in a text (noun, adjective, verb and so on) can be found automatically. Taggers give about 97% of the words the same tag as a person would, in English and in a range of other languages, which is also about how often people agree on the tags (Jurafsky & Martin, 2026, ch. 18, p. 5) (see also the Part-of-speech tagging (including an example of machine learning) chapter, in the Classical NLP module) (voir aussi le chapitre L'étiquetage morphosyntaxique (y compris un exemple d'apprentissage automatique), dans le module TAL classique).
• Most terms are nouns or groups built around a noun, such as piaffe, collected canter or canter pirouette, although adjectives, verbs and adverbs can be terms too (Rigouts Terryn, 2021a).

If a program can get the parts of speech, and terms tend to have certain sequences of them, then it can extract every sequence of that form. One of the earliest algorithms for finding terms in text already worked this way (Justeson & Katz, 1995).

The reasoning has a flaw: a noun or a group built around a noun can be a term, but that does not mean that it is one.

Part-of-speech patterns

The linguistic method works in three steps (Lefever & Rigouts Terryn, 2024):

1. Tokenization tokenization¹segmentation en unités lexicales linguisticslinguistique The process of dividing running text into individual units that can be counted, annotated or analyzed.Processus de découpage d'un texte suivi en unités individuelles pouvant être comptées, annotées ou analysées. . The text is split into words and punctuation (see also the Tokenization (including an example of the rule-based approach) chapter, in the Classical NLP module) (voir aussi le chapitre La segmentation en unités lexicales (y compris un exemple d'approche à base de règles), dans le module TAL classique).
2. Tagging. Each word gets its part of speech, such as noun, adjective or verb (see also the Part-of-speech tagging (including an example of machine learning) chapter, in the Classical NLP module) (voir aussi le chapitre L'étiquetage morphosyntaxique (y compris un exemple d'apprentissage automatique), dans le module TAL classique).
3. Pattern matching. Every sequence of tags that matches a pattern from a list becomes a candidate term candidate termcandidat terminologique NLPTAL A unit that a term extraction program proposes as a possible term, before a person has validated it.Unité qu'un programme d'extraction automatique de termes propose comme terme possible, avant qu'une personne ne l'ait validée. .