Part-of-speech tagging todayL'étiquetage morphosyntaxique aujourd'hui

TRA2600 S5 · in classS5 · en classe

From counts to features

The ending and the capital letter that help with an unknown word help with every word, and so do the word before, the word after, the tag before and the length of the word. A feature-based tagger combines many such clues, each a feature featureattribut machine learningapprentissage automatique A property or representation of an observation that a machine-learning model uses as input when making a prediction.Propriété ou représentation d'une observation qu'un modèle d'apprentissage automatique utilise en entrée pour produire une prédiction. a person chose to measure, and learns from the tagged corpus how much each one counts (Figure 18figure 18).

This is machine learning machine learning (ML)apprentissage automatique machine learningapprentissage automatique An approach to artificial intelligence in which a model is trained on data or experience so that its adjustable parameters come to reflect patterns relevant to a task.Approche de l'intelligence artificielle dans laquelle un modèle est entraîné sur des données ou sur l'expérience, de sorte que ses paramètres ajustables en viennent à refléter des régularités pertinentes pour une tâche. with people still choosing what to measure (see also the Features for language page, in the Foundations of AI & NLP module) (voir aussi la page Les attributs pour la langue, dans le module Fondements de l'IA et du TAL). Its limit is that someone has to think of every clue.

Tagging today

Neural taggers, trained on the same tagged corpora, find their own clues in the words and their context (see also the How a network learns page, in the Foundations of AI & NLP module) (voir aussi la page Comment un réseau apprend, dans le module Fondements de l'IA et du TAL) (Figure 19figure 19).

Where that leaves the task (Jurafsky & Martin, 2026):

• The scores: about 97 % on English and on fifteen Universal Dependencies languages, whatever the method, which is also the level of human agreement. Many of the remaining errors are in the gold standard gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. itself (Manning, 2011) (see also the Ambiguous word classes page) (voir aussi la page L'ambiguïté des classes de mots).
• The tools: trained taggers run inside the standard text-analysis toolkits. A large language model large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. will also tag a sentence given a prompt promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. : in one test on 6 October 2026, Gemini 3 Pro tagged three test sentences correctly, a classic garden-path sentence among them (Figure 20figure 20). For whole corpora, a trained tagger is still faster, cheaper and more predictable.
• What still costs: unknown words, rich morphology, and texts unlike the training texts, such as tweets for a tagger trained on newspapers (Manning, 2011).

Where you see tagging

You will rarely run a tagger yourself, but you will see its output wherever a tool uses grammatical classes, for instance:

• the word sketches and the searches by class of a concordancer (see also the Corpus analysis module) (voir aussi le module L'analyse de corpus);
• the lemmas lemmalemme linguisticslinguistique The base or dictionary form under which the inflected forms of a word are grouped: go, goes, went and gone share the lemma go.Forme de base, ou forme de dictionnaire, sous laquelle sont regroupées les formes fléchies d'un mot : va, allons, allait et allé partagent le lemme aller. many tools assign, since a lemmatizer often needs the tag to choose between two lemmas (see also the Lemmatization and stemming page) (voir aussi la page Lemmatisation et racinisation);
• the grammar checks of a word processor.

Because every occurrence in its corpus is tagged, Sketch Engine treats book as a noun and book as a verb as two different words, with sketches that share almost nothing (Figure 21figure 21). The counts show the most frequent tag at work on a real corpus: the noun is about fifteen times as frequent as the verb.

When such a tool makes an odd mistake, a tag wrongly assigned to an ambiguous word is often the reason.

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Updated 6 October 2026

Des comptes aux attributs

La terminaison et la majuscule qui aident pour un mot inconnu aident pour tous les mots, tout comme le mot précédent, le mot suivant, l’étiquette précédente et la longueur du mot. Un étiqueteur fondé sur des attributs combine de nombreux indices de ce genre, chacun étant un attribut featureattribut machine learningapprentissage automatique A property or representation of an observation that a machine-learning model uses as input when making a prediction.Propriété ou représentation d'une observation qu'un modèle d'apprentissage automatique utilise en entrée pour produire une prédiction. qu’une personne a choisi de mesurer, et apprend du corpus étiqueté le poids de chacun (Figure 18figure 18).

C’est de l’apprentissage automatique machine learning (ML)apprentissage automatique machine learningapprentissage automatique An approach to artificial intelligence in which a model is trained on data or experience so that its adjustable parameters come to reflect patterns relevant to a task.Approche de l'intelligence artificielle dans laquelle un modèle est entraîné sur des données ou sur l'expérience, de sorte que ses paramètres ajustables en viennent à refléter des régularités pertinentes pour une tâche. où des personnes choisissent encore ce qu’il faut mesurer (see also the Features for language page, in the Foundations of AI & NLP module) (voir aussi la page Les attributs pour la langue, dans le module Fondements de l'IA et du TAL). Sa limite est que quelqu’un doit penser à chaque indice.

L’étiquetage aujourd’hui

Les étiqueteurs neuronaux, entraînés sur les mêmes corpus étiquetés, trouvent leurs propres indices dans les mots et leur contexte (see also the How a network learns page, in the Foundations of AI & NLP module) (voir aussi la page Comment un réseau apprend, dans le module Fondements de l'IA et du TAL) (Figure 19figure 19).

Où en est la tâche (Jurafsky & Martin, 2026) :

• Les scores : environ 97 % en anglais et dans quinze langues d’Universal Dependencies, quelle que soit la méthode, ce qui est aussi le niveau de l’accord humain. Bien des erreurs restantes se trouvent dans l’étalon de référence gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. lui-même (Manning, 2011) (see also the Ambiguous word classes page) (voir aussi la page L'ambiguïté des classes de mots).
• Les outils : des étiqueteurs entraînés sont intégrés aux boîtes à outils courantes d’analyse de texte. Un grand modèle de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. (GML) étiquette aussi une phrase à partir d’une requête promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie.  : lors d’un test le 6 octobre 2026, Gemini 3 Pro a correctement étiqueté trois phrases anglaises, dont une phrase qui égare d’abord le lecteur (angl. garden-path sentence) (Figure 20figure 20). Pour des corpus entiers, un étiqueteur entraîné reste plus rapide, moins coûteux et plus prévisible.
• Ce qui fait encore baisser les scores : les mots inconnus, la morphologie riche, et les textes différents des textes d’entraînement, comme des tweets pour un étiqueteur entraîné sur des journaux (Manning, 2011).

Où vous voyez l’étiquetage

Vous lancerez rarement un étiqueteur vous-même, mais vous verrez ses résultats partout où un outil se sert des classes grammaticales, par exemple :

• les Word Sketches et les recherches par classe d’un concordancier (see also the Corpus analysis module) (voir aussi le module L'analyse de corpus) ;
• les lemmes lemmalemme linguisticslinguistique The base or dictionary form under which the inflected forms of a word are grouped: go, goes, went and gone share the lemma go.Forme de base, ou forme de dictionnaire, sous laquelle sont regroupées les formes fléchies d'un mot : va, allons, allait et allé partagent le lemme aller. que de nombreux outils attribuent, puisqu’un lemmatiseur a souvent besoin de l’étiquette pour choisir entre deux lemmes (see also the Lemmatization and stemming page) (voir aussi la page Lemmatisation et racinisation) ;
• les vérifications grammaticales d’un traitement de texte.

Comme chaque occurrence de son corpus est étiquetée, Sketch Engine traite le nom book et le verbe book comme deux mots différents, avec des Word Sketches qui n’ont presque rien en commun, ici dans un corpus anglais (Figure 21figure 21). Les comptes montrent l’étiquette la plus fréquente à l’œuvre sur un vrai corpus : le nom est environ quinze fois plus fréquent que le verbe.

Quand un tel outil fait une erreur étrange, une étiquette mal attribuée à un mot ambigu en est souvent la cause.

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Mise à jour 6 octobre 2026