Part-of-speech tagging (including an example of machine learning)L'étiquetage morphosyntaxique (y compris un exemple d'apprentissage automatique)

A label for every word

In the sentence Mary loves reading books, you can say of every word what kind of word it is: a proper noun, a verb, another verb, a noun. Part-of-speech tagging does this automatically for every word of a text, and the result is written with a tag after each word: Mary/PROPN loves/VERB reading/VERB books/NOUN.

The task takes a text that has already been cut into words (see also the Tokenization (including an example of the rule-based approach) chapter) (voir aussi le chapitre La segmentation en unités lexicales (y compris un exemple d'approche à base de règles)) and gives each of them exactly one tag (Jurafsky & Martin, 2026). It is rarely the end of a pipeline and almost always a step in one: a concordancer uses the tags to let you search for all the nouns after a given verb, and a grammar checker uses them, among other information, to check that a verb agrees with its subject.

Open and closed classes

The classes themselves are older than computers. Grammars have sorted words into nouns, verbs, adjectives and the rest for two millennia, and the classes are defined by how a word behaves with its neighbours and by the endings it takes, not by what it means: a noun is a word that can follow a determiner and take a plural, whatever it refers to (Jurafsky & Martin, 2026).

Classes come in two kinds. Nouns, verbs, adjectives and adverbs are open classes: new members appear all the time, as selfie and to google did. Determiners, pronouns, prepositions and conjunctions are closed classes: a few dozen words each, rarely added to, very frequent, and doing the structural work of a sentence (Jurafsky & Martin, 2026). Figure 1figure 1 shows the seventeen classes of the tagset that Universal Dependencies, a large collection of annotated corpora, uses for more than a hundred languages (de Marneffe et al., 2021).

Tagsets differ

Those seventeen tags are one choice among many. A tagset is a decision about how finely to cut the classes, and different projects have cut them very differently.

The table below sets some of them side by side, from the seventeen universal tags to sets that fold number, tense, case or gender into the tag.The French and Dutch counts were checked on 6 October 2026 at their sources: TreeTagger’s French tagset, the label list of a CamemBERT tagger trained on the French Treebank, and the documentation of the Spoken Dutch Corpus.

The information does not disappear when the tagset is small; it is encoded elsewhere. Universal Dependencies keeps its seventeen tags and records number, tense or gender as separate features attached to the word (de Marneffe et al., 2021), where a larger tagset folds them into the tag itself. Figure 2figure 2 shows the two conventions on two English words. When you read the output of a tagger, the first thing to find out is which tagset it used, since ADJ in one and JJ in another may be the same class, and NN in one may be two classes in another.

Une étiquette pour chaque mot

Dans la phrase Marie adore lire des livres, vous pouvez dire de chaque mot de quel type de mot il s’agit : un nom propre, un verbe, un autre verbe, un déterminant, un nom. L’étiquetage morphosyntaxique fait la même chose automatiquement pour chaque mot d’un texte, et le résultat s’écrit avec une étiquette après chaque mot : Marie/PROPN adore/VERB lire/VERB des/DET livres/NOUN.

La tâche prend un texte déjà découpé en mots (see also the Tokenization (including an example of the rule-based approach) chapter) (voir aussi le chapitre La segmentation en unités lexicales (y compris un exemple d'approche à base de règles)) et donne à chacun exactement une étiquette (Jurafsky & Martin, 2026). Elle est rarement le bout d’une chaîne de traitement et presque toujours une étape à l’intérieur : un concordancier se sert des étiquettes pour vous laisser chercher tous les noms qui suivent un verbe donné, et un correcteur grammatical s’en sert, entre autres informations, pour vérifier qu’un verbe s’accorde avec son sujet.

Classes ouvertes et classes fermées

Les classes elles-mêmes sont plus anciennes que les ordinateurs. Les grammaires répartissent les mots en noms, verbes, adjectifs et ainsi de suite depuis deux millénaires, et les classes se définissent par le comportement d’un mot avec ses voisins et par les terminaisons qu’il prend, non par ce qu’il veut dire : un nom est un mot qui peut suivre un déterminant et prendre un pluriel, quoi qu’il désigne (Jurafsky & Martin, 2026).

Il y a deux sortes de classes. Les noms, les verbes, les adjectifs et les adverbes forment des classes ouvertes : de nouveaux membres y entrent sans cesse, comme courriel et télécharger. Les déterminants, les pronoms, les prépositions et les conjonctions forment des classes fermées : quelques dizaines de mots chacune, rarement enrichies, très fréquentes, et qui font le travail structurel de la phrase (Jurafsky & Martin, 2026). La Figure 1figure 1 montre les dix-sept classes du jeu d’étiquettes qu’utilise Universal Dependencies, une vaste collection de corpus annotés, pour plus de cent langues (de Marneffe et al., 2021).

Les jeux d’étiquettes diffèrent

Ces dix-sept étiquettes sont un choix parmi d’autres. Un jeu d’étiquettes est une décision sur la finesse du découpage des classes, et les projets l’ont tranchée de façons très différentes.

Le tableau ci-dessous en met quelques-uns côte à côte, des dix-sept étiquettes universelles aux jeux qui intègrent le nombre, le temps, le cas ou le genre dans l’étiquette.Les chiffres pour le français et le néerlandais ont été vérifiés le 6 octobre 2026 à leur source : le jeu d’étiquettes français de TreeTagger, la liste d’étiquettes d’un étiqueteur CamemBERT entraîné sur le French Treebank, et la documentation du Spoken Dutch Corpus.

L’information ne disparaît pas quand le jeu d’étiquettes est petit : elle est codée ailleurs. Universal Dependencies garde ses dix-sept étiquettes et consigne le nombre, le temps ou le genre sous forme de traits distincts attachés au mot (de Marneffe et al., 2021), là où un jeu plus grand les intègre à l’étiquette elle-même. La Figure 2figure 2 montre les deux conventions sur deux mots anglais, puisque le Penn Treebank est un jeu d’étiquettes pour l’anglais. Quand vous lisez la sortie d’un étiqueteur, la première chose à vérifier est le jeu d’étiquettes utilisé : ADJ dans l’un et JJ dans un autre peuvent être la même classe, et NN dans l’un peut correspondre à deux classes dans un autre.

One form, several classes

The reason tagging is a task at all is that the form of a word does not tell you its class. Book is a verb in book that flight and a noun in hand me that book; fast is an adjective in a fast car and an adverb in she runs fast. The table below gives four English words with two readings each.

A tagger therefore cannot simply look a word up: it has to assign each occurrence one of the word’s possible tags. Tagging is a disambiguation task (Jurafsky & Martin, 2026).

How much of a text is ambiguous

Counted over the word types of a corpus, ambiguity looks like a minor problem: in two large English corpora, the Wall Street Journal section of the Penn Treebank (Marcus et al., 1993) and the Brown corpus (Francis & Kučera, 1979), about 85 % of the types have a single possible tag. Counted over the word tokens, it is the normal case: the ambiguous types are among the most frequent words of the language, and 55 to 67 % of the tokens in those corpora are ambiguous (Jurafsky & Martin, 2026). Figure 3figure 3 shows the two counts for the Wall Street Journal.

The words with the most readings are short function words and common verbs: in English that, back, down, put and set; back alone can take six tags (Jurafsky & Martin, 2026). Word classes are one kind of ambiguity among several, and frequency goes with the others too. Piantadosi et al. (2012) found that in English, German and Dutch, more frequent word forms have more homophones, and that in English more frequent words have more senses, even with word length taken into account, a link Zipf had already observed. They read it as efficiency: short, frequent forms are easy to produce and to process, so a language reuses them for several meanings and leaves the context to tell them apart.

Where annotators disagree

Ambiguity is not only a problem for programs. When people tag a corpus by hand, following written guidelines, they agree on about 97 % of the tags, and many of the remaining 3 % are cases where the grammar gives no clean answer (Manning, 2011). English -ing forms before a noun are the classic case, and the table below applies one test to three of them: an adjective takes very, a verb form does not.

The last row is the kind of case the guidelines have to decide, and the kind on which two annotators can still differ. Manning (2011) went through a hundred errors of a state-of-the-art English tagger and found that more than 40 % of them were cases where the gold standard gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. itself was wrong or inconsistent, and another 12 % cases like the last row, where the tag is underspecified in context; only a minority could have been fixed by a better tagger (Figure 4figure 4).The 97 % figure for human agreement goes back to an estimate in the Penn Treebank’s own documentation; when two annotators tagged from scratch rather than correcting a tagger’s output, they disagreed on 7.2 % of the words (Manning, 2011).

That figure, 97 %, is also the accuracy accuracyexactitude evaluationévaluation The share of all decisions of a system that are correct, true positives and true negatives together.Part de toutes les décisions d'un système qui sont correctes, vrais positifs et vrais négatifs ensemble. that the best taggers reach today, whatever the method (Jurafsky & Martin, 2026). It is a figure per word: counted per sentence, a tagger that gets 97 % of the words right gets only about 56 % of the sentences entirely right (Manning, 2011; Figure 5figure 5). Jurafsky and Martin (2026) call 97 % the human ceiling. A tagger is evaluated against tags that people assigned, and on the cases where the guidelines leave two answers open, a tag that differs from the gold standard is not necessarily wrong. The agreement between annotators is therefore best read as the point of comparison for a tagger’s score, not as a limit it cannot pass (see also the Agreement between annotators page, in the Evaluating language technology module) (voir aussi la page L'accord entre annotateurs, dans le module L'évaluation des technologies langagières).

Une forme, plusieurs classes

Si l’étiquetage est une tâche, c’est parce que la forme d’un mot ne dit pas sa classe. Marche est un verbe dans je marche lentement et un nom dans une marche en forêt ; fort est un adjectif dans un homme fort et un adverbe dans il travaille fort. Le tableau ci-dessous donne quatre mots français à deux lectures.

Un étiqueteur ne peut donc pas simplement chercher un mot dans une liste : il doit attribuer à chaque occurrence l’une des étiquettes possibles du mot. L’étiquetage est une tâche de désambiguïsation (Jurafsky & Martin, 2026).

Quelle part d’un texte est ambiguë

Comptée sur les types de mots d’un corpus, l’ambiguïté semble un problème mineur : dans deux grands corpus anglais, la section Wall Street Journal du Penn Treebank (Marcus et al., 1993) et le corpus Brown (Francis & Kučera, 1979), environ 85 % des types n’ont qu’une étiquette possible. Comptée sur les occurrences, elle est la norme : les types ambigus sont parmi les mots les plus fréquents de la langue, et 55 à 67 % des occurrences de ces corpus sont ambiguës (Jurafsky & Martin, 2026). La Figure 3figure 3 montre les deux comptes pour le Wall Street Journal.

Les mots qui ont le plus de lectures sont de petits mots grammaticaux et des verbes courants : en anglais that, back, down, put et set ; back peut à lui seul prendre six étiquettes (Jurafsky & Martin, 2026). Les classes de mots sont une forme d’ambiguïté parmi d’autres, et la fréquence va de pair avec les autres aussi. Piantadosi et al. (2012) ont constaté qu’en anglais, en allemand et en néerlandais, les formes de mots les plus fréquentes ont plus d’homophones, et qu’en anglais les mots les plus fréquents ont plus de sens, même à longueur égale, un lien que Zipf avait déjà observé. Ils y voient une question d’efficacité : les formes courtes et fréquentes sont faciles à produire et à traiter, si bien qu’une langue les réutilise pour plusieurs sens et laisse au contexte le soin de les distinguer.

Là où les annotateurs divergent

L’ambiguïté n’est pas un problème réservé aux programmes. Quand des personnes étiquettent un corpus à la main en suivant des consignes écrites, elles s’accordent sur environ 97 % des étiquettes, et bien des 3 % restants sont des cas où la grammaire ne donne pas de réponse nette (Manning, 2011). En anglais, les formes en -ing devant un nom sont le cas classique, et le tableau ci-dessous applique un test à trois d’entre elles : un adjectif accepte very (« très »), une forme verbale non.

La dernière ligne est le genre de cas que les consignes doivent trancher, et sur lequel deux annotateurs peuvent encore diverger. Manning (2011) a examiné cent erreurs d’un étiqueteur anglais de pointe et a constaté que plus de 40 % d’entre elles étaient des cas où l’étalon de référence gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. lui-même était erroné ou incohérent, et 12 % de plus des cas comme la dernière ligne, où l’étiquette est sous-spécifiée dans le contexte ; seule une minorité aurait pu être corrigée par un meilleur étiqueteur (Figure 4figure 4).Le chiffre de 97 % d’accord entre personnes remonte à une estimation de la documentation du Penn Treebank ; quand deux annotateurs étiquetaient à partir de zéro au lieu de corriger la sortie d’un étiqueteur, ils divergeaient sur 7,2 % des mots (Manning, 2011).

Ce chiffre de 97 % est aussi l’exactitude accuracyexactitude evaluationévaluation The share of all decisions of a system that are correct, true positives and true negatives together.Part de toutes les décisions d'un système qui sont correctes, vrais positifs et vrais négatifs ensemble. qu’atteignent aujourd’hui les meilleurs étiqueteurs, quelle que soit la méthode (Jurafsky & Martin, 2026). C’est un chiffre par mot : compté par phrase, un étiqueteur qui a juste 97 % des mots n’a qu’environ 56 % des phrases entièrement justes (Manning, 2011 ; Figure 5figure 5). Jurafsky et Martin (2026) appellent 97 % le plafond humain. Un étiqueteur est évalué par rapport à des étiquettes attribuées par des personnes, et dans les cas où les consignes laissent deux réponses ouvertes, une étiquette qui diffère de l’étalon de référence n’est pas forcément fausse. L’accord entre annotateurs se lit donc mieux comme un point de comparaison pour le score d’un étiqueteur que comme une limite infranchissable (see also the Agreement between annotators page, in the Evaluating language technology module) (voir aussi la page L'accord entre annotateurs, dans le module L'évaluation des technologies langagières).

A rule-based tagger

Taggers can be written as rules. The oldest ones worked in two stages: a dictionary listing every possible tag of every word, then thousands of hand-written constraints that rule out the tags incompatible with the context (Jurafsky & Martin, 2026). The dictionary alone is tens of thousands of entries, every one of them written by a person, and the constraints have to be written again for every language. It can be done, and it was, but the cost pushed the field toward its second paradigm, machine learning machine learning (ML)apprentissage automatique machine learningapprentissage automatique An approach to artificial intelligence in which a model is trained on data or experience so that its adjustable parameters come to reflect patterns relevant to a task.Approche de l'intelligence artificielle dans laquelle un modèle est entraîné sur des données ou sur l'expérience, de sorte que ses paramètres ajustables en viennent à refléter des régularités pertinentes pour une tâche. (see also the turn to machine learning page, in the Foundations of AI & NLP module) (voir aussi la page Le virage vers l'apprentissage automatique, dans le module Fondements de l'IA et du TAL).

The most frequent tag

A tagger built by machine learning starts from a corpus corpuscorpus corporacorpus A collection of written texts, speech recordings or transcribed language assembled for analysis or use in language technology (plural: corpora).Ensemble de textes écrits, d'enregistrements de parole ou de langue transcrite réuni pour l'analyse ou pour les technologies langagières. that people have already tagged, and the simplest thing to count in it is how often each word appears under each tag. Book is a noun more often than it is a verb, so a tagger that labels every occurrence of book as a noun will be right most of the time (Figure 6figure 6). This tagger asks the question that comes to mind first: of all the occurrences of book, what share are nouns? A tagger built on that one count for every word, the most frequent tag, is right for about 92 % of the words of an English text, against 97 % for the best taggers and for people (Jurafsky & Martin, 2026; Figure 7figure 7). The gap between a method that ignores the context entirely and the best taggers is five points. That is why a score is read against this kind of simple method before it is called good (see also the Baselines page, in the Evaluating language technology module) (voir aussi la page Les étalons, dans le module L'évaluation des technologies langagières).

Looking at the previous word

So the challenge is to get from 92 % as close as possible to 97 %. The errors that remain with the naive approach, always using a word’s most frequent tag, mostly come from ambiguous words with more than one possible tag, such as book, which can be a verb or a noun (Figure 6figure 6). To disambiguate such a word, a tagger looks at its context, and a first step is to look not only at the word that needs a tag, but also at the word before it. A bigram is a sequence of two consecutive words, or here of two consecutive tags, and a bigram tagger adds a second count to the first: how often each tag follows the tag of the previous word (Jurafsky & Martin, 2026). The bigram is one case of a general notion, the n-gram, a sequence of n consecutive items: a trigram tagger, for instance, looks at the tags of the two previous words.

The tagger answers the two questions of Figure 8figure 8 with two probabilities, both counted in the tagged corpus, and gives the word the tag for which the two together score highest.

Reading a probability such as P(book | VERB)

A probability is a share: a number between 0 and 1 that says how often something happens out of a set of cases. 0 means never, 1 means always, and 0.25 means one time in four, or 25 %.

The notation P(A | B) is read “the probability of A, given B”. The bar means given, and what comes after it says which cases you count in. Figure 9figure 9 reads P(book | VERB) piece by piece, and the table below reads both probabilities a bigram tagger uses.

Both probabilities are plain shares, so you can work them out by hand.

A worked example, step by step

The phrase is travellers who book a room, and the counts come from a small corpus of eight short English sentences, tagged by hand, in which book occurs seven times in the singular (the plural books is another form), five times as a noun and twice as a verb. Figure 10figure 10 builds up with the four steps below.

Mary/PROPN loves/VERB reading/VERB books/NOUN ./PUNCT
On/ADP Monday/PROPN ,/PUNCT she/PRON found/VERB an/DET old/ADJ book/NOUN in/ADP the/DET library/NOUN ./PUNCT
The/DET book/NOUN tells/VERB the/DET story/NOUN of/ADP travellers/NOUN who/PRON book/VERB a/DET room/NOUN in/ADP an/DET old/ADJ hotel/NOUN ./PUNCT
Curious/ADJ ,/PUNCT Mary/PROPN and/CCONJ Tom/PROPN book/VERB a/DET weekend/NOUN there/ADV ./PUNCT
At/ADP the/DET end/NOUN ,/PUNCT she/PRON finds/VERB that/SCONJ the/DET book/NOUN is/AUX a/DET masterpiece/NOUN ./PUNCT
She/PRON decides/VERB to/PART recommend/VERB the/DET book/NOUN to/ADP friends/NOUN ,/PUNCT hoping/VERB that/SCONJ they/PRON will/AUX like/VERB it/PRON too/ADV ./PUNCT
The/DET next/ADJ day/NOUN ,/PUNCT Mary/PROPN starts/VERB a/DET new/ADJ book/NOUN ,/PUNCT because/SCONJ she/PRON ca/AUX n't/PART stop/VERB reading/VERB ./PUNCT
Some/DET call/VERB it/PRON an/DET obsession/NOUN ,/PUNCT but/CCONJ all/DET agree/VERB it/PRON is/AUX harmless/ADJ ./PUNCT

Step 1: the candidate tags

A tagger does not invent a tag: it compares the tags a word can have. The corpus shows two for book, NOUN and VERB, so the tagger computes one score for each, and the higher score wins (Figure 11figure 11).

Step 2: the word, given each tag

The first question counts, of the words that carry each tag, the share that are book: among the nouns first, then among the verbs, and not among the occurrences of book (Figure 12figure 12).

• 5 of the 17 nouns are book: 0.294, written P(book | NOUN);
• 2 of the 16 verbs are book: 0.125, written P(book | VERB).

On this question alone, NOUN is ahead. That is the most frequent tag again, and it is wrong here: the word on its own cannot tell this book from the noun.

Step 3: each tag, given the previous tag

The second question is what usually comes after the previous tag, which is the information the most frequent tag never used. The word before book is who, a pronoun, and the corpus has 9 words after a pronoun (Figure 13figure 13).

• none of them is a noun: 0, written P(NOUN | PRON);
• 4 of them are verbs: 0.444, written P(VERB | PRON).

Step 4: combining the two

The tagger needs one score per tag that takes both answers into account, so it multiplies them (Figure 14figure 14). A product is high only when both numbers are, and a zero in either makes the whole product zero: NOUN scores 0.294 × 0 = 0, and VERB scores 0.125 × 0.444 = 0.056.

VERB wins. The previous tag has overturned the lead NOUN had on the word alone, and the tagger labels this book a verb, although book is a noun more often than not.

A count of zero decided this case, and in a corpus of a hundred words that happens all the time: a noun can follow a pronoun in English, as in her book, where Universal Dependencies tags her as a pronoun, but the corpus contains no example of it. Real taggers correct for this by giving every count a small minimum, so that a sequence never seen in the corpus is unlikely rather than impossible (Jurafsky & Martin, 2026).

The method as a rule

For every word of a text, a bigram tagger does the same three things with counts from a tagged corpus:

1. it lists the tags the word can have;
2. for each tag, it multiplies the share of the word among the words that carry this tag, P(word | tag), by the share of this tag among the words that follow the previous tag, P(tag | previous tag);
3. it keeps the tag with the larger product.

No rule anywhere says that book after who is a verb, and the method never uses what book means: the counts alone decide.

exercise 1 "the word given the tag, for the noun"exercice 1 « le mot sachant l'étiquette, pour le nom » and the exercises after it apply the same four steps to another word, watch, in she checks her watch, then to he waits, watch in hand, where the rule gives the wrong answer.

Un étiqueteur à base de règles

On peut écrire un étiqueteur sous forme de règles. Les plus anciens fonctionnaient en deux temps : un dictionnaire qui donne toutes les étiquettes possibles de chaque mot, puis des milliers de contraintes écrites à la main qui éliminent les étiquettes incompatibles avec le contexte (Jurafsky & Martin, 2026). Le dictionnaire compte à lui seul des dizaines de milliers d’entrées, toutes rédigées par une personne, et les contraintes sont à réécrire pour chaque langue. C’est faisable, et cela a été fait, mais le coût a poussé le domaine vers son deuxième paradigme, l’apprentissage automatique machine learning (ML)apprentissage automatique machine learningapprentissage automatique An approach to artificial intelligence in which a model is trained on data or experience so that its adjustable parameters come to reflect patterns relevant to a task.Approche de l'intelligence artificielle dans laquelle un modèle est entraîné sur des données ou sur l'expérience, de sorte que ses paramètres ajustables en viennent à refléter des régularités pertinentes pour une tâche. (see also the turn to machine learning page, in the Foundations of AI & NLP module) (voir aussi la page Le virage vers l'apprentissage automatique, dans le module Fondements de l'IA et du TAL).

L’étiquette la plus fréquente

Un étiqueteur construit par apprentissage automatique part d’un corpus corpuscorpus corporacorpus A collection of written texts, speech recordings or transcribed language assembled for analysis or use in language technology (plural: corpora).Ensemble de textes écrits, d'enregistrements de parole ou de langue transcrite réuni pour l'analyse ou pour les technologies langagières. que des personnes ont déjà étiqueté, et la chose la plus simple à y compter est la fréquence de chaque mot sous chaque étiquette. Livre est plus souvent un nom qu’un verbe, donc un étiqueteur qui étiquette toutes les occurrences de livre comme des noms aura raison la plupart du temps (Figure 6figure 6). Cet étiqueteur pose la question qui vient spontanément : parmi les occurrences de livre, quelle part sont des noms ? Un étiqueteur fondé sur ce seul compte pour chaque mot, l’étiquette la plus fréquente, a raison pour environ 92 % des mots d’un texte anglais, contre 97 % pour les meilleurs étiqueteurs et pour les personnes (Jurafsky & Martin, 2026 ; Figure 7figure 7). Entre une méthode qui ignore entièrement le contexte et les meilleurs étiqueteurs, l’écart est de cinq points. C’est pourquoi un score se lit par rapport à ce genre de méthode simple avant d’être jugé bon (see also the Baselines page, in the Evaluating language technology module) (voir aussi la page Les étalons, dans le module L'évaluation des technologies langagières).

Regarder le mot précédent

Le défi est donc de passer de 92 % au plus près de 97 %. Les erreurs qui restent avec l’approche naïve, toujours prendre l’étiquette la plus fréquente d’un mot, viennent surtout des mots ambigus qui ont plus d’une étiquette possible, comme livre, qui peut être un verbe ou un nom (Figure 6figure 6). Pour lever l’ambiguïté d’un tel mot, un étiqueteur regarde son contexte, et une première étape consiste à regarder non seulement le mot à étiqueter, mais aussi le mot qui le précède. Un bigramme est une suite de deux mots consécutifs, ou ici de deux étiquettes consécutives, et un étiqueteur bigramme ajoute un second compte au premier : la fréquence de chaque étiquette après l’étiquette du mot précédent (Jurafsky & Martin, 2026). Le bigramme est un cas d’une notion générale, le n-gramme, une suite de n éléments consécutifs : un étiqueteur trigramme, par exemple, regarde les étiquettes des deux mots précédents.

L’étiqueteur répond aux deux questions de Figure 8figure 8 par deux probabilités, toutes deux comptées dans le corpus étiqueté, et donne au mot l’étiquette pour laquelle les deux ensemble obtiennent le meilleur score.

Lire une probabilité comme P(livre | VERB)

Une probabilité est une proportion : un nombre entre 0 et 1 qui dit combien de fois quelque chose se produit dans un ensemble de cas. 0 veut dire jamais, 1 toujours, et 0,25 une fois sur quatre, soit 25 %.

La notation P(A | B) se lit « la probabilité de A sachant B ». La barre veut dire sachant, et ce qui la suit dit parmi quels cas on compte. La Figure 9figure 9 lit P(livre | VERB) morceau par morceau, et le tableau ci-dessous lit les deux probabilités qu’utilise un étiqueteur bigramme.

Les deux probabilités sont de simples proportions, et vous pouvez les calculer à la main.

Un exemple détaillé, étape par étape

Le segment est un auteur qui livre ses pensées, et les comptes viennent d’un petit corpus de huit courtes phrases françaises, étiquetées à la main, où livre apparaît sept fois au singulier (le pluriel livres est une autre forme), cinq fois comme nom et deux fois comme verbe. La Figure 10figure 10 se construit au fil des quatre étapes ci-dessous.

Marie/PROPN adore/VERB lire/VERB des/DET livres/NOUN ./PUNCT
Hier/ADV ,/PUNCT elle/PRON a/AUX trouvé/VERB un/DET livre/NOUN ancien/ADJ dans/ADP la/DET bibliothèque/NOUN ./PUNCT
Ce/DET livre/NOUN raconte/VERB l'/DET histoire/NOUN d'/ADP un/DET auteur/NOUN qui/PRON livre/VERB ses/DET pensées/NOUN avec/ADP passion/NOUN ./PUNCT
Intriguée/ADJ ,/PUNCT Marie/PROPN se/PRON livre/VERB alors/ADV à/ADP une/DET lecture/NOUN attentive/ADJ ./PUNCT
À/ADP la/DET fin/NOUN ,/PUNCT elle/PRON trouve/VERB que/SCONJ ce/DET livre/NOUN est/AUX un/DET chef-d'œuvre/NOUN ./PUNCT
Elle/PRON décide/VERB de/ADP recommander/VERB ce/DET livre/NOUN à/ADP ses/DET amis/NOUN ,/PUNCT espérant/VERB qu'/SCONJ ils/PRON l'/PRON apprécieront/VERB autant/ADV que/SCONJ elle/PRON ./PUNCT
Le/DET lendemain/NOUN ,/PUNCT Marie/PROPN commence/VERB un/DET nouveau/ADJ livre/NOUN ,/PUNCT car/CCONJ elle/PRON ne/ADV peut/VERB pas/ADV s'/PRON arrêter/VERB de/ADP lire/VERB ./PUNCT
Ce/PRON peut/VERB surprendre/VERB certains/PRON ,/PUNCT mais/CCONJ ce/PRON est/AUX vrai/ADJ ./PUNCT

Étape 1 : les étiquettes candidates

Un étiqueteur n’invente pas d’étiquette : il compare les étiquettes qu’un mot peut avoir. Le corpus en montre deux pour livre, NOUN et VERB, donc l’étiqueteur calcule un score pour chacune, et le plus haut l’emporte (Figure 11figure 11).

Étape 2 : le mot, sachant chaque étiquette

La première question compte, parmi les mots qui portent chaque étiquette, la part qui sont livre : parmi les noms d’abord, puis parmi les verbes, et non parmi les occurrences de livre (Figure 12figure 12).

• 5 des 16 noms sont livre : 0,313, qui s’écrit P(livre | NOUN) ;
• 2 des 17 verbes sont livre : 0,118, qui s’écrit P(livre | VERB).

Sur cette seule question, NOUN est en tête. C’est encore l’étiquette la plus fréquente, et elle est fausse ici : le mot seul ne permet pas de distinguer ce livre du nom.

Étape 3 : chaque étiquette, sachant l’étiquette précédente

La seconde question porte sur ce qui vient d’habitude après l’étiquette précédente, l’information que l’étiquette la plus fréquente n’utilisait jamais. Le mot avant livre est qui, un pronom, et le corpus compte 13 mots après un pronom (Figure 13figure 13).

• aucun n’est un nom : 0, qui s’écrit P(NOUN | PRON) ;
• 7 sont des verbes : 0,538, qui s’écrit P(VERB | PRON).

Étape 4 : combiner les deux

L’étiqueteur a besoin d’un score par étiquette qui tienne compte des deux réponses, et il les multiplie (Figure 14figure 14). Un produit n’est élevé que si les deux nombres le sont, et un zéro dans l’un des deux annule le produit entier : NOUN obtient 0,313 × 0 = 0, et VERB 0,118 × 0,538 = 0,063.

VERB l’emporte. L’étiquette précédente a renversé l’avance que NOUN avait sur le mot seul, et l’étiqueteur étiquette ce livre comme un verbe, alors que livre est le plus souvent un nom.

Un compte nul a décidé ce cas, et dans un corpus d’une centaine de mots, cela arrive tout le temps : une séquence absente du corpus devient impossible, alors qu’elle n’est que rare. Les vrais étiqueteurs corrigent ce problème en donnant à chaque compte un petit minimum, de sorte qu’une séquence jamais vue dans le corpus soit improbable plutôt qu’impossible (Jurafsky & Martin, 2026).

La méthode comme règle

Pour chaque mot d’un texte, un étiqueteur bigramme fait les trois mêmes choses avec des comptes tirés d’un corpus étiqueté :

1. il fait la liste des étiquettes que le mot peut avoir ;
2. pour chaque étiquette, il multiplie la part du mot parmi les mots qui portent cette étiquette, P(mot | étiquette), par la part de cette étiquette parmi les mots qui suivent l’étiquette précédente, P(étiquette | étiquette précédente) ;
3. il garde l’étiquette dont le produit est le plus grand.

Aucune règle ne dit nulle part que livre après qui est un verbe, et la méthode n’utilise jamais ce que livre veut dire : seuls les comptes décident.

L’exercise 1 "the word given the tag, for the noun"exercice 1 « le mot sachant l'étiquette, pour le nom » et les exercices qui le suivent appliquent les quatre mêmes étapes à un autre mot, montre, dans un bracelet de montre, puis à il attend, montre en main, où la règle donne la mauvaise réponse.

The corpus

The exercises below apply the four steps of the worked example to another word, watch, which can be a noun (an old watch) or a verb (the children watch the birds) (see also the Tagging with probabilities from an annotated corpus page) (voir aussi la page Étiqueter avec des probabilités tirées d'un corpus annoté). Most of them are about the sentence She/PRON checks/VERB her/PRON watch/?. The counts come from the small tagged corpus below, in which each word is followed by its tag from the Universal Dependencies tagset tagsetjeu d'étiquettes NLPTAL The set of labels available to a part-of-speech tagger or to an annotation task, from which exactly one is given to each word.Ensemble des étiquettes dont dispose un étiqueteur morphosyntaxique ou une tâche d'annotation, et dont exactement une est attribuée à chaque mot. : NOUN for a noun, VERB for a verb, DET for a determiner, PRON for a pronoun, PUNCT for punctuation, and so on. Universal Dependencies tags possessives such as her and his as pronouns. The corpus has been tokenized the way a tagger’s training data usually is, so can’t appears as ca n’t.

Lea/PROPN wears/VERB an/DET old/ADJ watch/NOUN on/ADP her/PRON wrist/NOUN ./PUNCT
Her/PRON grandfather/NOUN shows/VERB her/PRON how/ADV to/PART wind/VERB it/PRON ./PUNCT
Every/DET morning/NOUN ,/PUNCT the/DET children/NOUN watch/VERB the/DET birds/NOUN in/ADP their/PRON garden/NOUN ./PUNCT
A/DET guide/NOUN takes/VERB visitors/NOUN to/ADP a/DET workshop/NOUN where/ADV craftsmen/NOUN repair/VERB clocks/NOUN for/ADP them/PRON ./PUNCT
He/PRON explains/VERB ,/PUNCT pointing/VERB at/ADP the/DET parts/NOUN ,/PUNCT that/SCONJ a/DET watch/NOUN needs/VERB patience/NOUN ./PUNCT
Visitors/NOUN watch/VERB as/SCONJ his/PRON apprentices/NOUN work/VERB in/ADP silence/NOUN ./PUNCT
On/ADP the/DET last/ADJ day/NOUN ,/PUNCT Lea/PROPN and/CCONJ Tom/PROPN watch/VERB a/DET demonstration/NOUN ./PUNCT
They/PRON ca/AUX n't/PART believe/VERB how/ADV small/ADJ the/DET parts/NOUN are/AUX ./PUNCT

To answer, count in the corpus: all the nouns and all the verbs, those that are the form watch, and what follows each pronoun and each punctuation mark. Each line is one sentence, and you count what follows a word inside its sentence: the final full stop is followed by nothing. The probabilities are shares, so write them as decimals or as percentages, rounded to two decimals.

Exercises

Le corpus

Les exercices ci-dessous appliquent les quatre étapes de l’exemple détaillé à un autre mot, montre, qui peut être un nom (une montre en or) ou un verbe (il lui montre le chemin) (see also the Tagging with probabilities from an annotated corpus page) (voir aussi la page Étiqueter avec des probabilités tirées d'un corpus annoté). La plupart portent sur la phrase Elle/PRON cherche/VERB un/DET bracelet/NOUN de/ADP montre/?. Les comptes viennent du petit corpus étiqueté ci-dessous, où chaque mot est suivi de son étiquette dans le jeu d’étiquettes tagsetjeu d'étiquettes NLPTAL The set of labels available to a part-of-speech tagger or to an annotation task, from which exactly one is given to each word.Ensemble des étiquettes dont dispose un étiqueteur morphosyntaxique ou une tâche d'annotation, et dont exactement une est attribuée à chaque mot. d’Universal Dependencies : NOUN pour un nom, VERB pour un verbe, DET pour un déterminant, ADP pour une préposition, PUNCT pour une ponctuation, et ainsi de suite. Le corpus a été normalisé comme le sont d’habitude les données d’entraînement d’un étiqueteur, si bien que au y apparaît sous la forme à le et c’est sous la forme ce est.

Léa/PROPN porte/VERB une/DET montre/NOUN en/ADP or/NOUN à/ADP le/DET poignet/NOUN ./PUNCT
Son/DET grand-père/NOUN lui/PRON montre/VERB comment/ADV la/PRON remonter/VERB ./PUNCT
Chaque/DET matin/NOUN ,/PUNCT les/DET enfants/NOUN observent/VERB les/DET oiseaux/NOUN avec/ADP attention/NOUN ./PUNCT
Un/DET guide/NOUN montre/VERB à/ADP les/DET visiteurs/NOUN un/DET atelier/NOUN d'/ADP horlogerie/NOUN ./PUNCT
Il/PRON explique/VERB ,/PUNCT montrant/VERB les/DET pièces/NOUN ,/PUNCT qu'/SCONJ une/DET montre/NOUN demande/VERB de/ADP la/DET patience/NOUN ./PUNCT
Les/DET apprentis/NOUN travaillent/VERB en/ADP silence/NOUN ,/PUNCT sous/ADP le/DET regard/NOUN de/ADP les/DET visiteurs/NOUN ./PUNCT
Le/DET dernier/ADJ jour/NOUN ,/PUNCT Léa/PROPN montre/VERB fièrement/ADV son/DET travail/NOUN ./PUNCT
Elle/PRON trouve/VERB cela/PRON difficile/ADJ à/ADP croire/VERB ,/PUNCT mais/CCONJ ce/PRON est/AUX vrai/ADJ ./PUNCT

Pour répondre, comptez dans le corpus : tous les noms et tous les verbes, ceux qui sont la forme montre, et ce qui suit chaque préposition et chaque ponctuation. Chaque ligne est une phrase, et on compte ce qui suit un mot à l’intérieur de sa phrase : le point final n’est suivi de rien. Les probabilités sont des proportions : écrivez-les en décimales ou en pourcentages, arrondies à deux décimales.

Exercices

Unknown words

The bigram tagger has three weaknesses, and the first shows as soon as it tags a text other than its corpus. A word that never occurred in the training corpus training corpusbase d'apprentissage datadonnées A collection of text or other language data used to estimate or update a model's parameters during training or pretraining.Collection de textes ou d'autres données langagières servant à estimer ou à mettre à jour les paramètres d'un modèle pendant l'entraînement ou le préentraînement. has no counts, so P(word | tag) is zero for every tag and the first half of the product says nothing. Every real text contains such words, since new nouns, names and verbs appear all the time, and languages with rich morphology have far more word forms, and so far more unknown words (Jurafsky & Martin, 2026). Three strategies help (Figure 15figure 15):

• rely on the second half of the product alone, the tag that usually follows the previous tag;
• assume the unknown word belongs to an open class, since the closed classes, determiners, pronouns and prepositions, are all already in the corpus;
• look at the shape of the word: a capital letter suggests a proper noun, a word ending in -ly is usually an adverb, one ending in -ed a verb.

The third strategy adds information of a new kind: not a count of the word, which does not exist, but a measurable property of its form.

Errors that spread

The second weakness is built into the method as the worked example applies it, from left to right. Each tag is chosen partly from the tag before it, so a wrong tag changes the odds for the next word, and one error can produce a run of them. Suppose a tagger takes time in time flies like an arrow for a verb, as in time the runners. A noun is then a likely tag for flies, and after a noun a verb is a likely tag for like: one wrong tag has become three (Figure 16figure 16). A tagger that chooses the tags for the whole sentence at once can still revise time in the light of the words after it; one that works strictly from left to right cannot.

A context of one word

The third weakness is the size of the window: one word back is very little context, and the information that settles a tag is often further away (Jurafsky & Martin, 2026). A tagset tagsetjeu d'étiquettes NLPTAL The set of labels available to a part-of-speech tagger or to an annotation task, from which exactly one is given to each word.Ensemble des étiquettes dont dispose un étiqueteur morphosyntaxique ou une tâche d'annotation, et dont exactement une est attribuée à chaque mot. such as the Penn Treebank’s records number in the tag, and the tag of sheep in the sheep that the farmer bought last week are hungry is plural (NNS) because of are, seven words later; no bigram can reach it (Figure 17figure 17).

Les mots inconnus

L’étiqueteur bigramme a trois faiblesses, et la première apparaît dès qu’il étiquette un autre texte que son corpus. Un mot absent de la base d’apprentissage training corpusbase d'apprentissage datadonnées A collection of text or other language data used to estimate or update a model's parameters during training or pretraining.Collection de textes ou d'autres données langagières servant à estimer ou à mettre à jour les paramètres d'un modèle pendant l'entraînement ou le préentraînement. n’a aucun compte, donc P(mot | étiquette) vaut zéro pour toutes les étiquettes, et la première moitié du produit ne dit rien. Tout texte réel contient de tels mots, puisque de nouveaux noms, noms propres et verbes apparaissent sans cesse, et les langues à morphologie riche ont beaucoup plus de formes de mots, donc beaucoup plus de mots inconnus (Jurafsky & Martin, 2026). Trois stratégies aident (Figure 15figure 15) :

• se fier à la seconde moitié du produit seule, l’étiquette qui suit d’habitude l’étiquette précédente ;
• supposer que le mot inconnu appartient à une classe ouverte, puisque les classes fermées, déterminants, pronoms et prépositions, sont toutes déjà dans le corpus ;
• regarder la forme du mot : une majuscule suggère un nom propre, un mot en -ment est d’habitude un adverbe, un mot en -ait un verbe.

La troisième stratégie apporte une information d’un nouveau genre : non pas un compte du mot, qui n’existe pas, mais une propriété mesurable de sa forme.

Les erreurs qui se propagent

La deuxième faiblesse tient à la méthode telle que l’exemple détaillé l’applique, de gauche à droite. Chaque étiquette est choisie en partie d’après l’étiquette précédente, donc une étiquette fausse change les chances du mot suivant, et une erreur peut en entraîner une série. Supposons qu’un étiqueteur prenne le dans elle le livre demain pour un déterminant, comme dans le livre est long. Après un déterminant, un nom est l’étiquette la plus probable pour livre : une étiquette fausse en a entraîné une deuxième (Figure 16figure 16). Un étiqueteur qui choisit les étiquettes de toute la phrase à la fois peut encore réviser le à la lumière des mots qui suivent ; un étiqueteur qui travaille strictement de gauche à droite ne le peut pas.

Un contexte d’un seul mot

La troisième faiblesse est la taille de la fenêtre : un mot en arrière, c’est très peu de contexte, et l’information qui fixe une étiquette se trouve souvent plus loin (Jurafsky & Martin, 2026). Avec un jeu d’étiquettes tagsetjeu d'étiquettes NLPTAL The set of labels available to a part-of-speech tagger or to an annotation task, from which exactly one is given to each word.Ensemble des étiquettes dont dispose un étiqueteur morphosyntaxique ou une tâche d'annotation, et dont exactement une est attribuée à chaque mot. qui consigne le genre et le nombre dans l’étiquette, comme MULTITAG, l’étiquette de cueillies dans les fleurs que Marie a cueillies est féminin pluriel à cause de fleurs, quatre mots plus tôt ; aucun bigramme ne peut l’atteindre (Figure 17figure 17).

From counts to features

The ending and the capital letter that help with an unknown word help with every word, and so do the word before, the word after, the tag before and the length of the word. A feature-based tagger combines many such clues, each a feature featureattribut machine learningapprentissage automatique A property or representation of an observation that a machine-learning model uses as input when making a prediction.Propriété ou représentation d'une observation qu'un modèle d'apprentissage automatique utilise en entrée pour produire une prédiction. a person chose to measure, and learns from the tagged corpus how much each one counts (Figure 18figure 18).

This is machine learning machine learning (ML)apprentissage automatique machine learningapprentissage automatique An approach to artificial intelligence in which a model is trained on data or experience so that its adjustable parameters come to reflect patterns relevant to a task.Approche de l'intelligence artificielle dans laquelle un modèle est entraîné sur des données ou sur l'expérience, de sorte que ses paramètres ajustables en viennent à refléter des régularités pertinentes pour une tâche. with people still choosing what to measure (see also the Features for language page, in the Foundations of AI & NLP module) (voir aussi la page Les attributs pour la langue, dans le module Fondements de l'IA et du TAL). Its limit is that someone has to think of every clue.

Tagging today

Neural taggers, trained on the same tagged corpora, find their own clues in the words and their context (see also the How a network learns page, in the Foundations of AI & NLP module) (voir aussi la page Comment un réseau apprend, dans le module Fondements de l'IA et du TAL) (Figure 19figure 19).

Where that leaves the task (Jurafsky & Martin, 2026):

• The scores: about 97 % on English and on fifteen Universal Dependencies languages, whatever the method, which is also the level of human agreement. Many of the remaining errors are in the gold standard gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. itself (Manning, 2011) (see also the Ambiguous word classes page) (voir aussi la page L'ambiguïté des classes de mots).
• The tools: trained taggers run inside the standard text-analysis toolkits. A large language model large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. will also tag a sentence given a prompt promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. : in one test on 6 October 2026, Gemini 3 Pro tagged three test sentences correctly, a classic garden-path sentence among them (Figure 20figure 20). For whole corpora, a trained tagger is still faster, cheaper and more predictable.
• What still costs: unknown words, rich morphology, and texts unlike the training texts, such as tweets for a tagger trained on newspapers (Manning, 2011).

Where you see tagging

You will rarely run a tagger yourself, but you will see its output wherever a tool uses grammatical classes, for instance:

• the word sketches and the searches by class of a concordancer (see also the Corpus analysis module) (voir aussi le module L'analyse de corpus);
• the lemmas lemmalemme linguisticslinguistique The base or dictionary form under which the inflected forms of a word are grouped: go, goes, went and gone share the lemma go.Forme de base, ou forme de dictionnaire, sous laquelle sont regroupées les formes fléchies d'un mot : va, allons, allait et allé partagent le lemme aller. many tools assign, since a lemmatizer often needs the tag to choose between two lemmas (see also the Lemmatization and stemming page) (voir aussi la page Lemmatisation et racinisation);
• the grammar checks of a word processor.

Because every occurrence in its corpus is tagged, Sketch Engine treats book as a noun and book as a verb as two different words, with sketches that share almost nothing (Figure 21figure 21). The counts show the most frequent tag at work on a real corpus: the noun is about fifteen times as frequent as the verb.

When such a tool makes an odd mistake, a tag wrongly assigned to an ambiguous word is often the reason.

Des comptes aux attributs

La terminaison et la majuscule qui aident pour un mot inconnu aident pour tous les mots, tout comme le mot précédent, le mot suivant, l’étiquette précédente et la longueur du mot. Un étiqueteur fondé sur des attributs combine de nombreux indices de ce genre, chacun étant un attribut featureattribut machine learningapprentissage automatique A property or representation of an observation that a machine-learning model uses as input when making a prediction.Propriété ou représentation d'une observation qu'un modèle d'apprentissage automatique utilise en entrée pour produire une prédiction. qu’une personne a choisi de mesurer, et apprend du corpus étiqueté le poids de chacun (Figure 18figure 18).

C’est de l’apprentissage automatique machine learning (ML)apprentissage automatique machine learningapprentissage automatique An approach to artificial intelligence in which a model is trained on data or experience so that its adjustable parameters come to reflect patterns relevant to a task.Approche de l'intelligence artificielle dans laquelle un modèle est entraîné sur des données ou sur l'expérience, de sorte que ses paramètres ajustables en viennent à refléter des régularités pertinentes pour une tâche. où des personnes choisissent encore ce qu’il faut mesurer (see also the Features for language page, in the Foundations of AI & NLP module) (voir aussi la page Les attributs pour la langue, dans le module Fondements de l'IA et du TAL). Sa limite est que quelqu’un doit penser à chaque indice.

L’étiquetage aujourd’hui

Les étiqueteurs neuronaux, entraînés sur les mêmes corpus étiquetés, trouvent leurs propres indices dans les mots et leur contexte (see also the How a network learns page, in the Foundations of AI & NLP module) (voir aussi la page Comment un réseau apprend, dans le module Fondements de l'IA et du TAL) (Figure 19figure 19).

Où en est la tâche (Jurafsky & Martin, 2026) :

• Les scores : environ 97 % en anglais et dans quinze langues d’Universal Dependencies, quelle que soit la méthode, ce qui est aussi le niveau de l’accord humain. Bien des erreurs restantes se trouvent dans l’étalon de référence gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. lui-même (Manning, 2011) (see also the Ambiguous word classes page) (voir aussi la page L'ambiguïté des classes de mots).
• Les outils : des étiqueteurs entraînés sont intégrés aux boîtes à outils courantes d’analyse de texte. Un grand modèle de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. (GML) étiquette aussi une phrase à partir d’une requête promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie.  : lors d’un test le 6 octobre 2026, Gemini 3 Pro a correctement étiqueté trois phrases anglaises, dont une phrase qui égare d’abord le lecteur (angl. garden-path sentence) (Figure 20figure 20). Pour des corpus entiers, un étiqueteur entraîné reste plus rapide, moins coûteux et plus prévisible.
• Ce qui fait encore baisser les scores : les mots inconnus, la morphologie riche, et les textes différents des textes d’entraînement, comme des tweets pour un étiqueteur entraîné sur des journaux (Manning, 2011).

Où vous voyez l’étiquetage

Vous lancerez rarement un étiqueteur vous-même, mais vous verrez ses résultats partout où un outil se sert des classes grammaticales, par exemple :

• les Word Sketches et les recherches par classe d’un concordancier (see also the Corpus analysis module) (voir aussi le module L'analyse de corpus) ;
• les lemmes lemmalemme linguisticslinguistique The base or dictionary form under which the inflected forms of a word are grouped: go, goes, went and gone share the lemma go.Forme de base, ou forme de dictionnaire, sous laquelle sont regroupées les formes fléchies d'un mot : va, allons, allait et allé partagent le lemme aller. que de nombreux outils attribuent, puisqu’un lemmatiseur a souvent besoin de l’étiquette pour choisir entre deux lemmes (see also the Lemmatization and stemming page) (voir aussi la page Lemmatisation et racinisation) ;
• les vérifications grammaticales d’un traitement de texte.

Comme chaque occurrence de son corpus est étiquetée, Sketch Engine traite le nom book et le verbe book comme deux mots différents, avec des Word Sketches qui n’ont presque rien en commun, ici dans un corpus anglais (Figure 21figure 21). Les comptes montrent l’étiquette la plus fréquente à l’œuvre sur un vrai corpus : le nom est environ quinze fois plus fréquent que le verbe.

Quand un tel outil fait une erreur étrange, une étiquette mal attribuée à un mot ambigu en est souvent la cause.