Ambiguous word classesL'ambiguïté des classes de mots

TRA2600 S5 · in classS5 · en classe

One form, several classes

The reason tagging is a task at all is that the form of a word does not tell you its class. Book is a verb in book that flight and a noun in hand me that book; fast is an adjective in a fast car and an adverb in she runs fast. The table below gives four English words with two readings each.

Word	One reading	The other
book	Hand me that book. (noun)	Book that flight. (verb)
back	She sat in the back. (noun)	Senators back the bill. (verb)
fast	A fast car. (adjective)	She runs fast. (adverb)
that	That book is mine. (determiner)	The book that I read. (relative pronoun)

A tagger therefore cannot simply look a word up: it has to assign each occurrence one of the word’s possible tags. Tagging is a disambiguation task (Jurafsky & Martin, 2026).

How much of a text is ambiguous

Counted over the word types of a corpus, ambiguity looks like a minor problem: in two large English corpora, the Wall Street Journal section of the Penn Treebank (Marcus et al., 1993) and the Brown corpus (Francis & Kučera, 1979), about 85 % of the types have a single possible tag. Counted over the word tokens, it is the normal case: the ambiguous types are among the most frequent words of the language, and 55 to 67 % of the tokens in those corpora are ambiguous (Jurafsky & Martin, 2026). Figure 3figure 3 shows the two counts for the Wall Street Journal.

The words with the most readings are short function words and common verbs: in English that, back, down, put and set; back alone can take six tags (Jurafsky & Martin, 2026). Word classes are one kind of ambiguity among several, and frequency goes with the others too. Piantadosi et al. (2012) found that in English, German and Dutch, more frequent word forms have more homophones, and that in English more frequent words have more senses, even with word length taken into account, a link Zipf had already observed. They read it as efficiency: short, frequent forms are easy to produce and to process, so a language reuses them for several meanings and leaves the context to tell them apart.

Where annotators disagree

Ambiguity is not only a problem for programs. When people tag a corpus by hand, following written guidelines, they agree on about 97 % of the tags, and many of the remaining 3 % are cases where the grammar gives no clean answer (Manning, 2011). English -ing forms before a noun are the classic case, and the table below applies one test to three of them: an adjective takes very, a verb form does not.

Phrase	With very	Reading
a boring lecture	a very boring lecture works	adjective
the falling leaves	the very falling leaves does not	verb form
sparkling lemonade	very sparkling lemonade: doubtful	between the two, for the guidelines to settle

The last row is the kind of case the guidelines have to decide, and the kind on which two annotators can still differ. Manning (2011) went through a hundred errors of a state-of-the-art English tagger and found that more than 40 % of them were cases where the gold standard gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. itself was wrong or inconsistent, and another 12 % cases like the last row, where the tag is underspecified in context; only a minority could have been fixed by a better tagger (Figure 4figure 4).The 97 % figure for human agreement goes back to an estimate in the Penn Treebank’s own documentation; when two annotators tagged from scratch rather than correcting a tagger’s output, they disagreed on 7.2 % of the words (Manning, 2011).

That figure, 97 %, is also the accuracy accuracyexactitude evaluationévaluation The share of all decisions of a system that are correct, true positives and true negatives together.Part de toutes les décisions d'un système qui sont correctes, vrais positifs et vrais négatifs ensemble. that the best taggers reach today, whatever the method (Jurafsky & Martin, 2026). It is a figure per word: counted per sentence, a tagger that gets 97 % of the words right gets only about 56 % of the sentences entirely right (Manning, 2011; Figure 5figure 5). Jurafsky and Martin (2026) call 97 % the human ceiling. A tagger is evaluated against tags that people assigned, and on the cases where the guidelines leave two answers open, a tag that differs from the gold standard is not necessarily wrong. The agreement between annotators is therefore best read as the point of comparison for a tagger’s score, not as a limit it cannot pass (see also the Agreement between annotators page, in the Evaluating language technology module) (voir aussi la page L'accord entre annotateurs, dans le module L'évaluation des technologies langagières).

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Updated 6 October 2026

Une forme, plusieurs classes

Si l’étiquetage est une tâche, c’est parce que la forme d’un mot ne dit pas sa classe. Marche est un verbe dans je marche lentement et un nom dans une marche en forêt ; fort est un adjectif dans un homme fort et un adverbe dans il travaille fort. Le tableau ci-dessous donne quatre mots français à deux lectures.

Mot	Une lecture	L’autre
marche	Je marche lentement. (verbe)	Une marche en forêt. (nom)
livre	Elle me donne un livre. (nom)	Il livre ses pensées. (verbe)
fort	Un homme fort. (adjectif)	Il travaille fort. (adverbe)
que	Le garçon que je vois. (pronom relatif)	Je crois que tu as raison. (conjonction de subordination)

Un étiqueteur ne peut donc pas simplement chercher un mot dans une liste : il doit attribuer à chaque occurrence l’une des étiquettes possibles du mot. L’étiquetage est une tâche de désambiguïsation (Jurafsky & Martin, 2026).

Quelle part d’un texte est ambiguë

Comptée sur les types de mots d’un corpus, l’ambiguïté semble un problème mineur : dans deux grands corpus anglais, la section Wall Street Journal du Penn Treebank (Marcus et al., 1993) et le corpus Brown (Francis & Kučera, 1979), environ 85 % des types n’ont qu’une étiquette possible. Comptée sur les occurrences, elle est la norme : les types ambigus sont parmi les mots les plus fréquents de la langue, et 55 à 67 % des occurrences de ces corpus sont ambiguës (Jurafsky & Martin, 2026). La Figure 3figure 3 montre les deux comptes pour le Wall Street Journal.

Les mots qui ont le plus de lectures sont de petits mots grammaticaux et des verbes courants : en anglais that, back, down, put et set ; back peut à lui seul prendre six étiquettes (Jurafsky & Martin, 2026). Les classes de mots sont une forme d’ambiguïté parmi d’autres, et la fréquence va de pair avec les autres aussi. Piantadosi et al. (2012) ont constaté qu’en anglais, en allemand et en néerlandais, les formes de mots les plus fréquentes ont plus d’homophones, et qu’en anglais les mots les plus fréquents ont plus de sens, même à longueur égale, un lien que Zipf avait déjà observé. Ils y voient une question d’efficacité : les formes courtes et fréquentes sont faciles à produire et à traiter, si bien qu’une langue les réutilise pour plusieurs sens et laisse au contexte le soin de les distinguer.

Là où les annotateurs divergent

L’ambiguïté n’est pas un problème réservé aux programmes. Quand des personnes étiquettent un corpus à la main en suivant des consignes écrites, elles s’accordent sur environ 97 % des étiquettes, et bien des 3 % restants sont des cas où la grammaire ne donne pas de réponse nette (Manning, 2011). En anglais, les formes en -ing devant un nom sont le cas classique, et le tableau ci-dessous applique un test à trois d’entre elles : un adjectif accepte very (« très »), une forme verbale non.

Expression	Avec very	Lecture
a boring lecture	a very boring lecture fonctionne	adjectif
the falling leaves	the very falling leaves ne fonctionne pas	forme verbale
sparkling lemonade	very sparkling lemonade : douteux	entre les deux, aux consignes de trancher

La dernière ligne est le genre de cas que les consignes doivent trancher, et sur lequel deux annotateurs peuvent encore diverger. Manning (2011) a examiné cent erreurs d’un étiqueteur anglais de pointe et a constaté que plus de 40 % d’entre elles étaient des cas où l’étalon de référence gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. lui-même était erroné ou incohérent, et 12 % de plus des cas comme la dernière ligne, où l’étiquette est sous-spécifiée dans le contexte ; seule une minorité aurait pu être corrigée par un meilleur étiqueteur (Figure 4figure 4).Le chiffre de 97 % d’accord entre personnes remonte à une estimation de la documentation du Penn Treebank ; quand deux annotateurs étiquetaient à partir de zéro au lieu de corriger la sortie d’un étiqueteur, ils divergeaient sur 7,2 % des mots (Manning, 2011).

Ce chiffre de 97 % est aussi l’exactitude accuracyexactitude evaluationévaluation The share of all decisions of a system that are correct, true positives and true negatives together.Part de toutes les décisions d'un système qui sont correctes, vrais positifs et vrais négatifs ensemble. qu’atteignent aujourd’hui les meilleurs étiqueteurs, quelle que soit la méthode (Jurafsky & Martin, 2026). C’est un chiffre par mot : compté par phrase, un étiqueteur qui a juste 97 % des mots n’a qu’environ 56 % des phrases entièrement justes (Manning, 2011 ; Figure 5figure 5). Jurafsky et Martin (2026) appellent 97 % le plafond humain. Un étiqueteur est évalué par rapport à des étiquettes attribuées par des personnes, et dans les cas où les consignes laissent deux réponses ouvertes, une étiquette qui diffère de l’étalon de référence n’est pas forcément fausse. L’accord entre annotateurs se lit donc mieux comme un point de comparaison pour le score d’un étiqueteur que comme une limite infranchissable (see also the Agreement between annotators page, in the Evaluating language technology module) (voir aussi la page L'accord entre annotateurs, dans le module L'évaluation des technologies langagières).

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Mise à jour 7 octobre 2026