Named entity recognition: one task up closeLa reconnaissance d'entités nommées : une tâche vue de près
TRA2600 S5 · in classS5 · en classe
What the task does
In the sentence In March, Marie Tremblay left Hydro-Québec for a job at McGill University in Montreal, a reader recognizes four names without effort: a person, two organizations and a city. Named entity recognition is the task of doing the same automatically: finding every stretch of a text that is a proper name, and labelling its type (Figure 2figure 2).
Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.
Four types are used most often, for persons, organizations, locations and geopolitical entities such as countries. The task is often extended to dates, times and amounts of money, which are not names in the strict sense (Jurafsky & Martin, 2026). Applications add their own types, for instance products, works of art or, in medicine, genes and proteins.
Where it gets hard
The task sounds simple because reading a name is simple for you. Figure 3figure 3 shows one sentence annotated by three people: they agree that Marie Tremblay is a person, and differ on five points, numbered above the sentence.
The difficulties of the task are of three kinds. The table below sorts them, with the cases from the figure and a few others.
| Difficulty | Examples | For people | For a program |
|---|---|---|---|
| ① Decided by the guidelines | Does Dr. belong to the person? Does March count? Is McGill University also marked inside the longer name? Elsewhere: the status of job titles, products or nicknames. | Most are easy when the guidelines are clear; where they say nothing, people disagree too. | Depends on whether its rules cover these cases, or whether its training examples contain enough of them, and on how easy they are to recognize in the text. |
| ② Hard for people and programs | Where the name stops: the health centre or the university, two different organizations; finding where a name begins and ends is part of the task (Jurafsky & Martin, 2026). Washington: the city, the state or, as a shorthand, the American government. | People disagree even with guidelines, because the sentence can be read either way. | The same difficulty: nothing in the sentence decides. |
| ③ Hard mainly for programs | Washington is a president, a city or a sports team depending on the sentence (Jurafsky & Martin, 2026). A name never seen before: a new company, a name from another language, a name written without a capital letter. | People rarely hesitate when the sentence settles the type. | Has to have learned which surrounding words point to which type: an unusual context misleads it, and an unknown name offers fewer of the clues it relies on (see also the Features for language page, in the Foundations of AI & NLP module) (voir aussi la page Les attributs pour la langue, dans le module Fondements de l'IA et du TAL). |
The people who annotate a text to produce the correct answers follow the guidelines (see also the gold standard page, in the Evaluating language technology module) (voir aussi la page L'étalon de référence, dans le module L'évaluation des technologies langagières) and still do not always agree. How far they agree is the point of comparison for any program’s score, and their disagreement is an important factor in the evaluation of NLP systems (see also the Agreement between annotators page, in the Evaluating language technology module) (voir aussi la page L'accord entre annotateurs, dans le module L'évaluation des technologies langagières).
Ce que fait la tâche
Dans la phrase En mars, Marie Tremblay a quitté Hydro-Québec pour l’Université McGill, à Montréal, on reconnaît sans effort quatre noms : une personne, deux organisations et une ville. La reconnaissance d’entités nommées consiste à faire la même chose automatiquement : trouver chaque passage d’un texte qui est un nom propre et en indiquer le type (Figure 2figure 2).
Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.
Quatre types sont les plus courants : les personnes, les organisations, les lieux et les entités géopolitiques comme les pays. La tâche est souvent élargie aux dates, aux heures et aux sommes d’argent, qui ne sont pas des noms au sens strict (Jurafsky & Martin, 2026). Les applications ajoutent leurs propres types, par exemple des produits, des œuvres d’art ou, en médecine, des gènes et des protéines.
Là où la tâche se complique
La tâche paraît simple parce que lire un nom est simple pour vous. La Figure 3figure 3 montre une phrase annotée par trois personnes : elles s’accordent sur le fait que Marie Tremblay est une personne, et divergent sur cinq points, numérotés au-dessus de la phrase.
Les difficultés de la tâche sont de trois sortes. Le tableau ci-dessous les range avec les cas de la figure et d’autres exemples.
| Difficulté | Exemples | Pour les personnes | Pour un programme |
|---|---|---|---|
| ① Réglée par les consignes d’annotation | Dre fait-il partie du nom ? mars compte-t-il ? McGill s’annote-t-il aussi à l’intérieur du nom plus long ? Ailleurs : le statut des titres de fonction, des produits ou des surnoms. | La plupart sont faciles quand les consignes sont claires ; là où elles ne disent rien, les personnes divergent aussi. | Tout dépend de ce que couvrent ses règles, ou de la présence de ces cas en nombre suffisant dans ses exemples d’entraînement, et de la facilité à les reconnaître dans le texte. |
| ② Difficile pour les personnes comme pour les programmes | L’endroit où le nom s’arrête : le centre universitaire de santé ou l’Université McGill dont il relève, deux organisations différentes ; trouver où un nom commence et où il finit fait partie de la tâche (Jurafsky & Martin, 2026). Washington : la ville, l’État ou, par raccourci, le gouvernement américain. | Divergent même avec des consignes, parce que la phrase se lit de deux façons. | Même difficulté : rien dans la phrase ne tranche. |
| ③ Difficile surtout pour les programmes | Washington est un président, une ville ou une équipe sportive selon la phrase (Jurafsky & Martin, 2026). Un nom jamais vu : une nouvelle entreprise, un nom d’une autre langue, un nom écrit sans majuscule. | Hésitent rarement quand la phrase règle le type. | Doit avoir appris quels mots du contexte signalent quel type : un contexte inhabituel l’induit en erreur, et un nom inconnu lui offre moins d’indices (see also the Features for language page, in the Foundations of AI & NLP module) (voir aussi la page Les attributs pour la langue, dans le module Fondements de l'IA et du TAL). |
Les personnes qui annotent un texte pour produire les bonnes réponses suivent les consignes (see also the gold standard page, in the Evaluating language technology module) (voir aussi la page L'étalon de référence, dans le module L'évaluation des technologies langagières) et ne s’accordent pourtant pas toujours. Leur degré d’accord sert de point de comparaison pour le score de tout programme, et leur désaccord est un facteur important dans l’évaluation des systèmes de TAL (see also the Agreement between annotators page, in the Evaluating language technology module) (voir aussi la page L'accord entre annotateurs, dans le module L'évaluation des technologies langagières).
Sources
- Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Sources
- Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/