Named entity recognition: one task up closeLa reconnaissance d'entités nommées : une tâche vue de près

TRA2600 S5 · in classS5 · en classe

What the task does

In the sentence In March, Marie Tremblay left Hydro-Québec for a job at McGill University in Montreal, a reader recognizes four names without effort: a person, two organizations and a city. Named entity recognition is the task of doing the same automatically: finding every stretch of a text that is a proper name, and labelling its type (Figure 2figure 2).

Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.

Figure 2. A sentence and the output of named entity recognition: four stretches, each with a type.

Four types are used most often, for persons, organizations, locations and geopolitical entities such as countries. The task is often extended to dates, times and amounts of money, which are not names in the strict sense (Jurafsky & Martin, 2026). Applications add their own types, for instance products, works of art or, in medicine, genes and proteins.

Where it gets hard

The task sounds simple because reading a name is simple for you. Figure 3figure 3 shows one sentence annotated by three people: they agree that Marie Tremblay is a person, and differ on five points, numbered above the sentence.

The sentence The McGill University Health Centre hired Dr. Marie Tremblay from Washington in March, annotated three times. Annotator A marks McGill University Health Centre as an organization, Dr. Marie Tremblay as a person, Washington as a place and March as a date. Annotator B marks McGill University as an organization, Marie Tremblay as a person and Washington as an organization, and leaves March unmarked. Annotator C marks McGill University Health Centre as an organization with McGill University marked as a second organization inside it, Marie Tremblay as a person, Washington as a place and March as a date. Above the sentence, the number 1 marks McGill University, Dr. and March, and the number 2 marks Health Centre and Washington.
Figure 3. One sentence, annotated by three people. The numbers refer to the rows of the table below.

The difficulties of the task are of three kinds. The table below sorts them, with the cases from the figure and a few others.

DifficultyExamplesFor peopleFor a program
① Decided by the guidelinesDoes Dr. belong to the person? Does March count? Is McGill University also marked inside the longer name? Elsewhere: the status of job titles, products or nicknames.Most are easy when the guidelines are clear; where they say nothing, people disagree too.Depends on whether its rules cover these cases, or whether its training examples contain enough of them, and on how easy they are to recognize in the text.
② Hard for people and programsWhere the name stops: the health centre or the university, two different organizations; finding where a name begins and ends is part of the task (Jurafsky & Martin, 2026). Washington: the city, the state or, as a shorthand, the American government.People disagree even with guidelines, because the sentence can be read either way.The same difficulty: nothing in the sentence decides.
③ Hard mainly for programsWashington is a president, a city or a sports team depending on the sentence (Jurafsky & Martin, 2026). A name never seen before: a new company, a name from another language, a name written without a capital letter.People rarely hesitate when the sentence settles the type.Has to have learned which surrounding words point to which type: an unusual context misleads it, and an unknown name offers fewer of the clues it relies on (see also the Features for language page, in the Foundations of AI & NLP module) (voir aussi la page Les attributs pour la langue, dans le module Fondements de l'IA et du TAL).
Three kinds of difficulty in named entity recognition.

The people who annotate a text to produce the correct answers follow the guidelines (see also the gold standard page, in the Evaluating language technology module) (voir aussi la page L'étalon de référence, dans le module L'évaluation des technologies langagières) and still do not always agree. How far they agree is the point of comparison for any program’s score, and their disagreement is an important factor in the evaluation of NLP systems (see also the Agreement between annotators page, in the Evaluating language technology module) (voir aussi la page L'accord entre annotateurs, dans le module L'évaluation des technologies langagières).

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Updated 7 October 2026

Ce que fait la tâche

Dans la phrase En mars, Marie Tremblay a quitté Hydro-Québec pour l’Université McGill, à Montréal, on reconnaît sans effort quatre noms : une personne, deux organisations et une ville. La reconnaissance d’entités nommées consiste à faire la même chose automatiquement : trouver chaque passage d’un texte qui est un nom propre et en indiquer le type (Figure 2figure 2).

Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.

Figure 2. Une phrase et la sortie de la reconnaissance d'entités nommées : quatre passages, chacun avec un type.

Quatre types sont les plus courants : les personnes, les organisations, les lieux et les entités géopolitiques comme les pays. La tâche est souvent élargie aux dates, aux heures et aux sommes d’argent, qui ne sont pas des noms au sens strict (Jurafsky & Martin, 2026). Les applications ajoutent leurs propres types, par exemple des produits, des œuvres d’art ou, en médecine, des gènes et des protéines.

Là où la tâche se complique

La tâche paraît simple parce que lire un nom est simple pour vous. La Figure 3figure 3 montre une phrase annotée par trois personnes : elles s’accordent sur le fait que Marie Tremblay est une personne, et divergent sur cinq points, numérotés au-dessus de la phrase.

La phrase Le Centre universitaire de santé McGill a embauché la Dre Marie Tremblay, de Washington, en mars, annotée trois fois. La première personne annote Centre universitaire de santé McGill comme organisation, Dre Marie Tremblay comme personne, Washington comme lieu et mars comme date. La deuxième annote McGill comme organisation, Marie Tremblay comme personne et Washington comme organisation, et n'annote pas mars. La troisième annote Centre universitaire de santé McGill comme organisation, avec McGill annoté comme seconde organisation à l'intérieur, Marie Tremblay comme personne, Washington comme lieu et mars comme date. Au-dessus de la phrase, le chiffre 1 marque McGill, Dre et mars, le chiffre 2 marque Centre universitaire de santé et Washington.
Figure 3. Une phrase, annotée par trois personnes. Les chiffres renvoient aux lignes du tableau ci-dessous.

Les difficultés de la tâche sont de trois sortes. Le tableau ci-dessous les range avec les cas de la figure et d’autres exemples.

DifficultéExemplesPour les personnesPour un programme
① Réglée par les consignes d’annotationDre fait-il partie du nom ? mars compte-t-il ? McGill s’annote-t-il aussi à l’intérieur du nom plus long ? Ailleurs : le statut des titres de fonction, des produits ou des surnoms.La plupart sont faciles quand les consignes sont claires ; là où elles ne disent rien, les personnes divergent aussi.Tout dépend de ce que couvrent ses règles, ou de la présence de ces cas en nombre suffisant dans ses exemples d’entraînement, et de la facilité à les reconnaître dans le texte.
② Difficile pour les personnes comme pour les programmesL’endroit où le nom s’arrête : le centre universitaire de santé ou l’Université McGill dont il relève, deux organisations différentes ; trouver où un nom commence et où il finit fait partie de la tâche (Jurafsky & Martin, 2026). Washington : la ville, l’État ou, par raccourci, le gouvernement américain.Divergent même avec des consignes, parce que la phrase se lit de deux façons.Même difficulté : rien dans la phrase ne tranche.
③ Difficile surtout pour les programmesWashington est un président, une ville ou une équipe sportive selon la phrase (Jurafsky & Martin, 2026). Un nom jamais vu : une nouvelle entreprise, un nom d’une autre langue, un nom écrit sans majuscule.Hésitent rarement quand la phrase règle le type.Doit avoir appris quels mots du contexte signalent quel type : un contexte inhabituel l’induit en erreur, et un nom inconnu lui offre moins d’indices (see also the Features for language page, in the Foundations of AI & NLP module) (voir aussi la page Les attributs pour la langue, dans le module Fondements de l'IA et du TAL).
Trois sortes de difficultés en reconnaissance d'entités nommées.

Les personnes qui annotent un texte pour produire les bonnes réponses suivent les consignes (see also the gold standard page, in the Evaluating language technology module) (voir aussi la page L'étalon de référence, dans le module L'évaluation des technologies langagières) et ne s’accordent pourtant pas toujours. Leur degré d’accord sert de point de comparaison pour le score de tout programme, et leur désaccord est un facteur important dans l’évaluation des systèmes de TAL (see also the Agreement between annotators page, in the Evaluating language technology module) (voir aussi la page L'accord entre annotateurs, dans le module L'évaluation des technologies langagières).

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Mise à jour 7 octobre 2026

Sources

  • Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/

Sources

  • Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/

Spotted an error? Une erreur ?

Language, content, a broken link: e-mail me what you saw and I will fix it. Langue, contenu, lien brisé : écrivez-moi ce que vous avez vu et je corrige.

ayla.rigouts.terryn@umontreal.ca

Please mention the page: Mentionnez la page :