Administrator
This teaching view is for the instructor. Enter the administrator password.
Wrong password · Mot de passe incorrect
Key pointsL'essentiel
Part-of-speech tagging (including an example of machine learning)L'étiquetage morphosyntaxique (y compris un exemple d'apprentissage automatique)
gives every word of a text a label naming its grammatical class; the labels come from a , and tagsets differ in size and in the distinctions they draw.
L' donne à chaque mot d'un texte une étiquette qui nomme sa classe grammaticale ; les étiquettes viennent d'un , et les jeux d'étiquettes diffèrent par leur taille et par les distinctions qu'ils font.
part-of-speech tagging (POS tagging) · fr: étiquetage morphosyntaxique étiquetage morphosyntaxique · en : part-of-speech tagging NLP TAL : The task of taking a sequence of tokenized words and a tagset, and assigning to each word one tag naming its grammatical class, such as noun or verb. Tâche qui consiste à prendre une suite de mots segmentés et un jeu d'étiquettes, puis à attribuer à chaque mot une étiquette nommant sa classe grammaticale, par exemple nom ou verbe.
tagset · fr: jeu d'étiquettes jeu d'étiquettes · en : tagset NLP TAL : The set of labels available to a part-of-speech tagger or to an annotation task, from which exactly one is given to each word. Ensemble des étiquettes dont dispose un étiqueteur morphosyntaxique ou une tâche d'annotation, et dont exactement une est attribuée à chaque mot.
Key pointsL'essentiel
Part-of-speech tagging (including an example of machine learning)L'étiquetage morphosyntaxique (y compris un exemple d'apprentissage automatique)
Most word types have one possible tag, but the words with several tags are the frequent ones, so more than half of the words of a running text are ; even people tagging by hand disagree on a few of them.
La plupart des types de mots n'ont qu'une étiquette possible, mais les mots qui en ont plusieurs sont les plus fréquents, si bien que plus de la moitié des mots d'un texte courant sont ; même des personnes qui étiquettent à la main divergent sur quelques-uns.
ambiguity · fr: ambiguïté ambiguïté · en : ambiguity linguistics linguistique : The property of a stretch of language that allows more than one interpretation. Propriété d'un segment de langue qui autorise plus d'une interprétation.
Key pointsL'essentiel
Part-of-speech tagging (including an example of machine learning)L'étiquetage morphosyntaxique (y compris un exemple d'apprentissage automatique)
A tagger cannot be written as rules without a dictionary and thousands of constraints; counting instead, in an annotated corpus, how often a word takes each tag and how often each tag follows another gives a tagger that is right most of the time with the most frequent tag alone, and nearly as often as a person with context.
On ne peut écrire un étiqueteur sous forme de règles qu'avec un dictionnaire et des milliers de contraintes ; compter plutôt, dans un corpus annoté, combien de fois un mot prend chaque étiquette et combien de fois chaque étiquette en suit une autre donne un étiqueteur qui a raison la plupart du temps avec la seule étiquette la plus fréquente, et presque aussi souvent qu'une personne avec le contexte.
Key pointsL'essentiel
Part-of-speech tagging (including an example of machine learning)L'étiquetage morphosyntaxique (y compris un exemple d'apprentissage automatique)
Taggers today reach the level of human agreement whatever the method, and tagging is a component inside tools such as concordancers, lemmatizers and grammar checks rather than a product.
Les étiqueteurs atteignent aujourd'hui le niveau de l'accord humain quelle que soit la méthode, et l'étiquetage est un composant à l'intérieur d'outils comme les concordanciers, les lemmatiseurs et les correcteurs grammaticaux plutôt qu'un produit.
Page 1Page 1
Word classes and part-of-speech tagsetsClasses de mots et jeux d'étiquettes morphosyntaxiques
- gives every word of a text a label naming its grammatical class, such as noun, verb or determiner.
- The labels come from a , and tagsets differ: from a few broad classes shared across languages to hundreds of labels that also record number, gender or tense.
- L' donne à chaque mot d'un texte une étiquette qui nomme sa classe grammaticale, par exemple nom, verbe ou déterminant.
- Les étiquettes viennent d'un , et les jeux d'étiquettes diffèrent : de quelques grandes classes communes à plusieurs langues à des centaines d'étiquettes qui consignent aussi le nombre, le genre ou le temps.
part-of-speech tagging (POS tagging) · fr: étiquetage morphosyntaxique étiquetage morphosyntaxique · en : part-of-speech tagging NLP TAL : The task of taking a sequence of tokenized words and a tagset, and assigning to each word one tag naming its grammatical class, such as noun or verb. Tâche qui consiste à prendre une suite de mots segmentés et un jeu d'étiquettes, puis à attribuer à chaque mot une étiquette nommant sa classe grammaticale, par exemple nom ou verbe.
tagset · fr: jeu d'étiquettes jeu d'étiquettes · en : tagset NLP TAL : The set of labels available to a part-of-speech tagger or to an annotation task, from which exactly one is given to each word. Ensemble des étiquettes dont dispose un étiqueteur morphosyntaxique ou une tâche d'annotation, et dont exactement une est attribuée à chaque mot.
Page 1Page 1
Page 1Page 1
Page 2Page 2
Ambiguous word classesL'ambiguïté des classes de mots
- Most word types have only one possible tag, but the words that have several are among the most frequent ones, so more than half of the words in a running text are .
- People tagging a text by hand agree on about 97 % of the words, and the best taggers reach the same level; many of the remaining cases are ones where the grammar itself leaves room for two readings.
- La plupart des types de mots n'ont qu'une étiquette possible, mais ceux qui en ont plusieurs comptent parmi les plus fréquents, si bien que plus de la moitié des mots d'un texte courant sont .
- Des personnes qui étiquettent un texte à la main s'accordent sur environ 97 % des mots, et les meilleurs étiqueteurs atteignent le même niveau ; bien des cas restants sont ceux où la grammaire elle-même laisse place à deux lectures.
ambiguity · fr: ambiguïté ambiguïté · en : ambiguity linguistics linguistique : The property of a stretch of language that allows more than one interpretation. Propriété d'un segment de langue qui autorise plus d'une interprétation.
Page 2Page 2
Page 2Page 2
Page 2Page 2
Page 3Page 3
Tagging with probabilities from an annotated corpusÉtiqueter avec des probabilités tirées d'un corpus annoté
- A tagger that gives every word its most frequent tag is already right most of the time; looking at the context closes most of the remaining gap to the level people reach.
- A bigram tagger chooses the tag for which two probabilities, multiplied, are largest: of the words that carry each tag, the share that are this word; and of the words that follow the previous tag, the share that carry each tag. Both are counted in a corpus that people have tagged.
- Un étiqueteur qui donne à chaque mot son étiquette la plus fréquente a déjà raison la plupart du temps ; regarder le contexte comble l'essentiel de l'écart qui reste avec le niveau des personnes.
- Un étiqueteur bigramme choisit l'étiquette pour laquelle deux probabilités, multipliées, donnent le plus grand résultat : parmi les mots qui portent chaque étiquette, la part qui sont ce mot ; et parmi les mots qui suivent l'étiquette précédente, la part qui portent chaque étiquette. Les deux se comptent dans un corpus que des personnes ont étiqueté.
Page 3Page 3
Page 3Page 3
Page 3Page 3
Page 3Page 3
Page 3Page 3
Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.
Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.
Page 3Page 3
Page 3Page 3
Page 3Page 3
Page 3Page 3
Page 5Page 5
Limits of a bigram taggerLes limites d'un étiqueteur bigramme
- A bigram tagger fails on words it has never seen, lets one wrong tag spread to the next ones, and looks only one word back.
- For an unknown word, the most useful help is a property of its form, such as its ending or its capital letter, rather than a count.
- Un étiqueteur bigramme échoue sur les mots qu'il n'a jamais vus, laisse une étiquette fausse se propager aux suivantes, et ne regarde qu'un mot en arrière.
- Pour un mot inconnu, l'aide la plus utile est une propriété de sa forme, comme sa terminaison ou sa majuscule, plutôt qu'un compte.
Page 5Page 5
Page 5Page 5
Page 5Page 5
Page 6Page 6
Part-of-speech tagging todayL'étiquetage morphosyntaxique aujourd'hui
- A feature-based tagger combines many clues about a word, each chosen by a person; neural taggers then learned those clues themselves.
- Taggers today reach the level of human agreement whatever the method, and tagging is a component inside tools rather than a product. You see its results in concordancers, lemmatizers and grammar checks.
- Un étiqueteur fondé sur des attributs combine de nombreux indices sur un mot, chacun choisi par une personne ; les étiqueteurs neuronaux ont ensuite appris ces indices eux-mêmes.
- Les étiqueteurs atteignent aujourd'hui le niveau de l'accord humain quelle que soit la méthode, et l'étiquetage est un composant à l'intérieur d'outils plutôt qu'un produit. Vous en voyez les résultats dans les concordanciers, les lemmatiseurs et les correcteurs grammaticaux.
Page 6Page 6
Page 6Page 6
Page 6Page 6
Page 6Page 6
