Administrator
This teaching view is for the instructor. Enter the administrator password.
Wrong password · Mot de passe incorrect
Key pointsL'essentiel
NormalizationNormalisation
removes the variation that is irrelevant to a task, such as capitals, accents or inflected forms, so that fewer distinct forms remain to count or to match; every count and every comparison of lists depends on which normalization was applied.
La réduit la variation d'un texte qui n'a pas d'importance pour la tâche, comme les majuscules, les accents ou les formes fléchies, de sorte qu'il reste moins de formes distinctes à compter ou à apparier ; tout décompte et toute comparaison de listes dépendent de la normalisation appliquée.
normalization · fr: normalisation normalisation · en : normalization NLP TAL : The processing that reduces the variation in a text that is irrelevant to a task, for instance by putting every word in lowercase, removing accents, unifying quotation marks or grouping the forms of a word, so that fewer distinct forms remain to count or to match. Traitement qui réduit la variation d'un texte sans rapport avec la tâche, par exemple en mettant tous les mots en minuscules, en supprimant les accents, en unifiant les guillemets ou en regroupant les formes d'un mot, de sorte qu'il reste moins de formes distinctes à compter ou à apparier.
Key pointsL'essentiel
NormalizationNormalisation
groups the forms of a word under its dictionary form and often needs the word's grammatical class; only cuts endings by rule.
La regroupe les formes d'un mot sous sa forme de dictionnaire et a souvent besoin de sa classe grammaticale ; la ne fait que couper des terminaisons selon des règles.
lemma · fr: lemme lemme · en : lemma linguistics linguistique : The base or dictionary form under which the inflected forms of a word are grouped: go, goes, went and gone share the lemma go. Forme de base, ou forme de dictionnaire, sous laquelle sont regroupées les formes fléchies d'un mot : va, allons, allait et allé partagent le lemme aller.
stemming · fr: racinisation racinisation · en : stemming NLP TAL : A rough form of normalization that cuts the endings off words by rule, so that the forms of one word usually share a stem, which need not be a word of the language. Forme grossière de normalisation qui coupe les terminaisons des mots selon des règles, de sorte que les formes d'un mot partagent le plus souvent une racine, qui n'est pas forcément un mot de la langue.
Page 1Page 1
Normalizing text to reduce variationNormaliser un texte pour réduire la variation
- reduces the variation in a text that is irrelevant to the task, so that fewer distinct forms remain to count or to match.
- Filtering is a different step: it removes types together with all their occurrences, where normalization merges forms and keeps every occurrence.
- Every normalization and every filter loses something, so they are chosen per task, and counts or scores made after different choices cannot be compared.
- La réduit la variation d'un texte qui n'a pas d'importance pour la tâche, de sorte qu'il reste moins de formes distinctes à compter ou à apparier.
- Le filtrage est une autre opération : il supprime des types avec toutes leurs occurrences, alors que la normalisation fusionne des formes et garde chaque occurrence.
- Toute normalisation et tout filtrage font perdre quelque chose : on les choisit donc selon la tâche, et des décomptes ou des scores obtenus après des choix différents ne sont pas comparables.
normalization · fr: normalisation normalisation · en : normalization NLP TAL : The processing that reduces the variation in a text that is irrelevant to a task, for instance by putting every word in lowercase, removing accents, unifying quotation marks or grouping the forms of a word, so that fewer distinct forms remain to count or to match. Traitement qui réduit la variation d'un texte sans rapport avec la tâche, par exemple en mettant tous les mots en minuscules, en supprimant les accents, en unifiant les guillemets ou en regroupant les formes d'un mot, de sorte qu'il reste moins de formes distinctes à compter ou à apparier.
Page 1Page 1
Page 1Page 1
Page 2Page 2
Lemmatization and stemmingLemmatisation et racinisation
- groups the forms of one word under its dictionary form, where only cuts endings by rule.
- A stemmer works on letters alone, so each of its rules is a balance: applied too widely, it merges different words; applied too narrowly, it splits the forms of one word.
- The lemma of a form often depends on its grammatical class, so lemmatization and part-of-speech tagging are usually done one after the other or together.
- La regroupe les formes d'un mot sous sa forme de dictionnaire, alors que la ne fait que couper des terminaisons selon des règles.
- Un raciniseur ne travaille que sur les lettres, si bien que chacune de ses règles est un équilibre : appliquée trop largement, elle fusionne des mots différents ; appliquée trop étroitement, elle sépare les formes d'un même mot.
- Le lemme d'une forme dépend souvent de sa classe grammaticale : lemmatisation et étiquetage morphosyntaxique se font donc d'ordinaire l'un après l'autre, ou ensemble.
lemma · fr: lemme lemme · en : lemma linguistics linguistique : The base or dictionary form under which the inflected forms of a word are grouped: go, goes, went and gone share the lemma go. Forme de base, ou forme de dictionnaire, sous laquelle sont regroupées les formes fléchies d'un mot : va, allons, allait et allé partagent le lemme aller.
stemming · fr: racinisation racinisation · en : stemming NLP TAL : A rough form of normalization that cuts the endings off words by rule, so that the forms of one word usually share a stem, which need not be a word of the language. Forme grossière de normalisation qui coupe les terminaisons des mots selon des règles, de sorte que les formes d'un mot partagent le plus souvent une racine, qui n'est pas forcément un mot de la langue.
Page 2Page 2
Page 2Page 2
