Administrator

When you read the word happiness, you may think of many things. You may think of related words, like joy or contentment. You may think about the translation in another language, like bonheur or geluk. You may think about a different form of the word: happy. Depending on your musical preferences, you may think of a song by Taylor Swift, Pharrell Williams, or “if you’re happy and you know it clap your hands”.

When a computer program “reads” the word happiness, it only gets a series of bits: the numbers associated to the characters of that exact word. The only easy connections to compute would be to other sequences of similar bits. For instance, the word happening has many of the same letters and exactly the same length.

So this is the fundamental challenge of NLP natural language processing (NLP)traitement automatique de la langue (TAL) NLPTAL An interdisciplinary field that develops and studies computational methods for analyzing, processing, and generating human language.Domaine interdisciplinaire qui développe et étudie des méthodes computationnelles pour analyser, traiter et générer le langage humain. : how do we get computer systems, designed to compute, i.e., calculate with numbers, to work with language? How can we capture language in numbers, beyond simple character similarities?

Il est encore là means he is still there, when you have been waiting for him to leave. It means he is there again, when he also came yesterday. Same four words, and English has no one word that covers both: the translation has to commit to still or to again. You make that choice from context, instantly and usually without registering that a choice existed.

Ambiguity like this runs through language at every level:

• Words. Livre is a book or a pound; marche is a step, a walk, or a form of marcher; English bat is an animal or sports equipment. Most frequent words have several senses, a property called polysemy polysemypolysémie linguisticslinguistique The property of a word or lemma having two or more related senses.Propriété d'un mot ou d'un lemme qui possède deux sens apparentés ou plus. , and text does not label which sense is meant.
• Structure. Groucho Marx, in Animal Crackers: “One morning I shot an elephant in my pajamas. How he got in my pajamas, I don’t know.” The joke is the second sentence taking the reading you did not. In my pajamas can hang from shot or from elephant, both are grammatical, and nothing but your sense of what is likely picked one.

• Reference. In the animal didn’t cross the street because it was too tired, the word it points at the animal; make the ending too wide and the same word points at the street. Nothing in the grammar decides; what streets and animals can be does.

The same property makes this hard for machines and invisible to people. Resolving it was too wide takes knowledge about streets; resolving encore takes the surrounding sentences. You bring that knowledge for free. A computer has to be given it, in a form it can compute with.

Your professional reflex, it depends on the context, is the requirement that word-by-word approaches to language technology could not satisfy.

Language never stands still or stays uniform. The French of a Montréal contract, a Paris news site and a group chat differ in vocabulary, spelling and syntax while all being French. New words arrive continuously (selfie, deepfake and a steady stream of borrowed tech vocabulary; covid did not exist in 2019 and was unavoidable a year later), old words shift sense, and real text is full of typos, abbreviations and creative usage that no dictionary anticipated.

And where language does follow rules, as the expression goes, the exception proves the rule. French plurals add -s, except -al words taking -aux, except bals and festivals; English past tenses add -ed, except a few hundred of the most frequent verbs. Writing the rule is quick. The real challenge is writing the exceptions, the exceptions to the exceptions, and the way the rules interact with one another: each addition fixes some cases and breaks others, and the effort of maintaining the set grows with its size.

Rule-based systems rule-based systemsystème à base de règles AIIA A system whose behaviour is fixed by rules that people wrote, most often of the form "if this condition, then this action", so that every output can be traced to the rule that produced it.Système dont le comportement est fixé par des règles écrites par des personnes, le plus souvent de la forme « si cette condition, alors cette action », de sorte que chaque résultat peut être rapporté à la règle qui l'a produit. can still be useful for simple, well-defined tasks: if someone types example in a French text, autocorrect it to exemple. However, the more complex and open-ended the task, the more ambiguity ambiguityambiguïté linguisticslinguistique The property of a stretch of language that allows more than one interpretation.Propriété d'un segment de langue qui autorise plus d'une interprétation. there is, and the more likely it becomes that no limited set of rules can capture it.

This is the concrete experience behind the move to learning from data (see also the Four paradigms page, in the Foundations of AI & NLP module) (voir aussi la page Quatre paradigmes, dans le module Fondements de l'IA et du TAL). A statistical system does not need the exception list written out. Given enough text, the exceptions are in the data, with their frequencies attached.

The catch is the phrase given enough text. A system that learns language from data inherits the language of that data, its regions, registers and blind spots included, and that inheritance can be measured directly on the languages a model handles worst (see also the Consequences of tokenization chapter) (voir aussi le chapitre Conséquences de la jetonisation).

Quand vous lisez le mot bonheur, vous pouvez penser à bien des choses. Vous pouvez penser à des mots apparentés, comme joie ou contentement. Vous pouvez penser à sa traduction dans une autre langue, comme happiness ou geluk. Vous pouvez penser à une autre forme du mot : heureux. Selon vos goûts musicaux, vous pouvez penser à une chanson de Taylor Swift, de Pharrell Williams ou à « si tu aimes le soleil, tape des mains ».

Quand un programme informatique « lit » le mot bonheur, il ne reçoit qu’une suite de bits : les nombres associés aux caractères de ce mot précis. Les seules mises en relation faciles à calculer seraient avec d’autres suites de bits semblables. Le mot honneur, par exemple, a exactement la même longueur et cinq de ses sept lettres à la même place.

Voilà le défi fondamental du TAL natural language processing (NLP)traitement automatique de la langue (TAL) NLPTAL An interdisciplinary field that develops and studies computational methods for analyzing, processing, and generating human language.Domaine interdisciplinaire qui développe et étudie des méthodes computationnelles pour analyser, traiter et générer le langage humain.  : comment amener des systèmes informatiques, conçus pour calculer, c’est-à-dire pour faire des opérations sur des nombres, à travailler sur la langue ? Comment capter la langue en nombres, au-delà des simples ressemblances entre caractères ?

Il est encore là veut dire qu’il n’est pas encore parti, quand vous attendiez qu’il parte. Cela veut dire qu’il est revenu, quand il était déjà venu la veille. Les quatre mêmes mots, et l’anglais n’a aucun mot qui couvre les deux sens : la traduction doit trancher entre still et again. Vous faites ce choix à partir du contexte, immédiatement et sans même remarquer qu’un choix se présentait.

Une ambiguïté de ce genre traverse la langue à tous les niveaux :

• Les mots. Livre est un ouvrage ou une unité de poids ; marche est un degré d’escalier, une promenade ou une forme de marcher ; l’anglais bat est un animal ou un instrument de sport. La plupart des mots fréquents ont plusieurs sens, une propriété appelée polysémie polysemypolysémie linguisticslinguistique The property of a word or lemma having two or more related senses.Propriété d'un mot ou d'un lemme qui possède deux sens apparentés ou plus. , et le texte n’indique pas lequel est visé.
• La structure. Groucho Marx, dans Animal Crackers : « One morning I shot an elephant in my pajamas. How he got in my pajamas, I don’t know. » La blague tient à la deuxième phrase, qui prend le sens que vous n’aviez pas retenu. In my pajamas peut se rattacher à shot ou à elephant, les deux sont grammaticaux, et rien d’autre que votre idée du vraisemblable n’en a choisi un.

• La référence. Dans le camion n’a pas franchi le pont parce qu’il était trop lourd, le mot il désigne le camion ; mettez trop étroit à la fin et le même mot désigne le pont. Les deux noms sont masculins, donc la grammaire ne tranche pas ; ce sont les propriétés des camions et des ponts qui le font.

C’est la même propriété qui rend la chose difficile pour une machine et invisible pour une personne. Résoudre trop étroit demande de savoir ce qu’est un pont ; résoudre encore demande les phrases autour. Vous apportez ce savoir gratuitement. Il faut le donner à un ordinateur, sous une forme avec laquelle il peut calculer.

Votre réflexe professionnel, cela dépend du contexte, est l’exigence à laquelle les approches mot à mot de la technologie langagière n’ont pas pu répondre.

La langue ne s’arrête jamais et ne reste jamais uniforme. Le français d’un contrat montréalais, d’un site d’information parisien et d’un fil de clavardage diffère par le vocabulaire, l’orthographe et la syntaxe tout en restant du français. De nouveaux mots arrivent continuellement (égoportrait, hypertrucage et un flux constant de vocabulaire technique emprunté ; covid n’existait pas en 2019 et était incontournable un an plus tard), des mots anciens changent de sens, et les textes réels sont pleins de fautes de frappe, d’abréviations et d’usages inventifs qu’aucun dictionnaire n’avait prévus.

Et là où la langue suit bel et bien des règles, comme dit l’expression, l’exception confirme la règle. Le pluriel français ajoute -s, sauf les mots en -al qui prennent -aux, sauf bals et festivals ; le prétérit anglais ajoute -ed, sauf quelques centaines des verbes les plus fréquents. Écrire la règle est rapide. La vraie difficulté est d’écrire les exceptions, les exceptions aux exceptions et la façon dont les règles interagissent entre elles : chaque ajout corrige des cas et en casse d’autres, et l’effort d’entretien croît avec la taille du jeu de règles.

Les systèmes à base de règles rule-based systemsystème à base de règles AIIA A system whose behaviour is fixed by rules that people wrote, most often of the form "if this condition, then this action", so that every output can be traced to the rule that produced it.Système dont le comportement est fixé par des règles écrites par des personnes, le plus souvent de la forme « si cette condition, alors cette action », de sorte que chaque résultat peut être rapporté à la règle qui l'a produit. restent utiles pour des tâches simples et bien délimitées : si quelqu’un tape exemple dans un texte anglais, le corriger automatiquement en example. Cependant, plus la tâche est complexe et ouverte, plus elle comporte d’ambiguïté ambiguityambiguïté linguisticslinguistique The property of a stretch of language that allows more than one interpretation.Propriété d'un segment de langue qui autorise plus d'une interprétation. , et moins il est probable qu’un jeu de règles limité puisse en rendre compte.

C’est l’expérience concrète qui explique le passage à l’apprentissage à partir de données (see also the Four paradigms page, in the Foundations of AI & NLP module) (voir aussi la page Quatre paradigmes, dans le module Fondements de l'IA et du TAL). Un système statistique n’a pas besoin qu’on lui écrive la liste des exceptions. Avec assez de texte, les exceptions sont dans les données, avec leurs fréquences.

Le piège tient dans l’expression avec assez de texte. Un système qui apprend la langue à partir de données hérite de la langue de ces données, avec ses régions, ses registres et ses angles morts, et cet héritage se mesure directement sur les langues qu’un modèle traite le plus mal (see also the Consequences of tokenization chapter) (voir aussi le chapitre Conséquences de la jetonisation).