Variation and exceptionsVariation et exceptions

Language never stands still or stays uniform. The French of a Montréal contract, a Paris news site and a group chat differ in vocabulary, spelling and syntax while all being French. New words arrive continuously (selfie, deepfake and a steady stream of borrowed tech vocabulary; covid did not exist in 2019 and was unavoidable a year later), old words shift sense, and real text is full of typos, abbreviations and creative usage that no dictionary anticipated.

And where language does follow rules, as the expression goes, the exception proves the rule. French plurals add -s, except -al words taking -aux, except bals and festivals; English past tenses add -ed, except a few hundred of the most frequent verbs. Writing the rule is quick. The real challenge is writing the exceptions, the exceptions to the exceptions, and the way the rules interact with one another: each addition fixes some cases and breaks others, and the effort of maintaining the set grows with its size.

Rule-based systems rule-based systemsystème à base de règles AIIA A system whose behaviour is fixed by rules that people wrote, most often of the form "if this condition, then this action", so that every output can be traced to the rule that produced it.Système dont le comportement est fixé par des règles écrites par des personnes, le plus souvent de la forme « si cette condition, alors cette action », de sorte que chaque résultat peut être rapporté à la règle qui l'a produit. can still be useful for simple, well-defined tasks: if someone types example in a French text, autocorrect it to exemple. However, the more complex and open-ended the task, the more ambiguity ambiguityambiguïté linguisticslinguistique The property of a stretch of language that allows more than one interpretation.Propriété d'un segment de langue qui autorise plus d'une interprétation. there is, and the more likely it becomes that no limited set of rules can capture it.

This is the concrete experience behind the move to learning from data (see also the Four paradigms page, in the Foundations of AI & NLP module) (voir aussi la page Quatre paradigmes, dans le module Fondements de l'IA et du TAL). A statistical system does not need the exception list written out. Given enough text, the exceptions are in the data, with their frequencies attached.

The catch is the phrase given enough text. A system that learns language from data inherits the language of that data, its regions, registers and blind spots included, and that inheritance can be measured directly on the languages a model handles worst (see also the Consequences of tokenization chapter) (voir aussi le chapitre Conséquences de la jetonisation).

La langue ne s’arrête jamais et ne reste jamais uniforme. Le français d’un contrat montréalais, d’un site d’information parisien et d’un fil de clavardage diffère par le vocabulaire, l’orthographe et la syntaxe tout en restant du français. De nouveaux mots arrivent continuellement (égoportrait, hypertrucage et un flux constant de vocabulaire technique emprunté ; covid n’existait pas en 2019 et était incontournable un an plus tard), des mots anciens changent de sens, et les textes réels sont pleins de fautes de frappe, d’abréviations et d’usages inventifs qu’aucun dictionnaire n’avait prévus.

Et là où la langue suit bel et bien des règles, comme dit l’expression, l’exception confirme la règle. Le pluriel français ajoute -s, sauf les mots en -al qui prennent -aux, sauf bals et festivals ; le prétérit anglais ajoute -ed, sauf quelques centaines des verbes les plus fréquents. Écrire la règle est rapide. La vraie difficulté est d’écrire les exceptions, les exceptions aux exceptions et la façon dont les règles interagissent entre elles : chaque ajout corrige des cas et en casse d’autres, et l’effort d’entretien croît avec la taille du jeu de règles.

Les systèmes à base de règles rule-based systemsystème à base de règles AIIA A system whose behaviour is fixed by rules that people wrote, most often of the form "if this condition, then this action", so that every output can be traced to the rule that produced it.Système dont le comportement est fixé par des règles écrites par des personnes, le plus souvent de la forme « si cette condition, alors cette action », de sorte que chaque résultat peut être rapporté à la règle qui l'a produit. restent utiles pour des tâches simples et bien délimitées : si quelqu’un tape exemple dans un texte anglais, le corriger automatiquement en example. Cependant, plus la tâche est complexe et ouverte, plus elle comporte d’ambiguïté ambiguityambiguïté linguisticslinguistique The property of a stretch of language that allows more than one interpretation.Propriété d'un segment de langue qui autorise plus d'une interprétation. , et moins il est probable qu’un jeu de règles limité puisse en rendre compte.

C’est l’expérience concrète qui explique le passage à l’apprentissage à partir de données (see also the Four paradigms page, in the Foundations of AI & NLP module) (voir aussi la page Quatre paradigmes, dans le module Fondements de l'IA et du TAL). Un système statistique n’a pas besoin qu’on lui écrive la liste des exceptions. Avec assez de texte, les exceptions sont dans les données, avec leurs fréquences.

Le piège tient dans l’expression avec assez de texte. Un système qui apprend la langue à partir de données hérite de la langue de ces données, avec ses régions, ses registres et ses angles morts, et cet héritage se mesure directement sur les langues qu’un modèle traite le plus mal (see also the Consequences of tokenization chapter) (voir aussi le chapitre Conséquences de la jetonisation).