Entre les séances · pour le jeudi 10 September 2026Entre les séances · pour le jeudi 10 septembre 2026

When you read the word happiness, you may think of many things. You may think of related words, like joy or contentment. You may think about the translation in another language, like bonheur or geluk. You may think about a different form of the word: happy. Depending on your musical preferences, you may think of a song by Taylor Swift, Pharrell Williams, or “if you’re happy and you know it clap your hands”.

When a computer program “reads” the word happiness, it only gets a series of bits: the numbers associated to the characters of that exact word. The only easy connections to compute would be to other sequences of similar bits. For instance, the word happening has many of the same letters and exactly the same length.

So this is the fundamental challenge of NLP natural language processing (NLP)traitement automatique de la langue (TAL) NLPTAL An interdisciplinary field that develops and studies computational methods for analyzing, processing, and generating human language.Domaine interdisciplinaire qui développe et étudie des méthodes computationnelles pour analyser, traiter et générer le langage humain. : how do we get computer systems, designed to compute, i.e., calculate with numbers, to work with language? How can we capture language in numbers, beyond simple character similarities?

Quand vous lisez le mot bonheur, vous pouvez penser à bien des choses. Vous pouvez penser à des mots apparentés, comme joie ou contentement. Vous pouvez penser à sa traduction dans une autre langue, comme happiness ou geluk. Vous pouvez penser à une autre forme du mot : heureux. Selon vos goûts musicaux, vous pouvez penser à une chanson de Taylor Swift, de Pharrell Williams ou à « si tu aimes le soleil, tape des mains ».

Quand un programme informatique « lit » le mot bonheur, il ne reçoit qu’une suite de bits : les nombres associés aux caractères de ce mot précis. Les seules mises en relation faciles à calculer seraient avec d’autres suites de bits semblables. Le mot honneur, par exemple, a exactement la même longueur et cinq de ses sept lettres à la même place.

Voilà le défi fondamental du TAL natural language processing (NLP)traitement automatique de la langue (TAL) NLPTAL An interdisciplinary field that develops and studies computational methods for analyzing, processing, and generating human language.Domaine interdisciplinaire qui développe et étudie des méthodes computationnelles pour analyser, traiter et générer le langage humain.  : comment amener des systèmes informatiques, conçus pour calculer, c’est-à-dire pour faire des opérations sur des nombres, à travailler sur la langue ? Comment capter la langue en nombres, au-delà des simples ressemblances entre caractères ?

Il est encore là means he is still there, when you have been waiting for him to leave. It means he is there again, when he also came yesterday. Same four words, and English has no one word that covers both: the translation has to commit to still or to again. You make that choice from context, instantly and usually without registering that a choice existed.

Ambiguity like this runs through language at every level:

• Words. Livre is a book or a pound; marche is a step, a walk, or a form of marcher; English bat is an animal or sports equipment. Most frequent words have several senses, a property called polysemy polysemypolysémie linguisticslinguistique The property of a word or lemma having two or more related senses.Propriété d'un mot ou d'un lemme qui possède deux sens apparentés ou plus. , and text does not label which sense is meant.
• Structure. Groucho Marx, in Animal Crackers: “One morning I shot an elephant in my pajamas. How he got in my pajamas, I don’t know.” The joke is the second sentence taking the reading you did not. In my pajamas can hang from shot or from elephant, both are grammatical, and nothing but your sense of what is likely picked one.

• Reference. In the animal didn’t cross the street because it was too tired, the word it points at the animal; make the ending too wide and the same word points at the street. Nothing in the grammar decides; what streets and animals can be does.

The same property makes this hard for machines and invisible to people. Resolving it was too wide takes knowledge about streets; resolving encore takes the surrounding sentences. You bring that knowledge for free. A computer has to be given it, in a form it can compute with.

Your professional reflex, it depends on the context, is the requirement that word-by-word approaches to language technology could not satisfy.

Il est encore là veut dire qu’il n’est pas encore parti, quand vous attendiez qu’il parte. Cela veut dire qu’il est revenu, quand il était déjà venu la veille. Les quatre mêmes mots, et l’anglais n’a aucun mot qui couvre les deux sens : la traduction doit trancher entre still et again. Vous faites ce choix à partir du contexte, immédiatement et sans même remarquer qu’un choix se présentait.

Une ambiguïté de ce genre traverse la langue à tous les niveaux :

• Les mots. Livre est un ouvrage ou une unité de poids ; marche est un degré d’escalier, une promenade ou une forme de marcher ; l’anglais bat est un animal ou un instrument de sport. La plupart des mots fréquents ont plusieurs sens, une propriété appelée polysémie polysemypolysémie linguisticslinguistique The property of a word or lemma having two or more related senses.Propriété d'un mot ou d'un lemme qui possède deux sens apparentés ou plus. , et le texte n’indique pas lequel est visé.
• La structure. Groucho Marx, dans Animal Crackers : « One morning I shot an elephant in my pajamas. How he got in my pajamas, I don’t know. » La blague tient à la deuxième phrase, qui prend le sens que vous n’aviez pas retenu. In my pajamas peut se rattacher à shot ou à elephant, les deux sont grammaticaux, et rien d’autre que votre idée du vraisemblable n’en a choisi un.

• La référence. Dans le camion n’a pas franchi le pont parce qu’il était trop lourd, le mot il désigne le camion ; mettez trop étroit à la fin et le même mot désigne le pont. Les deux noms sont masculins, donc la grammaire ne tranche pas ; ce sont les propriétés des camions et des ponts qui le font.

C’est la même propriété qui rend la chose difficile pour une machine et invisible pour une personne. Résoudre trop étroit demande de savoir ce qu’est un pont ; résoudre encore demande les phrases autour. Vous apportez ce savoir gratuitement. Il faut le donner à un ordinateur, sous une forme avec laquelle il peut calculer.

Votre réflexe professionnel, cela dépend du contexte, est l’exigence à laquelle les approches mot à mot de la technologie langagière n’ont pas pu répondre.

Language never stands still or stays uniform. The French of a Montréal contract, a Paris news site and a group chat differ in vocabulary, spelling and syntax while all being French. New words arrive continuously (selfie, deepfake and a steady stream of borrowed tech vocabulary; covid did not exist in 2019 and was unavoidable a year later), old words shift sense, and real text is full of typos, abbreviations and creative usage that no dictionary anticipated.

And where language does follow rules, as the expression goes, the exception proves the rule. French plurals add -s, except -al words taking -aux, except bals and festivals; English past tenses add -ed, except a few hundred of the most frequent verbs. Writing the rule is quick. The real challenge is writing the exceptions, the exceptions to the exceptions, and the way the rules interact with one another: each addition fixes some cases and breaks others, and the effort of maintaining the set grows with its size.

Rule-based systems rule-based systemsystème à base de règles AIIA A system whose behaviour is fixed by rules that people wrote, most often of the form "if this condition, then this action", so that every output can be traced to the rule that produced it.Système dont le comportement est fixé par des règles écrites par des personnes, le plus souvent de la forme « si cette condition, alors cette action », de sorte que chaque résultat peut être rapporté à la règle qui l'a produit. can still be useful for simple, well-defined tasks: if someone types example in a French text, autocorrect it to exemple. However, the more complex and open-ended the task, the more ambiguity ambiguityambiguïté linguisticslinguistique The property of a stretch of language that allows more than one interpretation.Propriété d'un segment de langue qui autorise plus d'une interprétation. there is, and the more likely it becomes that no limited set of rules can capture it.

This is the concrete experience behind the move to learning from data (see also the Four paradigms page, in the Foundations of AI & NLP module) (voir aussi la page Quatre paradigmes, dans le module Fondements de l'IA et du TAL). A statistical system does not need the exception list written out. Given enough text, the exceptions are in the data, with their frequencies attached.

The catch is the phrase given enough text. A system that learns language from data inherits the language of that data, its regions, registers and blind spots included, and that inheritance can be measured directly on the languages a model handles worst (see also the Consequences of tokenization chapter, in the Language as numbers module) (voir aussi le chapitre Conséquences de la jetonisation, dans le module Le langage en nombres).

La langue ne s’arrête jamais et ne reste jamais uniforme. Le français d’un contrat montréalais, d’un site d’information parisien et d’un fil de clavardage diffère par le vocabulaire, l’orthographe et la syntaxe tout en restant du français. De nouveaux mots arrivent continuellement (égoportrait, hypertrucage et un flux constant de vocabulaire technique emprunté ; covid n’existait pas en 2019 et était incontournable un an plus tard), des mots anciens changent de sens, et les textes réels sont pleins de fautes de frappe, d’abréviations et d’usages inventifs qu’aucun dictionnaire n’avait prévus.

Et là où la langue suit bel et bien des règles, comme dit l’expression, l’exception confirme la règle. Le pluriel français ajoute -s, sauf les mots en -al qui prennent -aux, sauf bals et festivals ; le prétérit anglais ajoute -ed, sauf quelques centaines des verbes les plus fréquents. Écrire la règle est rapide. La vraie difficulté est d’écrire les exceptions, les exceptions aux exceptions et la façon dont les règles interagissent entre elles : chaque ajout corrige des cas et en casse d’autres, et l’effort d’entretien croît avec la taille du jeu de règles.

Les systèmes à base de règles rule-based systemsystème à base de règles AIIA A system whose behaviour is fixed by rules that people wrote, most often of the form "if this condition, then this action", so that every output can be traced to the rule that produced it.Système dont le comportement est fixé par des règles écrites par des personnes, le plus souvent de la forme « si cette condition, alors cette action », de sorte que chaque résultat peut être rapporté à la règle qui l'a produit. restent utiles pour des tâches simples et bien délimitées : si quelqu’un tape exemple dans un texte anglais, le corriger automatiquement en example. Cependant, plus la tâche est complexe et ouverte, plus elle comporte d’ambiguïté ambiguityambiguïté linguisticslinguistique The property of a stretch of language that allows more than one interpretation.Propriété d'un segment de langue qui autorise plus d'une interprétation. , et moins il est probable qu’un jeu de règles limité puisse en rendre compte.

C’est l’expérience concrète qui explique le passage à l’apprentissage à partir de données (see also the Four paradigms page, in the Foundations of AI & NLP module) (voir aussi la page Quatre paradigmes, dans le module Fondements de l'IA et du TAL). Un système statistique n’a pas besoin qu’on lui écrive la liste des exceptions. Avec assez de texte, les exceptions sont dans les données, avec leurs fréquences.

Le piège tient dans l’expression avec assez de texte. Un système qui apprend la langue à partir de données hérite de la langue de ces données, avec ses régions, ses registres et ses angles morts, et cet héritage se mesure directement sur les langues qu’un modèle traite le plus mal (see also the Consequences of tokenization chapter, in the Language as numbers module) (voir aussi le chapitre Conséquences de la jetonisation, dans le module Le langage en nombres).

The systems behind much of today’s language technology, including almost all machine translation systems and chatbots with which you will interact, are neural networks. The name suggests something brain-like, and the inspiration is real, but loose: there are some similarities between artificial neural networks and natural neural networks like our brain, but this does not go beyond the very basics.

Each unit, called a neuron, is a small mathematical function. It receives numbers from the units connected to it, combines them, and passes a number on. Every connection has a strength, called a weight weightpoids machine learningapprentissage automatique A real number attached to one input of a computing unit, learned during training, that sets how much that input counts towards the unit's output.Nombre réel attaché à une entrée d'une unité de calcul, appris pendant l'entraînement, qui détermine l'importance de cette entrée dans la sortie de l'unité. , and those weights, the network’s parameters parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. , are what training adjusts: a stronger connection means one unit’s output matters more to the next.

The units are organized in layers. An input layer takes in the raw data as numbers; one or more hidden layers transform it, step by step; an output layer produces the answer, for example one value per possible category. When there are many hidden layers, the network is called deep, which is all that the “deep” in deep learning means (LeCun et al., 2015).

Depth is what lets a network build complex patterns out of simple ones. Early layers pick up simple regularities in the raw input; later layers combine those into larger ones. In image recognition, the classic illustration, first edges, then shapes, then faces. For text the same principle applies, with one catch: a network’s input layer takes numbers, so using one for language requires a way to encode language as numbers (see also the Language as numbers module) (voir aussi le module Le langage en nombres).

Les systèmes derrière une bonne partie des technologies langagières d’aujourd’hui, dont la quasi-totalité des systèmes de traduction automatique et des agents conversationnels avec lesquels vous interagirez, sont des réseaux de neurones. Le nom évoque quelque chose de cérébral, et l’inspiration est réelle, mais lâche : il existe certaines ressemblances entre les réseaux de neurones artificiels et les réseaux de neurones naturels comme notre cerveau, mais cela ne va pas au-delà des bases.

Chaque unité, appelée neurone, est une petite fonction mathématique. Elle reçoit des nombres des unités qui lui sont reliées, les combine et transmet un nombre. Chaque connexion a une force, appelée poids weightpoids machine learningapprentissage automatique A real number attached to one input of a computing unit, learned during training, that sets how much that input counts towards the unit's output.Nombre réel attaché à une entrée d'une unité de calcul, appris pendant l'entraînement, qui détermine l'importance de cette entrée dans la sortie de l'unité. , et ces poids, les paramètres parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. du réseau, sont ce que l’entraînement ajuste : une connexion plus forte veut dire que la sortie d’une unité compte davantage pour la suivante.

Les unités sont organisées en couches. Une couche d’entrée reçoit les données brutes sous forme de nombres ; une ou plusieurs couches cachées les transforment, étape par étape ; une couche de sortie produit la réponse, par exemple une valeur par catégorie possible. Quand il y a beaucoup de couches cachées, on dit que le réseau est profond, et c’est tout ce que veut dire le « profond » d’apprentissage profond (LeCun et al., 2015).

C’est la profondeur qui permet à un réseau de construire des motifs complexes à partir de motifs simples. Les premières couches relèvent des régularités simples dans l’entrée brute ; les couches suivantes les combinent en motifs plus grands. En reconnaissance d’images, l’illustration classique, d’abord des contours, puis des formes, puis des visages. Pour le texte, le même principe s’applique, avec une réserve : la couche d’entrée d’un réseau reçoit des nombres, donc utiliser un réseau pour la langue demande une façon d’encoder la langue en nombres (see also the Language as numbers module) (voir aussi le module Le langage en nombres).

A toy example

Suppose we want a network that tells diamonds, squares and circles apart.Shapes are a toy task, chosen for its simplicity and easy visualization. A real network chooses among far more classes, and its input is rarely anything as tidy as a drawn shape. The loop is the same either way, which is what lets the example be this small. That already fixes the shape of its output layer: one unit per category, one for square, one for circle, one for diamond. Their scores are turned into percentages that add up to 100, so the three answers compete, and raising one lowers the others.

A network answers in probabilities from the start. Untrained, they are essentially random. Given a picture of a diamond and asked what shape it is, the answer might be something like: square 40%, circle 35%, diamond 25%. Early in training they can be confidently wrong instead: square 80%, circle 10%, diamond 10%. The network is then told the right answer, and the predict-compare-adjust loop of supervised learning reappears in its neural form (see also the From rules to machine learning chapter, in the Foundations of AI & NLP module) (voir aussi le chapitre Des règles à l'apprentissage automatique, dans le module Fondements de l'IA et du TAL): the error flows backward through the network, and the connections that pushed toward square are weakened, the ones that pushed toward diamond strengthened.

Millions of small adjustments

Adjustment is not reserved for mistakes. A network nudges its connections on every example, including the ones it already gets right; the nudge simply gets smaller as the prediction moves closer to the label. One example changes little. Millions of examples, each nudging millions of parameters parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. , add up to a system whose predictions are sharp. Nothing else in the network changes during training: the architecture, the layers and the connections stay as designed. Learning is entirely a matter of adjusting the strengths.

The difference from a feature-based model

The decisive difference from a feature-based model is what the network learns from. A feature-based model needed a human to decide that suffixes and capitalization matter. A neural network takes raw data (e.g., pixels of an image, or numerical representations of words), and finds its own regularities in it, including ones no human would have thought to specify. The features are learned, and feature engineering disappears. The human work does not disappear with it: choosing and encoding features used to be most of the effort of building a system, and the effort now goes into collecting the data, defining the task and designing the network.

Why it took until the 2010s

Nothing about the idea is new: the underlying design goes back to the perceptron of the 1950s (Rosenblatt, 1958), the first model that could learn its own weights weightpoids machine learningapprentissage automatique A real number attached to one input of a computing unit, learned during training, that sets how much that input counts towards the unit's output.Nombre réel attaché à une entrée d'une unité de calcul, appris pendant l'entraînement, qui détermine l'importance de cette entrée dans la sortie de l'unité. from labelled examples (Goodfellow et al., 2016). In the 2010s, its two main requirements could finally be fulfilled. Learning features from raw data takes far more examples than learning weights for a few hand-picked features, and processing them takes enormous computation. Large collections of digital text and images supplied the first; graphics processors, built to render games, turned out to suit the calculations and supplied the second. With both in place, deep networks moved the state of the art in speech recognition, image recognition and object detection, and in fields as far from language as drug discovery (LeCun et al., 2015).

Un exemple jouet

Supposons que nous voulions un réseau qui distingue les losanges, les carrés et les cercles.Les formes sont une tâche jouet, choisie pour sa simplicité et sa facilité de visualisation. Un vrai réseau choisit parmi beaucoup plus de catégories, et son entrée est rarement aussi nette qu’une forme dessinée. La boucle est la même dans les deux cas, et c’est ce qui permet à l’exemple d’être aussi petit. Cela fixe déjà la forme de sa couche de sortie : une unité par catégorie, une pour carré, une pour cercle, une pour losange. Leurs scores sont transformés en pourcentages dont la somme fait 100, si bien que les trois réponses sont en concurrence : en faire monter une fait descendre les autres.

Un réseau répond en probabilités dès le départ. Sans entraînement, elles sont essentiellement aléatoires. Si on lui montre l’image d’un losange en lui demandant de quelle forme il s’agit, la réponse pourrait ressembler à ceci : carré 40 %, cercle 35 %, losange 25 %. Tôt dans l’entraînement, elles peuvent au contraire être fausses avec assurance : carré 80 %, cercle 10 %, losange 10 %. On donne ensuite la bonne réponse au réseau, et la boucle prédire, comparer, ajuster de l’apprentissage supervisé reparaît sous sa forme neuronale (see also the From rules to machine learning chapter, in the Foundations of AI & NLP module) (voir aussi le chapitre Des règles à l'apprentissage automatique, dans le module Fondements de l'IA et du TAL) : l’erreur remonte à travers le réseau, les connexions qui poussaient vers carré sont affaiblies, celles qui poussaient vers losange renforcées.

Des millions de petits ajustements

L’ajustement n’est pas réservé aux erreurs. Un réseau retouche ses connexions à chaque exemple, y compris ceux qu’il réussit déjà ; la retouche devient simplement plus petite à mesure que la prédiction se rapproche de l’étiquette. Un exemple change peu de chose. Des millions d’exemples, retouchant chacun des millions de paramètres parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. , produisent un système dont les prédictions sont nettes. Rien d’autre ne change dans le réseau pendant l’entraînement : l’architecture, les couches et les connexions restent telles qu’elles ont été conçues. Apprendre revient entièrement à ajuster les forces.

La différence avec un modèle fondé sur des attributs

La différence décisive avec un modèle fondé sur des attributs tient à ce à partir de quoi le réseau apprend. Un tel modèle demandait à une personne de décider que les suffixes et les majuscules comptent. Un réseau de neurones prend des données brutes (p. ex. les pixels d’une image, ou des représentations numériques de mots) et y trouve ses propres régularités, y compris celles que personne n’aurait pensé à préciser. Les attributs sont appris, et l’ingénierie des attributs disparaît. Le travail humain ne disparaît pas pour autant : choisir et encoder les attributs constituait l’essentiel de l’effort de construction d’un système, et l’effort va désormais à la collecte des données, à la définition de la tâche et à la conception du réseau.

Pourquoi il a fallu attendre les années 2010

L’idée n’a rien de neuf : la conception de fond remonte au perceptron des années 1950 (Rosenblatt, 1958), le premier modèle capable d’apprendre lui-même ses poids weightpoids machine learningapprentissage automatique A real number attached to one input of a computing unit, learned during training, that sets how much that input counts towards the unit's output.Nombre réel attaché à une entrée d'une unité de calcul, appris pendant l'entraînement, qui détermine l'importance de cette entrée dans la sortie de l'unité. à partir d’exemples étiquetés (Goodfellow et al., 2016). Dans les années 2010, ses deux exigences principales ont enfin pu être satisfaites. Apprendre des attributs à partir de données brutes demande beaucoup plus d’exemples qu’apprendre des poids pour quelques attributs choisis à la main, et les traiter demande énormément de calcul. De grandes collections de textes et d’images numériques ont fourni la première ; les processeurs graphiques, conçus pour le rendu des jeux, se sont trouvés adaptés à ces calculs et ont fourni la seconde. Les deux réunies, les réseaux profonds ont fait progresser l’état de l’art en reconnaissance de la parole, en reconnaissance d’images et en détection d’objets, et dans des domaines aussi éloignés de la langue que la découverte de médicaments (LeCun et al., 2015).

With a rule-based system rule-based systemsystème à base de règles AIIA A system whose behaviour is fixed by rules that people wrote, most often of the form "if this condition, then this action", so that every output can be traced to the rule that produced it.Système dont le comportement est fixé par des règles écrites par des personnes, le plus souvent de la forme « si cette condition, alors cette action », de sorte que chaque résultat peut être rapporté à la règle qui l'a produit. you can always find out why an output came out as it did: some rule was triggered, and that rule can be read, disagreed with and changed. In a trained neural network there is nothing to read. Its behaviour is stored as millions of numerical connection weights weightpoids machine learningapprentissage automatique A real number attached to one input of a computing unit, learned during training, that sets how much that input counts towards the unit's output.Nombre réel attaché à une entrée d'une unité de calcul, appris pendant l'entraînement, qui détermine l'importance de cette entrée dans la sortie de l'unité. , learnt from data, and no single one of them means anything on its own. The mathematics of every step is known exactly; what the steps collectively do is not stated anywhere in a form a person can check.

Statistical systems are a sort of middle ground: their rules are learnt from data rather than written by hand, but stay more or less readable (see also the Four paradigms page, in the Foundations of AI & NLP module) (voir aussi la page Quatre paradigmes, dans le module Fondements de l'IA et du TAL). How readable depends on the algorithm: a decision tree can be printed and followed, while the weights of a support vector machine with a non-linear kernel cannot be read that way.

This is what people mean when they call neural networks black boxes, and it is a property of the approach rather than a defect to be patched later. The power of the method comes from letting the system find regularities too numerous and too diffuse for anyone to write down; a representation humans could read would be a representation humans could have written.

Four consequences follow for anyone who works with these systems:

• Errors cannot be fixed the way a rule is fixed. There is no line to correct. Improving a network means changing its training data training setjeu de données d'entraînement machine learningapprentissage automatique The portion of a dataset used to train a machine-learning model.Portion d'un jeu de données servant à entraîner un modèle d'apprentissage automatique. , training it further, or changing its architecture and training again, and any of these can shift its behaviour elsewhere in ways nobody chose.
• Behaviour is discovered by testing, not by inspection. The only way to know how a system handles legal text, or Québécois French, is to try it on legal text and Québécois French, which is why evaluation is a professional skill in its own right (see also the Evaluating language technology module) (voir aussi le module L'évaluation des technologies langagières).
• The same input need not give the same output. A classifier is deterministic deterministicdéterministe computinginformatique Describes a process, algorithm, or system that, under the same initial conditions and with the same input, always produces the same output.Se dit d'un processus, d'un algorithme ou d'un système qui, dans les mêmes conditions initiales et avec la même entrée, produit toujours la même sortie. : the same email gives the same verdict every time. A system that generates text often is not, because choosing each next word can involve randomness, and one run then differs from the next. A single trial is evidence about that run, not about the system.
• Confidence is not self-knowledge. A network reports probabilities, and they measure how its training data looked, never how much it “knows” (see also the Critical issues with LLMs module) (voir aussi le module Enjeux critiques des GML).

Avec un système à base de règles rule-based systemsystème à base de règles AIIA A system whose behaviour is fixed by rules that people wrote, most often of the form "if this condition, then this action", so that every output can be traced to the rule that produced it.Système dont le comportement est fixé par des règles écrites par des personnes, le plus souvent de la forme « si cette condition, alors cette action », de sorte que chaque résultat peut être rapporté à la règle qui l'a produit. , on peut toujours savoir pourquoi une sortie est celle qu’elle est : une règle a été déclenchée, et cette règle peut être lue, contestée et modifiée. Dans un réseau de neurones entraîné, il n’y a rien à lire. Son comportement est stocké sous forme de millions de poids weightpoids machine learningapprentissage automatique A real number attached to one input of a computing unit, learned during training, that sets how much that input counts towards the unit's output.Nombre réel attaché à une entrée d'une unité de calcul, appris pendant l'entraînement, qui détermine l'importance de cette entrée dans la sortie de l'unité. de connexion numériques, appris des données, et aucun d’eux ne veut rien dire à lui seul. Les mathématiques de chaque étape sont connues exactement ; ce que les étapes font ensemble n’est écrit nulle part sous une forme vérifiable par une personne.

Les systèmes statistiques sont une sorte de moyen terme : leurs règles sont apprises à partir de données plutôt qu’écrites à la main, mais restent plus ou moins lisibles (see also the Four paradigms page, in the Foundations of AI & NLP module) (voir aussi la page Quatre paradigmes, dans le module Fondements de l'IA et du TAL). Le degré de lisibilité dépend de l’algorithme : un arbre de décision peut être imprimé et suivi, alors que les poids d’une machine à vecteurs de support à noyau non linéaire ne se lisent pas ainsi.

C’est ce qu’on veut dire en appelant les réseaux de neurones des boîtes noires, et c’est une propriété de l’approche plutôt qu’un défaut à corriger plus tard. La puissance de la méthode vient de ce qu’on laisse le système trouver des régularités trop nombreuses et trop diffuses pour que quiconque les écrive ; une représentation lisible par des humains serait une représentation que des humains auraient pu écrire.

Quatre conséquences en découlent pour qui travaille avec ces systèmes :

• Les erreurs ne se corrigent pas comme on corrige une règle. Il n’y a pas de ligne à reprendre. Améliorer un réseau veut dire changer ses données d’entraînement training setjeu de données d'entraînement machine learningapprentissage automatique The portion of a dataset used to train a machine-learning model.Portion d'un jeu de données servant à entraîner un modèle d'apprentissage automatique. , l’entraîner davantage, ou changer son architecture et l’entraîner de nouveau, et chacune de ces voies peut déplacer son comportement ailleurs d’une façon que personne n’a choisie.
• Le comportement se découvre en testant, pas en inspectant. La seule façon de savoir comment un système traite un texte juridique, ou du français québécois, est de l’essayer sur un texte juridique et sur du français québécois, et c’est pourquoi l’évaluation est une compétence professionnelle à part entière (see also the Evaluating language technology module) (voir aussi le module L'évaluation des technologies langagières).
• La même entrée ne donne pas forcément la même sortie. Un classifieur est déterministe deterministicdéterministe computinginformatique Describes a process, algorithm, or system that, under the same initial conditions and with the same input, always produces the same output.Se dit d'un processus, d'un algorithme ou d'un système qui, dans les mêmes conditions initiales et avec la même entrée, produit toujours la même sortie.  : le même courriel reçoit le même verdict chaque fois. Un système qui génère du texte ne l’est souvent pas, parce que le choix de chaque mot suivant peut comporter une part de hasard, et une exécution diffère alors de la suivante. Un seul essai renseigne sur cet essai, pas sur le système.
• L’assurance n’est pas de la connaissance de soi. Un réseau donne des probabilités, et elles mesurent à quoi ressemblaient ses données d’entraînement, jamais ce qu’il « sait » (see also the Critical issues with LLMs module) (voir aussi le module Enjeux critiques des GML).

If words have to become numbers, the obvious first move is a list: a dictionary with its entries numbered.

angelic = 1
ape     = 2
apple   = 3
ardour  = 4
...
zany    = 99,997
zeal    = 99,998
zebra   = 99,999

Every word now has a number, and the conversion is trivial in both directions. But, as Figure 1figure 1 shows, there are three specific issues, where such numbers miss some essential part of what would make them useful.

• Arithmetic on these numbers is meaningless. One plus two is three, so an angelic (1) ape (2) makes an apple (3)? Any calculation a system performs on the codes manipulates alphabetical position, which has nothing to do with what the words mean.
• The numbers place related words no closer than unrelated ones. Ardour (4) and zeal (99,998) are near-synonyms sitting about 99,000 apart, farther from each other than either is from apple. A translation system needs exactly the opposite: words with similar meanings should have similar representations.
• A single number per word smuggles in an ordering. 99,999 is bigger than 2, but zebra is not more of anything than ape. A model fed these codes risks attaching meaning to the size of the number, where the only thing behind it is alphabetical order.

Si les mots doivent devenir des nombres, le premier réflexe est d’en faire une liste : un dictionnaire dont les entrées sont numérotées.

ananas = 1
ange   = 2
animal = 3
ardeur = 4
...
zapper = 99 997
zèbre  = 99 998
zèle   = 99 999

Chaque mot a maintenant un nombre, et la conversion se fait sans effort dans les deux sens. Mais, comme le montre la Figure 1figure 1, trois problèmes précis apparaissent, où de tels nombres passent à côté de ce qui les rendrait utiles.

• L’arithmétique sur ces nombres n’a aucun sens. Un plus deux font trois : un ananas (1) et un ange (2) donneraient donc un animal (3) ? Tout calcul effectué sur ces codes manipule une position alphabétique, qui n’a rien à voir avec le sens des mots.
• Les nombres ne rapprochent pas les mots apparentés plus que les mots sans rapport. Ardeur (4) et zèle (99 999) sont des quasi-synonymes séparés par environ 99 000, plus loin l’un de l’autre que chacun ne l’est d’animal. Un système de traduction a besoin exactement de l’inverse : des mots de sens proches devraient avoir des représentations proches.
• Un seul nombre par mot introduit un ordre en douce. 99 998 est plus grand que 1, mais un zèbre n’a rien de plus qu’un ananas. Un modèle nourri de ces codes risque de prêter un sens à la taille du nombre, alors que la seule chose derrière elle est l’ordre alphabétique.

The word vector sounds more technical than what it names.

Read [2, 3] as directions on a map: two steps along the horizontal axis, three along the vertical, and you have marked a point. A vector with three numbers marks a point in three-dimensional space, and nothing stops a vector from having three hundred numbers; the space can no longer be drawn or imagined, but the mathematics works the same way.

Points, unlike bare code numbers, have geometry. Two points can be close together or far apart; a cluster of points forms a group; a direction in the space can be followed. If each word is placed at a point, then closeness in the space becomes available to represent closeness in meaning, which a single number per word had no way to express.

Le mot vecteur a l’air plus technique que ce qu’il désigne.

[2, 3] se lit comme des indications sur une carte : deux pas le long de l’axe horizontal, trois le long de l’axe vertical, et un point est marqué. Un vecteur de trois nombres marque un point dans un espace à trois dimensions, et rien n’empêche un vecteur d’avoir trois cents nombres ; l’espace ne peut alors plus être dessiné ni imaginé, mais les mathématiques fonctionnent de la même façon.

Les points, contrairement à de simples numéros de code, ont une géométrie. Deux points peuvent être proches ou éloignés ; un ensemble de points forme un groupe ; une direction peut être suivie dans l’espace. Si chaque mot est placé en un point, la proximité dans l’espace devient disponible pour représenter la proximité de sens, ce qu’un seul nombre par mot n’avait aucun moyen d’exprimer.

The first vector representation of words that the field actually used works like a row of switches with one of them on. Each word in a 100,000-word vocabulary gets its own position, and is represented as a vector of 100,000 numbers: zeros everywhere, except a single 1 at that word’s position.

angelic = [1, 0, 0, 0, ..., 0, 0, 0]
ape     = [0, 1, 0, 0, ..., 0, 0, 0]
apple   = [0, 0, 1, 0, ..., 0, 0, 0]
ardour  = [0, 0, 0, 1, ..., 0, 0, 0]
...
zebra   = [0, 0, 0, 0, ..., 0, 0, 1]

The false ordering is gone. No word’s vector is larger than another’s; zebra is no longer “more” than ape. In the geometry of the space, each word now owns its own axis, and every pair of words stands at exactly the same distance, like the corners of a perfectly symmetric figure.

Exactly the same distance is also the new problem. Ardour is now precisely as different from zeal as from zebra: the representation contains no similarity information at all, for anyone. It identifies words the way a locker number identifies a student, saying nothing about them.

There is a practical objection too. These vectors are enormous, and almost all of their content is zeros: 100,000 numbers per word, of which one is informative.

The numbered list crammed every word onto one axis and invented differences; the one-hot vector gives every word its own axis and erases all resemblance.

La première représentation vectorielle des mots que le domaine ait réellement utilisée fonctionne comme une rangée d’interrupteurs dont un seul est allumé. Chaque mot d’un vocabulaire de 100 000 mots reçoit sa propre position et est représenté par un vecteur de 100 000 nombres : des zéros partout, sauf un seul 1 à la position de ce mot.

ananas = [1, 0, 0, 0, ..., 0, 0, 0]
ange   = [0, 1, 0, 0, ..., 0, 0, 0]
animal = [0, 0, 1, 0, ..., 0, 0, 0]
ardeur = [0, 0, 0, 1, ..., 0, 0, 0]
...
zèle   = [0, 0, 0, 0, ..., 0, 0, 1]

L’ordre trompeur a disparu. Le vecteur d’un mot n’est jamais plus grand que celui d’un autre ; zèbre n’est plus « plus » qu’ananas. Dans la géométrie de l’espace, chaque mot possède désormais son propre axe, et chaque paire de mots se tient exactement à la même distance, comme les sommets d’une figure parfaitement symétrique.

Cette distance identique est aussi le nouveau problème. Ardeur est maintenant exactement aussi différent de zèle que de zèbre : la représentation ne contient aucune information de similarité, pour personne. Elle identifie les mots comme un numéro de casier identifie un étudiant, sans rien dire de lui.

Il y a aussi une objection pratique. Ces vecteurs sont énormes et leur contenu est presque entièrement fait de zéros : 100 000 nombres par mot, dont un seul est informatif.

La liste numérotée entassait tous les mots sur un seul axe et inventait des différences ; le vecteur 1 parmi n donne à chaque mot son propre axe et efface toute ressemblance. Ce qu’il faut se situe entre les deux : des vecteurs comptant un nombre modeste de dimensions, partagées par tous les mots, où les valeurs placent les mots de sens proches près les uns des autres.