Introduction et grands modèles de langueIntroduction et grands modèles de langue

You already use AI every day, mostly without thinking of it that way. The spellchecker that underlines a typo, the search engine that completes your question after three letters, the machine translation machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. behind a foreign web page and the chatbot you ask to rephrase an email are all built on techniques from the same field.

This definition is deliberately broad, and broader than the science-fiction picture of machines that think like humans. It includes any computational approach to tasks associated with intelligence: recognizing patterns, making decisions, using language, solving problems. It says nothing about how the task is performed. A program following a few hundred hand-written rules and a system trained on half the internet both qualify, and the difference between those two ways of qualifying is the subject of the rest of this module.

The boundary of the field also moves. Chess programs were once the showpiece of AI research; today a chess engine on your phone beats any human and nobody calls it AI. Converting a scanned page to editable text was cutting-edge AI in the 1970s; it is now a routine feature of a phone camera. This pattern has a name, the “AI effect” (McCorduck, 2004): once a capability is understood and ordinary, it stops being seen as intelligence. Keep it in mind when you read that a tool “uses AI”. The phrase mostly signals that the capability is recent; it tells you almost nothing about what the tool actually does.

In everyday use today, “AI” refers primarily, though not exclusively, to large language models large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. (LLMs) and to tools with one inside: a chatbot, a writing assistant, a translation feature marketed as intelligent. In this module, I try to consistently use “LLM” when I mean large language models specifically, and “AI” when I mean this type of technology more broadly.

Vous utilisez déjà l’IA tous les jours, le plus souvent sans y penser. Le correcteur orthographique qui souligne une faute de frappe, le moteur de recherche qui complète votre question après trois lettres, la traduction automatique machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. derrière une page web en langue étrangère et l’agent conversationnel à qui vous demandez de reformuler un courriel reposent tous sur des techniques du même domaine.

Cette définition est volontairement large, plus large que l’image de science-fiction de machines qui pensent comme des humains. Elle englobe toute approche informatique de tâches associées à l’intelligence : reconnaître des motifs, prendre des décisions, employer la langue, résoudre des problèmes. Elle ne dit rien de la manière dont la tâche est accomplie. Un programme qui suit quelques centaines de règles écrites à la main et un système entraîné sur la moitié d’Internet répondent tous deux à la définition, et la différence entre ces deux façons d’y répondre fait l’objet du reste de ce module.

La frontière du domaine se déplace, elle aussi. Les programmes d’échecs ont été la vitrine de la recherche en IA ; aujourd’hui, un logiciel d’échecs sur votre téléphone bat n’importe quel humain et personne ne parle plus d’IA. Convertir une page numérisée en texte modifiable était de l’IA de pointe dans les années 1970 ; c’est devenu une fonction ordinaire d’un appareil photo de téléphone. Ce phénomène porte un nom, l’« effet IA » (McCorduck, 2004) : dès qu’une capacité est comprise et devenue courante, on cesse d’y voir de l’intelligence. Gardez-le en tête quand vous lisez qu’un outil « utilise l’IA ». L’expression signale surtout que la capacité est récente ; elle ne vous dit à peu près rien de ce que l’outil fait.

Dans l’usage courant d’aujourd’hui, « IA » renvoie d’abord, sans s’y limiter, aux grands modèles de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. (GML) et aux outils qui en contiennent un : un agent conversationnel, un assistant de rédaction, une fonction de traduction présentée comme intelligente. Dans ce module, j’essaie d’employer systématiquement « GML » quand je parle des grands modèles de langue en particulier, et « IA » quand je parle de ce type de technologie plus largement.

Not everything called AI learns. A chess program from the 1980s played by rules its programmers wrote down; nothing in it changed with experience. The spam filter in your mailbox, by contrast, was shown thousands of examples of spam and ordinary mail and worked out the difference itself. Both are AI. Only the second is machine learning.

Within machine learning, one family of methods has come to dominate: neural networks neural network (NN)réseau de neurones (RNA) machine learningapprentissage automatique A machine-learning model composed of interconnected layers of small computational units.Modèle d'apprentissage automatique composé de couches interconnectées de petites unités de calcul. , systems built from layers of simple interconnected units, loosely inspired by the neurons of the brain. When a network stacks many such layers, the approach is called deep learning deep learning (DL)apprentissage profond machine learningapprentissage automatique An approach to machine learning based on neural networks with many successive layers of computing units.Approche de l'apprentissage automatique fondée sur des réseaux de neurones comportant de nombreuses couches successives d'unités de calcul. (LeCun et al., 2015); on this map, it is the innermost of the three regions. Both notions are defined properly where their mechanics are taught (see also the From neural networks to large language models chapter, in the Foundations of AI & NLP module) (voir aussi le chapitre Des réseaux de neurones aux grands modèles de langue, dans le module Fondements de l'IA et du TAL).

Where does language fit? Natural language processing natural language processing (NLP)traitement automatique de la langue (TAL) NLPTAL An interdisciplinary field that develops and studies computational methods for analyzing, processing, and generating human language.Domaine interdisciplinaire qui développe et étudie des méthodes computationnelles pour analyser, traiter et générer le langage humain. is defined by its object, not by its method, so it cuts across every level of the diagram: the earliest systems processed language with hand-written rules (AI without machine learning), later ones with statistical learning, and today’s systems predominantly with deep learning (see also the Four paradigms page, in the Foundations of AI & NLP module) (voir aussi la page Quatre paradigmes, dans le module Fondements de l'IA et du TAL). The remaining region of the diagram is generative AI generative AI (GenAI)intelligence artificielle générative (IAGén) AIIA An area of artificial intelligence concerned with systems that generate content such as text, code, images, audio, or video by learning patterns from training data and producing new outputs in response to input or prompts.Branche de l'intelligence artificielle qui s'intéresse aux systèmes générant du contenu, comme du texte, du code, des images, de l'audio ou de la vidéo, en apprenant des régularités dans les données d'entraînement et en produisant de nouvelles sorties en réponse à une entrée ou à une requête. and the large language models large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. inside it. A sliver of generative AI reaches outside machine learning: generation by hand-written rules exists too, and the earliest chatbots worked exactly that way.

Tout ce qu’on appelle IA n’apprend pas. Un programme d’échecs des années 1980 jouait selon des règles écrites par ses programmeurs ; rien en lui ne changeait avec l’expérience. Le filtre antipourriel de votre boîte de courriel, lui, a vu des milliers d’exemples de pourriels et de courriels ordinaires et a dégagé la différence tout seul. Les deux sont de l’IA. Seul le second est de l’apprentissage automatique.

Au sein de l’apprentissage automatique, une famille de méthodes s’est imposée : les réseaux de neurones neural network (NN)réseau de neurones (RNA) machine learningapprentissage automatique A machine-learning model composed of interconnected layers of small computational units.Modèle d'apprentissage automatique composé de couches interconnectées de petites unités de calcul. , des systèmes faits de couches d’unités simples interconnectées, vaguement inspirés des neurones du cerveau. Quand un réseau empile beaucoup de ces couches, on parle d’apprentissage profond deep learning (DL)apprentissage profond machine learningapprentissage automatique An approach to machine learning based on neural networks with many successive layers of computing units.Approche de l'apprentissage automatique fondée sur des réseaux de neurones comportant de nombreuses couches successives d'unités de calcul. (LeCun et al., 2015) ; sur cette carte, c’est la plus intérieure des trois régions. Les deux notions sont définies en détail là où leur fonctionnement est enseigné (see also the From neural networks to large language models chapter, in the Foundations of AI & NLP module) (voir aussi le chapitre Des réseaux de neurones aux grands modèles de langue, dans le module Fondements de l'IA et du TAL).

Où se situe la langue ? Le traitement automatique de la langue natural language processing (NLP)traitement automatique de la langue (TAL) NLPTAL An interdisciplinary field that develops and studies computational methods for analyzing, processing, and generating human language.Domaine interdisciplinaire qui développe et étudie des méthodes computationnelles pour analyser, traiter et générer le langage humain. se définit par son objet et non par sa méthode : il traverse donc tous les niveaux du schéma. Les premiers systèmes traitaient la langue avec des règles écrites à la main (de l’IA sans apprentissage automatique), les suivants avec de l’apprentissage statistique, et ceux d’aujourd’hui surtout avec de l’apprentissage profond (see also the Four paradigms page, in the Foundations of AI & NLP module) (voir aussi la page Quatre paradigmes, dans le module Fondements de l'IA et du TAL). La région qui reste sur le schéma est l’intelligence artificielle générative generative AI (GenAI)intelligence artificielle générative (IAGén) AIIA An area of artificial intelligence concerned with systems that generate content such as text, code, images, audio, or video by learning patterns from training data and producing new outputs in response to input or prompts.Branche de l'intelligence artificielle qui s'intéresse aux systèmes générant du contenu, comme du texte, du code, des images, de l'audio ou de la vidéo, en apprenant des régularités dans les données d'entraînement et en produisant de nouvelles sorties en réponse à une entrée ou à une requête. et les grands modèles de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. qu’elle contient. Une frange de l’IA générative déborde de l’apprentissage automatique : la génération par règles écrites à la main existe aussi, et les premiers agents conversationnels fonctionnaient exactement ainsi.

Most of the systems mentioned so far analyze something that already exists: is this email spam, what is the grammatical category of this word. The recent wave of public attention went to systems that produce something instead: text, images, music, code, video.

Two nuances in that definition matter. First, generation and machine learning are independent properties. The frustrating customer-service chatbots of the 2010s generated their replies from rules and templates, with no learning anywhere; today’s generative systems are almost all deep learning. Second, the category is older than the hype: machine translation machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. produces new text and is, by this definition, generative AI, decades before the term existed. And as with “AI” in general, the everyday meaning of “generative AI” has narrowed: it is now closely associated with large language models large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. (LLMs) specifically, the technology behind today’s chatbots.

La plupart des systèmes évoqués jusqu’ici analysent quelque chose qui existe déjà : ce courriel est-il un pourriel, quelle est la catégorie grammaticale de ce mot. La vague récente d’attention du public est allée à des systèmes qui produisent quelque chose : du texte, des images, de la musique, du code, de la vidéo.

Deux nuances de cette définition comptent. D’abord, la génération et l’apprentissage automatique sont des propriétés indépendantes. Les agents conversationnels de service à la clientèle des années 2010, si frustrants, produisaient leurs réponses à partir de règles et de gabarits, sans le moindre apprentissage ; les systèmes génératifs d’aujourd’hui relèvent presque tous de l’apprentissage profond. Ensuite, la catégorie est plus ancienne que l’engouement : la traduction automatique machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. produit du texte nouveau et relève, selon cette définition, de l’IA générative, des décennies avant l’apparition du terme. Et comme pour « IA » en général, le sens courant d’« IA générative » s’est resserré : il est aujourd’hui étroitement associé aux grands modèles de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. (GML) en particulier, la technologie derrière les agents conversationnels d’aujourd’hui.

Machine translation, automatic subtitling, the summary a chatbot writes, grammar checking, the speech recognition that types what you dictate: the field behind all of these is natural language processing natural language processing (NLP)traitement automatique de la langue (TAL) NLPTAL An interdisciplinary field that develops and studies computational methods for analyzing, processing, and generating human language.Domaine interdisciplinaire qui développe et étudie des méthodes computationnelles pour analyser, traiter et générer le langage humain. (NLP), the computational processing of human language, whatever the method (see also the Classical NLP module) (voir aussi le module TAL classique).

In this context, three terms are used to describe more or less the same thing in different contexts. Computational linguistics leans toward the science, language studied by computational means; NLP leans toward the engineering; language technology names the applied, product-facing side. The emphasis differs more than the subject, and on this site I use the three more or less interchangeably. Speech processing and machine translation sit on the edge: sometimes counted inside these fields, sometimes as specialties beside them.

Working between English and French adds one practical difficulty: the two languages abbreviate these names differently, and the abbreviations do not map letter for letter. NLP becomes TAL (traitement automatique de la langue), LLM becomes GML (grand modèle de langue), and machine translation’s MT becomes TA, while in French MT is a translation memory translation memory (TM)mémoire de traduction (MT) CAT toolsTAO A bilingual database of previously translated source segments and their corresponding target segments, which a translation-memory system searches to propose exact or similar matches for new source text.Base de données bilingue de segments source déjà traduits et de leurs segments cibles correspondants, dans laquelle un système de mémoire de traduction cherche des correspondances exactes ou similaires pour un nouveau texte source. (mémoire de traduction). The glossary carries the attested French term and abbreviation for every concept used on this site.

La traduction automatique, le sous-titrage automatique, le résumé qu’écrit un agent conversationnel, la correction grammaticale, la reconnaissance de la parole qui tape ce que vous dictez : le domaine derrière tout cela est le traitement automatique de la langue natural language processing (NLP)traitement automatique de la langue (TAL) NLPTAL An interdisciplinary field that develops and studies computational methods for analyzing, processing, and generating human language.Domaine interdisciplinaire qui développe et étudie des méthodes computationnelles pour analyser, traiter et générer le langage humain. (TAL), le traitement informatique de la langue humaine, quelle que soit la méthode (see also the Classical NLP module) (voir aussi le module TAL classique).

Dans ce contexte, trois termes servent à décrire plus ou moins la même chose dans des contextes différents. La linguistique informatique penche du côté de la science, la langue étudiée par des moyens informatiques ; le TAL penche du côté de l’ingénierie ; les technologies langagières désignent le versant appliqué, tourné vers le produit. L’accent diffère plus que l’objet, et sur ce site j’emploie les trois à peu près indifféremment. Le traitement de la parole et la traduction automatique se tiennent à la limite : tantôt comptés dans ces domaines, tantôt comme des spécialités à côté.

Travailler entre l’anglais et le français ajoute une difficulté pratique : les deux langues abrègent ces noms différemment, et les abréviations ne se correspondent pas lettre pour lettre. NLP devient TAL (traitement automatique de la langue), LLM devient GML (grand modèle de langue), et le MT de l’anglais machine translation devient TA, tandis qu’en français MT est une mémoire de traduction translation memory (TM)mémoire de traduction (MT) CAT toolsTAO A bilingual database of previously translated source segments and their corresponding target segments, which a translation-memory system searches to propose exact or similar matches for new source text.Base de données bilingue de segments source déjà traduits et de leurs segments cibles correspondants, dans laquelle un système de mémoire de traduction cherche des correspondances exactes ou similaires pour un nouveau texte source. . Le glossaire donne le terme français attesté et son abréviation pour chaque concept employé sur ce site.

Suppose you want a system that sorts email into spam and not spam. The rule-based way is to describe spam: certain senders, certain words, too many links. The supervised way is to show the system ten thousand emails that a human already sorted, and let it work out the difference. Each email with its human verdict attached is a labelled example, and a collection of many labelled examples becomes training data.

Training then runs as a loop. The algorithm takes an example, predicts a label, and compares its prediction with the human label. A wrong prediction adjusts the model’s settings, a little, in the direction that would have made it right. A correct one changes little or nothing: some algorithms leave the settings exactly as they are, others nudge them toward answering the same way more confidently.The settings are the model’s parameters parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. . How they are stored and adjusted is not covered in this module; the loop is the point here, not the arithmetic inside it (see also the From neural networks to large language models chapter, in the Foundations of AI & NLP module) (voir aussi le chapitre Des réseaux de neurones aux grands modèles de langue, dans le module Fondements de l'IA et du TAL). One pass through one email teaches almost nothing. Millions of passes through thousands of examples add up, and the predictions improve until they are good enough to use on email nobody has labelled.

Two consequences follow directly from this setup, and they will come back again and again in this collection:

• Everything is learned from the data, not from rules. The system reproduces the judgements in its training data, mistakes and blind spots included, and the data is the only way in: there is no rule to rewrite when it gets something wrong.
• The training data has to resemble the real job. A spam filter trained on English corporate email will stumble on French phishing. What the examples do not show, the model cannot learn.

Before anything can be learned, somebody has to decide what the algorithm looks at when it compares two emails.

Supposons que vous vouliez un système qui trie les courriels entre pourriel et non pourriel. La façon à base de règles consiste à décrire le pourriel : certains expéditeurs, certains mots, trop de liens. La façon supervisée consiste à montrer au système dix mille courriels qu’un humain a déjà triés, et à le laisser dégager la différence. Chaque courriel accompagné du verdict humain est un exemple étiqueté, et un ensemble de nombreux exemples étiquetés devient des données d’entraînement.

L’entraînement se déroule alors en boucle. L’algorithme prend un exemple, prédit une étiquette et compare sa prédiction à celle de l’humain. Une prédiction fausse ajuste les réglages du modèle, un peu, dans la direction qui l’aurait rendue juste. Une prédiction juste ne change rien ou presque : certains algorithmes laissent les réglages exactement tels quels, d’autres les poussent à répondre pareil avec plus d’assurance.Ces réglages sont les paramètres parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. du modèle. La façon dont ils sont stockés et ajustés n’est pas traitée dans ce module ; ce qui compte ici, c’est la boucle, pas l’arithmétique qui s’y trouve (see also the From neural networks to large language models chapter, in the Foundations of AI & NLP module) (voir aussi le chapitre Des réseaux de neurones aux grands modèles de langue, dans le module Fondements de l'IA et du TAL). Un passage sur un courriel n’apprend presque rien. Des millions de passages sur des milliers d’exemples s’accumulent, et les prédictions s’améliorent jusqu’à devenir assez bonnes pour des courriels que personne n’a étiquetés.

Deux conséquences découlent directement de ce fonctionnement, et elles reviendront sans cesse dans ce matériel :

• Tout s’apprend des données, pas de règles. Le système reproduit les jugements de ses données d’entraînement, erreurs et angles morts compris, et les données sont la seule porte d’entrée : il n’y a aucune règle à réécrire quand il se trompe.
• Les données d’entraînement doivent ressembler au travail réel. Un filtre antipourriel entraîné sur des courriels d’entreprise en anglais trébuchera sur de l’hameçonnage en français. Ce que les exemples ne montrent pas, le modèle ne peut pas l’apprendre.

Avant que quoi que ce soit puisse s’apprendre, quelqu’un doit décider ce que l’algorithme regarde quand il compare deux courriels.

Algorithms cannot read emails the way humans do: they need numbers. So each example has to be described as a set of measurable properties: how long the message is, whether the sender is in your address book (typically encoded as 1 if yes, 0 if no), how many links it contains, whether the words win, free or miracle appear. Each such property is a feature.

In traditional machine learning, choosing the features is human work, and it is where most of the craft goes. Someone has to guess which properties distinguish spam from ordinary mail, work out how to turn each one into a number, test the result, and go back for better features when the model disappoints. The guesses are hypotheses about the problem, and bad ones cap what any algorithm can achieve.

The strength of this recipe, features plus labels plus the loop, is that it can weigh hundreds of weak signals at once, which no hand-written rule set manages. Its ceiling is the features themselves: the model can only be as observant as the properties someone thought to measure. That ceiling is what neural networks later removed, by learning the features too (see also the From neural networks to large language models chapter, in the Foundations of AI & NLP module) (voir aussi le chapitre Des réseaux de neurones aux grands modèles de langue, dans le module Fondements de l'IA et du TAL).

Les algorithmes ne lisent pas les courriels comme les humains : il leur faut des nombres. Chaque exemple doit donc être décrit par un ensemble de propriétés mesurables : la longueur du message, la présence de l’expéditeur dans votre carnet d’adresses (encodée en général par 1 si oui, 0 si non), le nombre de liens, la présence des mots gagner, gratuit ou miracle. Chacune de ces propriétés est un attribut.

En apprentissage automatique traditionnel, le choix des attributs est un travail humain, et c’est là que passe l’essentiel du métier. Quelqu’un doit deviner quelles propriétés distinguent le pourriel du courrier ordinaire, trouver comment transformer chacune en nombre, tester le résultat et repartir en chercher de meilleures quand le modèle déçoit. Ces suppositions sont des hypothèses sur le problème, et les mauvaises plafonnent ce que n’importe quel algorithme peut atteindre.

La force de cette recette, des attributs plus des étiquettes plus la boucle, est de pouvoir peser des centaines de signaux faibles à la fois, ce qu’aucun ensemble de règles écrites à la main ne réussit. Son plafond, ce sont les attributs eux-mêmes : le modèle ne peut être plus observateur que les propriétés que quelqu’un a pensé à mesurer. Ce plafond, ce sont les réseaux de neurones qui l’ont levé plus tard, en apprenant aussi les attributs (see also the From neural networks to large language models chapter, in the Foundations of AI & NLP module) (voir aussi le chapitre Des réseaux de neurones aux grands modèles de langue, dans le module Fondements de l'IA et du TAL).

The same example, described by the same features, can be put to two different questions. Asked which of a fixed set of categories it belongs to, the task is classification: spam or not spam, positive or negative review, which part of speech a word is. Asked for a value on a scale, the task is regression: how many minutes a text takes to read, how long a translator will need to post-edit a segment segmentsegment CAT toolsTAO A portion of translatable content that a CAT tool treats as a discrete unit for translation, alignment, storage and match retrieval.Portion de contenu à traduire qu'un outil de TAO traite comme une unité distincte aux fins de traduction, d'alignement, de stockage et de recherche de correspondances. , what a house is worth.

The distinction is about the answer, not about the data. A customer review supports both: a classifier decides whether it is positive or negative, and a regression predicts the rating the reviewer gave, 1 to 5 stars, from the same features. And the training loop does not change either way: predict, compare with the label, adjust.

Le même exemple, décrit par les mêmes attributs, peut être soumis à deux questions différentes. Si on demande à laquelle des catégories d’un ensemble fixe il appartient, la tâche est une classification : pourriel ou non pourriel, critique positive ou négative, catégorie grammaticale d’un mot. Si on demande une valeur sur une échelle, la tâche est une régression : combien de minutes un texte demande à lire, combien de temps une traductrice mettra à post-éditer un segment segmentsegment CAT toolsTAO A portion of translatable content that a CAT tool treats as a discrete unit for translation, alignment, storage and match retrieval.Portion de contenu à traduire qu'un outil de TAO traite comme une unité distincte aux fins de traduction, d'alignement, de stockage et de recherche de correspondances. , ce que vaut une maison.

La distinction porte sur la réponse, pas sur les données. Une critique de client se prête aux deux : un classifieur décide si elle est positive ou négative, et une régression prédit la note que la personne a donnée, de 1 à 5 étoiles, à partir des mêmes attributs. Et la boucle d’entraînement ne change pas non plus : prédire, comparer à l’étiquette, ajuster.

Labelled examples are one way to learn, and the one this chapter follows, because it is the clearest and the most common. Two other families complete the standard picture.

Unsupervised learning unsupervised learningapprentissage non supervisé machine learningapprentissage automatique A machine-learning approach that seeks patterns or structure in data without being given a target label or expected output for each training example.Approche d'apprentissage automatique qui cherche des régularités ou des structures dans les données sans recevoir d'étiquette cible ni de sortie attendue pour chaque exemple d'entraînement. works on data with no labels at all. There is no right answer to compare against; instead the algorithm looks for structure that is already in the data, such as groups of similar items. Given thousands of translation-agency invoices, an unsupervised method might discover that they fall into clusters by client type, without anyone having defined the clusters beforehand. Where it matters most for language, word embeddings are learned from raw text, with no human labelling anything (see also the Word embeddings chapter, in the Language as numbers module) (voir aussi le chapitre Plongements lexicaux, dans le module Le langage en nombres).

Reinforcement learning reinforcement learning (RL)apprentissage par renforcement (AR) machine learningapprentissage automatique A type of machine learning in which an agent learns how to act by receiving rewards or penalties in response to its actions, with the aim of maximizing its overall reward.Type d'apprentissage automatique dans lequel un agent apprend à agir en recevant des récompenses ou des pénalités en réponse à ses actions, avec l'objectif de maximiser sa récompense globale. learns from trial and error. The system acts, receives a reward or a penalty, and adjusts toward what earned reward. No example shows it the right action; it has to find out. This family powers game-playing systems, and it is part of how a raw language model is turned into a usable assistant (see also the LLM lifecycle module) (voir aussi le module Cycle de vie des GML).

Les exemples étiquetés sont une façon d’apprendre, celle que suit ce chapitre, parce qu’elle est la plus claire et la plus répandue. Deux autres familles complètent le tableau habituel.

L’apprentissage non supervisé unsupervised learningapprentissage non supervisé machine learningapprentissage automatique A machine-learning approach that seeks patterns or structure in data without being given a target label or expected output for each training example.Approche d'apprentissage automatique qui cherche des régularités ou des structures dans les données sans recevoir d'étiquette cible ni de sortie attendue pour chaque exemple d'entraînement. travaille sur des données sans aucune étiquette. Il n’y a pas de bonne réponse à laquelle se comparer ; l’algorithme cherche plutôt une structure déjà présente dans les données, par exemple des groupes d’éléments semblables. Devant des milliers de factures d’agences de traduction, une méthode non supervisée pourrait découvrir qu’elles se regroupent par type de client, sans que personne ait défini ces groupes à l’avance. Là où cela compte le plus pour la langue, les plongements lexicaux s’apprennent à partir de texte brut, sans que personne n’étiquette quoi que ce soit (see also the Word embeddings chapter, in the Language as numbers module) (voir aussi le chapitre Plongements lexicaux, dans le module Le langage en nombres).

L’apprentissage par renforcement reinforcement learning (RL)apprentissage par renforcement (AR) machine learningapprentissage automatique A type of machine learning in which an agent learns how to act by receiving rewards or penalties in response to its actions, with the aim of maximizing its overall reward.Type d'apprentissage automatique dans lequel un agent apprend à agir en recevant des récompenses ou des pénalités en réponse à ses actions, avec l'objectif de maximiser sa récompense globale. apprend par essais et erreurs. Le système agit, reçoit une récompense ou une pénalité, et s’ajuste vers ce qui a été récompensé. Aucun exemple ne lui montre la bonne action ; il doit la trouver. Cette famille fait fonctionner les systèmes qui jouent à des jeux, et elle fait partie de la façon dont un modèle de langue brut devient un assistant utilisable (see also the LLM lifecycle module) (voir aussi le module Cycle de vie des GML).

What does a feature look like when the examples are words rather than emails? Take named entity recognition named entity recognition (NER)reconnaissance d'entités nommées (REN) NLPTAL The task of finding the spans of a text that are proper names, and labelling the category, most often a person, a location or an organization.Tâche qui consiste à repérer dans un texte les segments qui sont des noms propres, et à en étiqueter la catégorie, le plus souvent une personne, un lieu ou une organisation. as an example. This is an NLP task where the goal is to label named entities automatically: names of people, places, organizations, and so on (see also the Named entity recognition: one task up close page, in the Classical NLP module) (voir aussi la page La reconnaissance d'entités nommées : une tâche vue de près, dans le module TAL classique). Useful features for a word include: does it start with a capital letter, is it the first word of the sentence, does it appear in a list of known first names, what word comes just before it (Mr., in, at), and what suffix it ends with (-town, -land, -ville). With a training corpus corpuscorpus corporacorpus A collection of written texts, speech recordings or transcribed language assembled for analysis or use in language technology (plural: corpora).Ensemble de textes écrits, d'enregistrements de parole ou de langue transcrite réuni pour l'analyse ou pour les technologies langagières. where the entities have been labelled by hand, and those features calculated for every word, the algorithm can learn which patterns in the data go with a name.

Though you can do some impressive things with feature engineering, these systems tend to all hit the same wall. Features like suffixes and capitalization describe the form of a word. They say nothing about what it means. To a feature-based model, voiture and char are simply two different sequences of letters, though in Quebec both can mean car; travail (work) and travaux (roadworks) look like the singular and plural of one word, though the plural often shifts the meaning. The way past the wall was to stop describing words by hand-picked properties and let a system learn, from how words are used, a numerical representation of the words themselves (see also the Language as numbers module) (voir aussi le module Le langage en nombres).

À quoi ressemble un attribut quand les exemples sont des mots plutôt que des courriels ? Prenons la reconnaissance d’entités nommées named entity recognition (NER)reconnaissance d'entités nommées (REN) NLPTAL The task of finding the spans of a text that are proper names, and labelling the category, most often a person, a location or an organization.Tâche qui consiste à repérer dans un texte les segments qui sont des noms propres, et à en étiqueter la catégorie, le plus souvent une personne, un lieu ou une organisation. comme exemple. C’est une tâche de TAL dont le but est d’étiqueter automatiquement les entités nommées : noms de personnes, de lieux, d’organisations, et ainsi de suite (see also the Named entity recognition: one task up close page, in the Classical NLP module) (voir aussi la page La reconnaissance d'entités nommées : une tâche vue de près, dans le module TAL classique). Des attributs utiles pour un mot : commence-t-il par une majuscule, est-il le premier mot de la phrase, figure-t-il dans une liste de prénoms connus, quel mot le précède immédiatement (M., à, chez), et par quel suffixe se termine-t-il (-ville, -bourg, -ac). Avec un corpus corpuscorpus corporacorpus A collection of written texts, speech recordings or transcribed language assembled for analysis or use in language technology (plural: corpora).Ensemble de textes écrits, d'enregistrements de parole ou de langue transcrite réuni pour l'analyse ou pour les technologies langagières. d’entraînement où les entités ont été étiquetées à la main, et ces attributs calculés pour chaque mot, l’algorithme peut apprendre quels motifs des données vont avec un nom.

On peut faire des choses impressionnantes avec l’ingénierie des attributs, et pourtant ces systèmes butent tous sur le même mur. Des attributs comme les suffixes et les majuscules décrivent la forme d’un mot. Ils ne disent rien de ce qu’il veut dire. Pour un modèle fondé sur des attributs, voiture et char sont simplement deux suites de lettres différentes, alors qu’au Québec les deux peuvent désigner le même véhicule ; travail et travaux ont l’air du singulier et du pluriel d’un même mot, alors que le pluriel en change souvent le sens. Pour passer le mur, il a fallu cesser de décrire les mots par des propriétés choisies à la main et laisser un système apprendre, à partir de la façon dont les mots sont employés, une représentation numérique des mots eux-mêmes (see also the Language as numbers module) (voir aussi le module Le langage en nombres).

When you read the word happiness, you may think of many things. You may think of related words, like joy or contentment. You may think about the translation in another language, like bonheur or geluk. You may think about a different form of the word: happy. Depending on your musical preferences, you may think of a song by Taylor Swift, Pharrell Williams, or “if you’re happy and you know it clap your hands”.

When a computer program “reads” the word happiness, it only gets a series of bits: the numbers associated to the characters of that exact word. The only easy connections to compute would be to other sequences of similar bits. For instance, the word happening has many of the same letters and exactly the same length.

So this is the fundamental challenge of NLP natural language processing (NLP)traitement automatique de la langue (TAL) NLPTAL An interdisciplinary field that develops and studies computational methods for analyzing, processing, and generating human language.Domaine interdisciplinaire qui développe et étudie des méthodes computationnelles pour analyser, traiter et générer le langage humain. : how do we get computer systems, designed to compute, i.e., calculate with numbers, to work with language? How can we capture language in numbers, beyond simple character similarities?

Quand vous lisez le mot bonheur, vous pouvez penser à bien des choses. Vous pouvez penser à des mots apparentés, comme joie ou contentement. Vous pouvez penser à sa traduction dans une autre langue, comme happiness ou geluk. Vous pouvez penser à une autre forme du mot : heureux. Selon vos goûts musicaux, vous pouvez penser à une chanson de Taylor Swift, de Pharrell Williams ou à « si tu aimes le soleil, tape des mains ».

Quand un programme informatique « lit » le mot bonheur, il ne reçoit qu’une suite de bits : les nombres associés aux caractères de ce mot précis. Les seules mises en relation faciles à calculer seraient avec d’autres suites de bits semblables. Le mot honneur, par exemple, a exactement la même longueur et cinq de ses sept lettres à la même place.

Voilà le défi fondamental du TAL natural language processing (NLP)traitement automatique de la langue (TAL) NLPTAL An interdisciplinary field that develops and studies computational methods for analyzing, processing, and generating human language.Domaine interdisciplinaire qui développe et étudie des méthodes computationnelles pour analyser, traiter et générer le langage humain.  : comment amener des systèmes informatiques, conçus pour calculer, c’est-à-dire pour faire des opérations sur des nombres, à travailler sur la langue ? Comment capter la langue en nombres, au-delà des simples ressemblances entre caractères ?

Il est encore là means he is still there, when you have been waiting for him to leave. It means he is there again, when he also came yesterday. Same four words, and English has no one word that covers both: the translation has to commit to still or to again. You make that choice from context, instantly and usually without registering that a choice existed.

Ambiguity like this runs through language at every level:

• Words. Livre is a book or a pound; marche is a step, a walk, or a form of marcher; English bat is an animal or sports equipment. Most frequent words have several senses, a property called polysemy polysemypolysémie linguisticslinguistique The property of a word or lemma having two or more related senses.Propriété d'un mot ou d'un lemme qui possède deux sens apparentés ou plus. , and text does not label which sense is meant.
• Structure. Groucho Marx, in Animal Crackers: “One morning I shot an elephant in my pajamas. How he got in my pajamas, I don’t know.” The joke is the second sentence taking the reading you did not. In my pajamas can hang from shot or from elephant, both are grammatical, and nothing but your sense of what is likely picked one.

• Reference. In the animal didn’t cross the street because it was too tired, the word it points at the animal; make the ending too wide and the same word points at the street. Nothing in the grammar decides; what streets and animals can be does.

The same property makes this hard for machines and invisible to people. Resolving it was too wide takes knowledge about streets; resolving encore takes the surrounding sentences. You bring that knowledge for free. A computer has to be given it, in a form it can compute with.

Your professional reflex, it depends on the context, is the requirement that word-by-word approaches to language technology could not satisfy.

Il est encore là veut dire qu’il n’est pas encore parti, quand vous attendiez qu’il parte. Cela veut dire qu’il est revenu, quand il était déjà venu la veille. Les quatre mêmes mots, et l’anglais n’a aucun mot qui couvre les deux sens : la traduction doit trancher entre still et again. Vous faites ce choix à partir du contexte, immédiatement et sans même remarquer qu’un choix se présentait.

Une ambiguïté de ce genre traverse la langue à tous les niveaux :

• Les mots. Livre est un ouvrage ou une unité de poids ; marche est un degré d’escalier, une promenade ou une forme de marcher ; l’anglais bat est un animal ou un instrument de sport. La plupart des mots fréquents ont plusieurs sens, une propriété appelée polysémie polysemypolysémie linguisticslinguistique The property of a word or lemma having two or more related senses.Propriété d'un mot ou d'un lemme qui possède deux sens apparentés ou plus. , et le texte n’indique pas lequel est visé.
• La structure. Groucho Marx, dans Animal Crackers : « One morning I shot an elephant in my pajamas. How he got in my pajamas, I don’t know. » La blague tient à la deuxième phrase, qui prend le sens que vous n’aviez pas retenu. In my pajamas peut se rattacher à shot ou à elephant, les deux sont grammaticaux, et rien d’autre que votre idée du vraisemblable n’en a choisi un.

• La référence. Dans le camion n’a pas franchi le pont parce qu’il était trop lourd, le mot il désigne le camion ; mettez trop étroit à la fin et le même mot désigne le pont. Les deux noms sont masculins, donc la grammaire ne tranche pas ; ce sont les propriétés des camions et des ponts qui le font.

C’est la même propriété qui rend la chose difficile pour une machine et invisible pour une personne. Résoudre trop étroit demande de savoir ce qu’est un pont ; résoudre encore demande les phrases autour. Vous apportez ce savoir gratuitement. Il faut le donner à un ordinateur, sous une forme avec laquelle il peut calculer.

Votre réflexe professionnel, cela dépend du contexte, est l’exigence à laquelle les approches mot à mot de la technologie langagière n’ont pas pu répondre.

Language never stands still or stays uniform. The French of a Montréal contract, a Paris news site and a group chat differ in vocabulary, spelling and syntax while all being French. New words arrive continuously (selfie, deepfake and a steady stream of borrowed tech vocabulary; covid did not exist in 2019 and was unavoidable a year later), old words shift sense, and real text is full of typos, abbreviations and creative usage that no dictionary anticipated.

And where language does follow rules, as the expression goes, the exception proves the rule. French plurals add -s, except -al words taking -aux, except bals and festivals; English past tenses add -ed, except a few hundred of the most frequent verbs. Writing the rule is quick. The real challenge is writing the exceptions, the exceptions to the exceptions, and the way the rules interact with one another: each addition fixes some cases and breaks others, and the effort of maintaining the set grows with its size.

Rule-based systems rule-based systemsystème à base de règles AIIA A system whose behaviour is fixed by rules that people wrote, most often of the form "if this condition, then this action", so that every output can be traced to the rule that produced it.Système dont le comportement est fixé par des règles écrites par des personnes, le plus souvent de la forme « si cette condition, alors cette action », de sorte que chaque résultat peut être rapporté à la règle qui l'a produit. can still be useful for simple, well-defined tasks: if someone types example in a French text, autocorrect it to exemple. However, the more complex and open-ended the task, the more ambiguity ambiguityambiguïté linguisticslinguistique The property of a stretch of language that allows more than one interpretation.Propriété d'un segment de langue qui autorise plus d'une interprétation. there is, and the more likely it becomes that no limited set of rules can capture it.

This is the concrete experience behind the move to learning from data (see also the Four paradigms page, in the Foundations of AI & NLP module) (voir aussi la page Quatre paradigmes, dans le module Fondements de l'IA et du TAL). A statistical system does not need the exception list written out. Given enough text, the exceptions are in the data, with their frequencies attached.

The catch is the phrase given enough text. A system that learns language from data inherits the language of that data, its regions, registers and blind spots included, and that inheritance can be measured directly on the languages a model handles worst (see also the Consequences of tokenization chapter, in the Language as numbers module) (voir aussi le chapitre Conséquences de la jetonisation, dans le module Le langage en nombres).

La langue ne s’arrête jamais et ne reste jamais uniforme. Le français d’un contrat montréalais, d’un site d’information parisien et d’un fil de clavardage diffère par le vocabulaire, l’orthographe et la syntaxe tout en restant du français. De nouveaux mots arrivent continuellement (égoportrait, hypertrucage et un flux constant de vocabulaire technique emprunté ; covid n’existait pas en 2019 et était incontournable un an plus tard), des mots anciens changent de sens, et les textes réels sont pleins de fautes de frappe, d’abréviations et d’usages inventifs qu’aucun dictionnaire n’avait prévus.

Et là où la langue suit bel et bien des règles, comme dit l’expression, l’exception confirme la règle. Le pluriel français ajoute -s, sauf les mots en -al qui prennent -aux, sauf bals et festivals ; le prétérit anglais ajoute -ed, sauf quelques centaines des verbes les plus fréquents. Écrire la règle est rapide. La vraie difficulté est d’écrire les exceptions, les exceptions aux exceptions et la façon dont les règles interagissent entre elles : chaque ajout corrige des cas et en casse d’autres, et l’effort d’entretien croît avec la taille du jeu de règles.

Les systèmes à base de règles rule-based systemsystème à base de règles AIIA A system whose behaviour is fixed by rules that people wrote, most often of the form "if this condition, then this action", so that every output can be traced to the rule that produced it.Système dont le comportement est fixé par des règles écrites par des personnes, le plus souvent de la forme « si cette condition, alors cette action », de sorte que chaque résultat peut être rapporté à la règle qui l'a produit. restent utiles pour des tâches simples et bien délimitées : si quelqu’un tape exemple dans un texte anglais, le corriger automatiquement en example. Cependant, plus la tâche est complexe et ouverte, plus elle comporte d’ambiguïté ambiguityambiguïté linguisticslinguistique The property of a stretch of language that allows more than one interpretation.Propriété d'un segment de langue qui autorise plus d'une interprétation. , et moins il est probable qu’un jeu de règles limité puisse en rendre compte.

C’est l’expérience concrète qui explique le passage à l’apprentissage à partir de données (see also the Four paradigms page, in the Foundations of AI & NLP module) (voir aussi la page Quatre paradigmes, dans le module Fondements de l'IA et du TAL). Un système statistique n’a pas besoin qu’on lui écrive la liste des exceptions. Avec assez de texte, les exceptions sont dans les données, avec leurs fréquences.

Le piège tient dans l’expression avec assez de texte. Un système qui apprend la langue à partir de données hérite de la langue de ces données, avec ses régions, ses registres et ses angles morts, et cet héritage se mesure directement sur les langues qu’un modèle traite le plus mal (see also the Consequences of tokenization chapter, in the Language as numbers module) (voir aussi le chapitre Conséquences de la jetonisation, dans le module Le langage en nombres).

The systems behind much of today’s language technology, including almost all machine translation systems and chatbots with which you will interact, are neural networks. The name suggests something brain-like, and the inspiration is real, but loose: there are some similarities between artificial neural networks and natural neural networks like our brain, but this does not go beyond the very basics.

Each unit, called a neuron, is a small mathematical function. It receives numbers from the units connected to it, combines them, and passes a number on. Every connection has a strength, called a weight weightpoids machine learningapprentissage automatique A real number attached to one input of a computing unit, learned during training, that sets how much that input counts towards the unit's output.Nombre réel attaché à une entrée d'une unité de calcul, appris pendant l'entraînement, qui détermine l'importance de cette entrée dans la sortie de l'unité. , and those weights, the network’s parameters parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. , are what training adjusts: a stronger connection means one unit’s output matters more to the next.

The units are organized in layers. An input layer takes in the raw data as numbers; one or more hidden layers transform it, step by step; an output layer produces the answer, for example one value per possible category. When there are many hidden layers, the network is called deep, which is all that the “deep” in deep learning means (LeCun et al., 2015).

Depth is what lets a network build complex patterns out of simple ones. Early layers pick up simple regularities in the raw input; later layers combine those into larger ones. In image recognition, the classic illustration, first edges, then shapes, then faces. For text the same principle applies, with one catch: a network’s input layer takes numbers, so using one for language requires a way to encode language as numbers (see also the Language as numbers module) (voir aussi le module Le langage en nombres).

Les systèmes derrière une bonne partie des technologies langagières d’aujourd’hui, dont la quasi-totalité des systèmes de traduction automatique et des agents conversationnels avec lesquels vous interagirez, sont des réseaux de neurones. Le nom évoque quelque chose de cérébral, et l’inspiration est réelle, mais lâche : il existe certaines ressemblances entre les réseaux de neurones artificiels et les réseaux de neurones naturels comme notre cerveau, mais cela ne va pas au-delà des bases.

Chaque unité, appelée neurone, est une petite fonction mathématique. Elle reçoit des nombres des unités qui lui sont reliées, les combine et transmet un nombre. Chaque connexion a une force, appelée poids weightpoids machine learningapprentissage automatique A real number attached to one input of a computing unit, learned during training, that sets how much that input counts towards the unit's output.Nombre réel attaché à une entrée d'une unité de calcul, appris pendant l'entraînement, qui détermine l'importance de cette entrée dans la sortie de l'unité. , et ces poids, les paramètres parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. du réseau, sont ce que l’entraînement ajuste : une connexion plus forte veut dire que la sortie d’une unité compte davantage pour la suivante.

Les unités sont organisées en couches. Une couche d’entrée reçoit les données brutes sous forme de nombres ; une ou plusieurs couches cachées les transforment, étape par étape ; une couche de sortie produit la réponse, par exemple une valeur par catégorie possible. Quand il y a beaucoup de couches cachées, on dit que le réseau est profond, et c’est tout ce que veut dire le « profond » d’apprentissage profond (LeCun et al., 2015).

C’est la profondeur qui permet à un réseau de construire des motifs complexes à partir de motifs simples. Les premières couches relèvent des régularités simples dans l’entrée brute ; les couches suivantes les combinent en motifs plus grands. En reconnaissance d’images, l’illustration classique, d’abord des contours, puis des formes, puis des visages. Pour le texte, le même principe s’applique, avec une réserve : la couche d’entrée d’un réseau reçoit des nombres, donc utiliser un réseau pour la langue demande une façon d’encoder la langue en nombres (see also the Language as numbers module) (voir aussi le module Le langage en nombres).

A toy example

Suppose we want a network that tells diamonds, squares and circles apart.Shapes are a toy task, chosen for its simplicity and easy visualization. A real network chooses among far more classes, and its input is rarely anything as tidy as a drawn shape. The loop is the same either way, which is what lets the example be this small. That already fixes the shape of its output layer: one unit per category, one for square, one for circle, one for diamond. Their scores are turned into percentages that add up to 100, so the three answers compete, and raising one lowers the others.

A network answers in probabilities from the start. Untrained, they are essentially random. Given a picture of a diamond and asked what shape it is, the answer might be something like: square 40%, circle 35%, diamond 25%. Early in training they can be confidently wrong instead: square 80%, circle 10%, diamond 10%. The network is then told the right answer, and the predict-compare-adjust loop of supervised learning reappears in its neural form (see also the From rules to machine learning chapter, in the Foundations of AI & NLP module) (voir aussi le chapitre Des règles à l'apprentissage automatique, dans le module Fondements de l'IA et du TAL): the error flows backward through the network, and the connections that pushed toward square are weakened, the ones that pushed toward diamond strengthened.

Millions of small adjustments

Adjustment is not reserved for mistakes. A network nudges its connections on every example, including the ones it already gets right; the nudge simply gets smaller as the prediction moves closer to the label. One example changes little. Millions of examples, each nudging millions of parameters parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. , add up to a system whose predictions are sharp. Nothing else in the network changes during training: the architecture, the layers and the connections stay as designed. Learning is entirely a matter of adjusting the strengths.

The difference from a feature-based model

The decisive difference from a feature-based model is what the network learns from. A feature-based model needed a human to decide that suffixes and capitalization matter. A neural network takes raw data (e.g., pixels of an image, or numerical representations of words), and finds its own regularities in it, including ones no human would have thought to specify. The features are learned, and feature engineering disappears. The human work does not disappear with it: choosing and encoding features used to be most of the effort of building a system, and the effort now goes into collecting the data, defining the task and designing the network.

Why it took until the 2010s

Nothing about the idea is new: the underlying design goes back to the perceptron of the 1950s (Rosenblatt, 1958), the first model that could learn its own weights weightpoids machine learningapprentissage automatique A real number attached to one input of a computing unit, learned during training, that sets how much that input counts towards the unit's output.Nombre réel attaché à une entrée d'une unité de calcul, appris pendant l'entraînement, qui détermine l'importance de cette entrée dans la sortie de l'unité. from labelled examples (Goodfellow et al., 2016). In the 2010s, its two main requirements could finally be fulfilled. Learning features from raw data takes far more examples than learning weights for a few hand-picked features, and processing them takes enormous computation. Large collections of digital text and images supplied the first; graphics processors, built to render games, turned out to suit the calculations and supplied the second. With both in place, deep networks moved the state of the art in speech recognition, image recognition and object detection, and in fields as far from language as drug discovery (LeCun et al., 2015).

Un exemple jouet

Supposons que nous voulions un réseau qui distingue les losanges, les carrés et les cercles.Les formes sont une tâche jouet, choisie pour sa simplicité et sa facilité de visualisation. Un vrai réseau choisit parmi beaucoup plus de catégories, et son entrée est rarement aussi nette qu’une forme dessinée. La boucle est la même dans les deux cas, et c’est ce qui permet à l’exemple d’être aussi petit. Cela fixe déjà la forme de sa couche de sortie : une unité par catégorie, une pour carré, une pour cercle, une pour losange. Leurs scores sont transformés en pourcentages dont la somme fait 100, si bien que les trois réponses sont en concurrence : en faire monter une fait descendre les autres.

Un réseau répond en probabilités dès le départ. Sans entraînement, elles sont essentiellement aléatoires. Si on lui montre l’image d’un losange en lui demandant de quelle forme il s’agit, la réponse pourrait ressembler à ceci : carré 40 %, cercle 35 %, losange 25 %. Tôt dans l’entraînement, elles peuvent au contraire être fausses avec assurance : carré 80 %, cercle 10 %, losange 10 %. On donne ensuite la bonne réponse au réseau, et la boucle prédire, comparer, ajuster de l’apprentissage supervisé reparaît sous sa forme neuronale (see also the From rules to machine learning chapter, in the Foundations of AI & NLP module) (voir aussi le chapitre Des règles à l'apprentissage automatique, dans le module Fondements de l'IA et du TAL) : l’erreur remonte à travers le réseau, les connexions qui poussaient vers carré sont affaiblies, celles qui poussaient vers losange renforcées.

Des millions de petits ajustements

L’ajustement n’est pas réservé aux erreurs. Un réseau retouche ses connexions à chaque exemple, y compris ceux qu’il réussit déjà ; la retouche devient simplement plus petite à mesure que la prédiction se rapproche de l’étiquette. Un exemple change peu de chose. Des millions d’exemples, retouchant chacun des millions de paramètres parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. , produisent un système dont les prédictions sont nettes. Rien d’autre ne change dans le réseau pendant l’entraînement : l’architecture, les couches et les connexions restent telles qu’elles ont été conçues. Apprendre revient entièrement à ajuster les forces.

La différence avec un modèle fondé sur des attributs

La différence décisive avec un modèle fondé sur des attributs tient à ce à partir de quoi le réseau apprend. Un tel modèle demandait à une personne de décider que les suffixes et les majuscules comptent. Un réseau de neurones prend des données brutes (p. ex. les pixels d’une image, ou des représentations numériques de mots) et y trouve ses propres régularités, y compris celles que personne n’aurait pensé à préciser. Les attributs sont appris, et l’ingénierie des attributs disparaît. Le travail humain ne disparaît pas pour autant : choisir et encoder les attributs constituait l’essentiel de l’effort de construction d’un système, et l’effort va désormais à la collecte des données, à la définition de la tâche et à la conception du réseau.

Pourquoi il a fallu attendre les années 2010

L’idée n’a rien de neuf : la conception de fond remonte au perceptron des années 1950 (Rosenblatt, 1958), le premier modèle capable d’apprendre lui-même ses poids weightpoids machine learningapprentissage automatique A real number attached to one input of a computing unit, learned during training, that sets how much that input counts towards the unit's output.Nombre réel attaché à une entrée d'une unité de calcul, appris pendant l'entraînement, qui détermine l'importance de cette entrée dans la sortie de l'unité. à partir d’exemples étiquetés (Goodfellow et al., 2016). Dans les années 2010, ses deux exigences principales ont enfin pu être satisfaites. Apprendre des attributs à partir de données brutes demande beaucoup plus d’exemples qu’apprendre des poids pour quelques attributs choisis à la main, et les traiter demande énormément de calcul. De grandes collections de textes et d’images numériques ont fourni la première ; les processeurs graphiques, conçus pour le rendu des jeux, se sont trouvés adaptés à ces calculs et ont fourni la seconde. Les deux réunies, les réseaux profonds ont fait progresser l’état de l’art en reconnaissance de la parole, en reconnaissance d’images et en détection d’objets, et dans des domaines aussi éloignés de la langue que la découverte de médicaments (LeCun et al., 2015).

With a rule-based system rule-based systemsystème à base de règles AIIA A system whose behaviour is fixed by rules that people wrote, most often of the form "if this condition, then this action", so that every output can be traced to the rule that produced it.Système dont le comportement est fixé par des règles écrites par des personnes, le plus souvent de la forme « si cette condition, alors cette action », de sorte que chaque résultat peut être rapporté à la règle qui l'a produit. you can always find out why an output came out as it did: some rule was triggered, and that rule can be read, disagreed with and changed. In a trained neural network there is nothing to read. Its behaviour is stored as millions of numerical connection weights weightpoids machine learningapprentissage automatique A real number attached to one input of a computing unit, learned during training, that sets how much that input counts towards the unit's output.Nombre réel attaché à une entrée d'une unité de calcul, appris pendant l'entraînement, qui détermine l'importance de cette entrée dans la sortie de l'unité. , learnt from data, and no single one of them means anything on its own. The mathematics of every step is known exactly; what the steps collectively do is not stated anywhere in a form a person can check.

Statistical systems are a sort of middle ground: their rules are learnt from data rather than written by hand, but stay more or less readable (see also the Four paradigms page, in the Foundations of AI & NLP module) (voir aussi la page Quatre paradigmes, dans le module Fondements de l'IA et du TAL). How readable depends on the algorithm: a decision tree can be printed and followed, while the weights of a support vector machine with a non-linear kernel cannot be read that way.

This is what people mean when they call neural networks black boxes, and it is a property of the approach rather than a defect to be patched later. The power of the method comes from letting the system find regularities too numerous and too diffuse for anyone to write down; a representation humans could read would be a representation humans could have written.

Four consequences follow for anyone who works with these systems:

• Errors cannot be fixed the way a rule is fixed. There is no line to correct. Improving a network means changing its training data training setjeu de données d'entraînement machine learningapprentissage automatique The portion of a dataset used to train a machine-learning model.Portion d'un jeu de données servant à entraîner un modèle d'apprentissage automatique. , training it further, or changing its architecture and training again, and any of these can shift its behaviour elsewhere in ways nobody chose.
• Behaviour is discovered by testing, not by inspection. The only way to know how a system handles legal text, or Québécois French, is to try it on legal text and Québécois French, which is why evaluation is a professional skill in its own right (see also the Evaluating language technology module) (voir aussi le module L'évaluation des technologies langagières).
• The same input need not give the same output. A classifier is deterministic deterministicdéterministe computinginformatique Describes a process, algorithm, or system that, under the same initial conditions and with the same input, always produces the same output.Se dit d'un processus, d'un algorithme ou d'un système qui, dans les mêmes conditions initiales et avec la même entrée, produit toujours la même sortie. : the same email gives the same verdict every time. A system that generates text often is not, because choosing each next word can involve randomness, and one run then differs from the next. A single trial is evidence about that run, not about the system.
• Confidence is not self-knowledge. A network reports probabilities, and they measure how its training data looked, never how much it “knows” (see also the Critical issues with LLMs module) (voir aussi le module Enjeux critiques des GML).

Avec un système à base de règles rule-based systemsystème à base de règles AIIA A system whose behaviour is fixed by rules that people wrote, most often of the form "if this condition, then this action", so that every output can be traced to the rule that produced it.Système dont le comportement est fixé par des règles écrites par des personnes, le plus souvent de la forme « si cette condition, alors cette action », de sorte que chaque résultat peut être rapporté à la règle qui l'a produit. , on peut toujours savoir pourquoi une sortie est celle qu’elle est : une règle a été déclenchée, et cette règle peut être lue, contestée et modifiée. Dans un réseau de neurones entraîné, il n’y a rien à lire. Son comportement est stocké sous forme de millions de poids weightpoids machine learningapprentissage automatique A real number attached to one input of a computing unit, learned during training, that sets how much that input counts towards the unit's output.Nombre réel attaché à une entrée d'une unité de calcul, appris pendant l'entraînement, qui détermine l'importance de cette entrée dans la sortie de l'unité. de connexion numériques, appris des données, et aucun d’eux ne veut rien dire à lui seul. Les mathématiques de chaque étape sont connues exactement ; ce que les étapes font ensemble n’est écrit nulle part sous une forme vérifiable par une personne.

Les systèmes statistiques sont une sorte de moyen terme : leurs règles sont apprises à partir de données plutôt qu’écrites à la main, mais restent plus ou moins lisibles (see also the Four paradigms page, in the Foundations of AI & NLP module) (voir aussi la page Quatre paradigmes, dans le module Fondements de l'IA et du TAL). Le degré de lisibilité dépend de l’algorithme : un arbre de décision peut être imprimé et suivi, alors que les poids d’une machine à vecteurs de support à noyau non linéaire ne se lisent pas ainsi.

C’est ce qu’on veut dire en appelant les réseaux de neurones des boîtes noires, et c’est une propriété de l’approche plutôt qu’un défaut à corriger plus tard. La puissance de la méthode vient de ce qu’on laisse le système trouver des régularités trop nombreuses et trop diffuses pour que quiconque les écrive ; une représentation lisible par des humains serait une représentation que des humains auraient pu écrire.

Quatre conséquences en découlent pour qui travaille avec ces systèmes :

• Les erreurs ne se corrigent pas comme on corrige une règle. Il n’y a pas de ligne à reprendre. Améliorer un réseau veut dire changer ses données d’entraînement training setjeu de données d'entraînement machine learningapprentissage automatique The portion of a dataset used to train a machine-learning model.Portion d'un jeu de données servant à entraîner un modèle d'apprentissage automatique. , l’entraîner davantage, ou changer son architecture et l’entraîner de nouveau, et chacune de ces voies peut déplacer son comportement ailleurs d’une façon que personne n’a choisie.
• Le comportement se découvre en testant, pas en inspectant. La seule façon de savoir comment un système traite un texte juridique, ou du français québécois, est de l’essayer sur un texte juridique et sur du français québécois, et c’est pourquoi l’évaluation est une compétence professionnelle à part entière (see also the Evaluating language technology module) (voir aussi le module L'évaluation des technologies langagières).
• La même entrée ne donne pas forcément la même sortie. Un classifieur est déterministe deterministicdéterministe computinginformatique Describes a process, algorithm, or system that, under the same initial conditions and with the same input, always produces the same output.Se dit d'un processus, d'un algorithme ou d'un système qui, dans les mêmes conditions initiales et avec la même entrée, produit toujours la même sortie.  : le même courriel reçoit le même verdict chaque fois. Un système qui génère du texte ne l’est souvent pas, parce que le choix de chaque mot suivant peut comporter une part de hasard, et une exécution diffère alors de la suivante. Un seul essai renseigne sur cet essai, pas sur le système.
• L’assurance n’est pas de la connaissance de soi. Un réseau donne des probabilités, et elles mesurent à quoi ressemblaient ses données d’entraînement, jamais ce qu’il « sait » (see also the Critical issues with LLMs module) (voir aussi le module Enjeux critiques des GML).

If words have to become numbers, the obvious first move is a list: a dictionary with its entries numbered.

angelic = 1
ape     = 2
apple   = 3
ardour  = 4
...
zany    = 99,997
zeal    = 99,998
zebra   = 99,999

Every word now has a number, and the conversion is trivial in both directions. But, as Figure 1figure 1 shows, there are three specific issues, where such numbers miss some essential part of what would make them useful.

• Arithmetic on these numbers is meaningless. One plus two is three, so an angelic (1) ape (2) makes an apple (3)? Any calculation a system performs on the codes manipulates alphabetical position, which has nothing to do with what the words mean.
• The numbers place related words no closer than unrelated ones. Ardour (4) and zeal (99,998) are near-synonyms sitting about 99,000 apart, farther from each other than either is from apple. A translation system needs exactly the opposite: words with similar meanings should have similar representations.
• A single number per word smuggles in an ordering. 99,999 is bigger than 2, but zebra is not more of anything than ape. A model fed these codes risks attaching meaning to the size of the number, where the only thing behind it is alphabetical order.

Si les mots doivent devenir des nombres, le premier réflexe est d’en faire une liste : un dictionnaire dont les entrées sont numérotées.

ananas = 1
ange   = 2
animal = 3
ardeur = 4
...
zapper = 99 997
zèbre  = 99 998
zèle   = 99 999

Chaque mot a maintenant un nombre, et la conversion se fait sans effort dans les deux sens. Mais, comme le montre la Figure 1figure 1, trois problèmes précis apparaissent, où de tels nombres passent à côté de ce qui les rendrait utiles.

• L’arithmétique sur ces nombres n’a aucun sens. Un plus deux font trois : un ananas (1) et un ange (2) donneraient donc un animal (3) ? Tout calcul effectué sur ces codes manipule une position alphabétique, qui n’a rien à voir avec le sens des mots.
• Les nombres ne rapprochent pas les mots apparentés plus que les mots sans rapport. Ardeur (4) et zèle (99 999) sont des quasi-synonymes séparés par environ 99 000, plus loin l’un de l’autre que chacun ne l’est d’animal. Un système de traduction a besoin exactement de l’inverse : des mots de sens proches devraient avoir des représentations proches.
• Un seul nombre par mot introduit un ordre en douce. 99 998 est plus grand que 1, mais un zèbre n’a rien de plus qu’un ananas. Un modèle nourri de ces codes risque de prêter un sens à la taille du nombre, alors que la seule chose derrière elle est l’ordre alphabétique.

The word vector sounds more technical than what it names.

Read [2, 3] as directions on a map: two steps along the horizontal axis, three along the vertical, and you have marked a point. A vector with three numbers marks a point in three-dimensional space, and nothing stops a vector from having three hundred numbers; the space can no longer be drawn or imagined, but the mathematics works the same way.

Points, unlike bare code numbers, have geometry. Two points can be close together or far apart; a cluster of points forms a group; a direction in the space can be followed. If each word is placed at a point, then closeness in the space becomes available to represent closeness in meaning, which a single number per word had no way to express.

Le mot vecteur a l’air plus technique que ce qu’il désigne.

[2, 3] se lit comme des indications sur une carte : deux pas le long de l’axe horizontal, trois le long de l’axe vertical, et un point est marqué. Un vecteur de trois nombres marque un point dans un espace à trois dimensions, et rien n’empêche un vecteur d’avoir trois cents nombres ; l’espace ne peut alors plus être dessiné ni imaginé, mais les mathématiques fonctionnent de la même façon.

Les points, contrairement à de simples numéros de code, ont une géométrie. Deux points peuvent être proches ou éloignés ; un ensemble de points forme un groupe ; une direction peut être suivie dans l’espace. Si chaque mot est placé en un point, la proximité dans l’espace devient disponible pour représenter la proximité de sens, ce qu’un seul nombre par mot n’avait aucun moyen d’exprimer.

The first vector representation of words that the field actually used works like a row of switches with one of them on. Each word in a 100,000-word vocabulary gets its own position, and is represented as a vector of 100,000 numbers: zeros everywhere, except a single 1 at that word’s position.

angelic = [1, 0, 0, 0, ..., 0, 0, 0]
ape     = [0, 1, 0, 0, ..., 0, 0, 0]
apple   = [0, 0, 1, 0, ..., 0, 0, 0]
ardour  = [0, 0, 0, 1, ..., 0, 0, 0]
...
zebra   = [0, 0, 0, 0, ..., 0, 0, 1]

The false ordering is gone. No word’s vector is larger than another’s; zebra is no longer “more” than ape. In the geometry of the space, each word now owns its own axis, and every pair of words stands at exactly the same distance, like the corners of a perfectly symmetric figure.

Exactly the same distance is also the new problem. Ardour is now precisely as different from zeal as from zebra: the representation contains no similarity information at all, for anyone. It identifies words the way a locker number identifies a student, saying nothing about them.

There is a practical objection too. These vectors are enormous, and almost all of their content is zeros: 100,000 numbers per word, of which one is informative.

The numbered list crammed every word onto one axis and invented differences; the one-hot vector gives every word its own axis and erases all resemblance.

La première représentation vectorielle des mots que le domaine ait réellement utilisée fonctionne comme une rangée d’interrupteurs dont un seul est allumé. Chaque mot d’un vocabulaire de 100 000 mots reçoit sa propre position et est représenté par un vecteur de 100 000 nombres : des zéros partout, sauf un seul 1 à la position de ce mot.

ananas = [1, 0, 0, 0, ..., 0, 0, 0]
ange   = [0, 1, 0, 0, ..., 0, 0, 0]
animal = [0, 0, 1, 0, ..., 0, 0, 0]
ardeur = [0, 0, 0, 1, ..., 0, 0, 0]
...
zèle   = [0, 0, 0, 0, ..., 0, 0, 1]

L’ordre trompeur a disparu. Le vecteur d’un mot n’est jamais plus grand que celui d’un autre ; zèbre n’est plus « plus » qu’ananas. Dans la géométrie de l’espace, chaque mot possède désormais son propre axe, et chaque paire de mots se tient exactement à la même distance, comme les sommets d’une figure parfaitement symétrique.

Cette distance identique est aussi le nouveau problème. Ardeur est maintenant exactement aussi différent de zèle que de zèbre : la représentation ne contient aucune information de similarité, pour personne. Elle identifie les mots comme un numéro de casier identifie un étudiant, sans rien dire de lui.

Il y a aussi une objection pratique. Ces vecteurs sont énormes et leur contenu est presque entièrement fait de zéros : 100 000 nombres par mot, dont un seul est informatif.

La liste numérotée entassait tous les mots sur un seul axe et inventait des différences ; le vecteur 1 parmi n donne à chaque mot son propre axe et efface toute ressemblance. Ce qu’il faut se situe entre les deux : des vecteurs comptant un nombre modeste de dimensions, partagées par tous les mots, où les valeurs placent les mots de sens proches près les uns des autres.

What the last two chapters settled

What is still missing

• Numbers that say how words relate. So far cat is exactly as far from dog as it is from democracy.
• A representation that stays manageable and still says something. Giving every word its own slot takes tens of thousands of numbers to say one thing, and all but one of them are zero.
• A representation that can change with the sentence. Bank does not mean the same thing in every sentence it appears in, and one fixed set of numbers per word cannot follow that.

Ce que les deux chapitres précédents ont établi

Ce qui manque encore

• Des nombres qui disent comment les mots se rapportent. Jusqu’ici, chat est exactement aussi loin de chien que de démocratie.
• Une représentation qui reste maniable et qui dit quelque chose. Donner à chaque mot sa propre case demande des dizaines de milliers de nombres pour dire une seule chose, et tous sauf un valent zéro.
• Une représentation qui peut changer avec la phrase. Livres ne veut pas dire la même chose dans toutes les phrases où le mot apparaît, et un seul jeu de nombres fixe par mot ne peut pas suivre.

Words as coordinates

Suppose you want to place words in a two-dimensional space. You give the horizontal axis one meaning and the vertical axis another, then put each word where it belongs relative to those two meanings. Every word ends up with coordinates, which is to say a vector vectorvecteur machine learningapprentissage automatique An ordered list of numbers.Liste ordonnée de nombres. : here a list of two numbers, one per axis. Those numbers do more than locate the word. They say how it stands on each of the two meanings, and how far it is from every other word in the same space.

Speed and capacity

The idea is worked out for means of transport in Figure 1figure 1. The horizontal axis is passenger capacity and the vertical axis is speed, and most people would agree on roughly where each vehicle goes. A skateboard scores low on both: it does not travel fast and it carries one person. A rocket has maximal speed and more moderate capacity, giving it the vector [0.4, 1.0]. Where a one-hot vector only identified a word, that pair of numbers says something about the thing named, and it fixes how far the rocket stands from every other vehicle in the space.

Placing words this way also makes groups form on their own. Personal transport gathers on the left, public transport on the right, and the rocket sits apart, which is where it belongs. Nobody drew those groups; they follow from the coordinates.

Where the apple goes

So far this looks like a promising way to turn words into lists of numbers that mean something. Then: where would you put an apple in this space? The question makes no sense, because speed and capacity say nothing about an apple.

Two things follow. A space that fits a whole vocabulary needs many more than two dimensions, since it has to suit everything from skateboard to ardour. And once there are hundreds of dimensions and tens of thousands of words, neither the axes nor the positions can be chosen by a person.

Which leaves the question: how can numbers like these be found automatically, for every word in a vocabulary?

Les mots comme coordonnées

Supposons que vous vouliez placer des mots dans un espace à deux dimensions. Vous donnez un sens à l’axe horizontal et un autre à l’axe vertical, puis vous posez chaque mot là où il se situe par rapport à ces deux sens. Chaque mot se retrouve avec des coordonnées, c’est-à-dire un vecteur vectorvecteur machine learningapprentissage automatique An ordered list of numbers.Liste ordonnée de nombres.  : ici une liste de deux nombres, un par axe. Ces nombres font plus que localiser le mot. Ils disent comment il se situe sur chacun des deux sens, et à quelle distance il se trouve de tous les autres mots du même espace.

La vitesse et le nombre de passagers

L’idée est développée pour des moyens de transport dans la Figure 1figure 1. L’axe horizontal est le nombre de passagers et l’axe vertical la vitesse, et la plupart des gens s’entendraient sur la place approximative de chaque véhicule. La planche est basse sur les deux : elle ne va pas vite et elle transporte une personne. La fusée a une vitesse maximale et une capacité plus modeste, ce qui lui donne le vecteur [0,4 ; 1,0]. Là où un vecteur 1 parmi n ne faisait qu’identifier un mot, cette paire de nombres dit quelque chose de la chose nommée, et elle fixe la distance entre la fusée et tous les autres véhicules de l’espace.

Placer les mots de cette façon fait aussi apparaître des groupes d’eux-mêmes. Le transport individuel se rassemble à gauche, le transport collectif à droite, et la fusée reste à part, là où elle a sa place. Personne n’a dessiné ces groupes ; ils découlent des coordonnées.

Où placer la pomme

Jusqu’ici, voilà une manière prometteuse de transformer des mots en listes de nombres qui veulent dire quelque chose. Puis : où placeriez-vous une pomme dans cet espace ? La question n’a aucun sens, parce que la vitesse et le nombre de passagers ne disent rien d’une pomme.

Deux conséquences. Un espace qui accueille un vocabulaire entier a besoin de bien plus de deux dimensions, puisqu’il doit convenir à tout, de planche à ardeur. Et dès qu’il y a des centaines de dimensions et des dizaines de milliers de mots, ni les axes ni les positions ne peuvent être choisis par une personne.

Reste la question : comment trouver automatiquement de tels nombres, pour chaque mot d’un vocabulaire ?

Five blanks

Suppose you are given five fragments of text, each with one word missing:

• have a ___ as pet
• pet the ___ of the
• and the ___ purrs loudly
• walk your ___ on a leash
• does the ___ love music

Which words could fill the blank? Cat goes into the first three without any trouble; the leash makes you hesitate. Dog goes into the pet, the petting and the leash, and fails at the purring. The last fragment takes any of them, which is why it tells you so little. So the two words share most of their contexts, and the ones they do not share are exactly the ones you would expect: a cat purrs, a dog is walked.

Now try snake. It fits have a ___ as pet, and after that it gets harder: a snake does not purr, and a snake on a leash is a very big stretch. Snake shares one or two contexts with cat and dog and not the rest. A word like democracy fits none of the five.

Not only whether a word can fill a blank counts, but how often it does. Cat turns up before purrs far more often than after walk your, and a system that counts contexts in a large collection of text sees that difference directly.

What the blanks show

Words with related meanings turn up in similar contexts, and the more two words’ contexts overlap, the closer their meanings tend to be. Linguists formulated this in the 1950s, Joos, Harris and Firth among them (Jurafsky & Martin, 2026), and Firth put it in one sentence: “You shall know a word by the company it keeps” (Firth, 1957).

Why this suits a machine

The idea is useful for a machine because of what it does not require:

• No definitions. Nobody has to say what cat means.
• No labels. Nobody has to mark examples by hand.
• No hand-picked axes. Nobody chooses the dimensions of the space, or where each word goes on them.

It does require text, in quantity. Contexts are observable: any large collection of text shows directly which words surround which. So a system can build a workable stand-in for meaning just by reading enough text.

Cinq trous

Supposons qu’on vous donne cinq fragments de texte, chacun avec un mot manquant :

• adopter un ___
• caresser le ___ du
• et le ___ ronronne fort
• promener son ___ en laisse
• le ___ aime-t-il la musique

Quels mots pourraient remplir le trou ? Chat entre sans peine dans les trois premiers ; la laisse fait hésiter. Chien entre dans l’adoption, la caresse et la laisse, et échoue sur le ronronnement. Le dernier fragment accepte n’importe lequel des trois, et c’est pourquoi il vous apprend si peu. Les deux mots partagent donc la plupart de leurs contextes, et ceux qu’ils ne partagent pas sont exactement ceux qu’on attendrait : un chat ronronne, on promène un chien.

Essayez maintenant serpent. Il va avec adopter un ___, et ensuite, cela se complique : un serpent ne ronronne pas, et un serpent en laisse, c’est vraiment tiré par les cheveux. Serpent partage un ou deux contextes avec chat et chien, et pas le reste. Un mot comme démocratie ne remplit aucun des cinq.

Il ne suffit pas qu’un mot puisse remplir un trou : la fréquence à laquelle il le fait compte aussi. Chat précède ronronne bien plus souvent qu’il ne suit promener son, et un système qui compte les contextes dans un grand ensemble de textes voit cette différence directement.

Ce que montrent les trous

Les mots dont le sens est apparenté apparaissent dans des contextes semblables, et plus les contextes de deux mots se recoupent, plus leurs sens ont tendance à être proches. Des linguistes l’ont formulé dans les années 1950, Joos, Harris et Firth parmi eux (Jurafsky et Martin, 2026), et Firth l’a résumé en une phrase : « You shall know a word by the company it keeps » (Firth, 1957).

Pourquoi cela convient à une machine

L’idée est utile à une machine par ce qu’elle n’exige pas :

• Aucune définition. Personne n’a à dire ce que chat veut dire.
• Aucune annotation. Personne n’a à marquer des exemples à la main.
• Aucun axe choisi à la main. Personne ne choisit les dimensions de l’espace, ni la place de chaque mot sur celles-ci.

Il faut en revanche du texte, en quantité. Les contextes sont observables : n’importe quel grand ensemble de textes montre directement quels mots entourent quels autres. Un système peut donc se construire un substitut utilisable du sens simplement en lisant assez de texte.

Learning the positions from text

Mikolov et al. (2013a) published word2vec, a pair of architectures that put the distributional hypothesis distributional hypothesishypothèse distributionnelle embeddingsplongements The linguistic hypothesis that patterns of word use provide evidence about meaning: words that occur with similar neighbouring words are likely to have related or similar meanings.Hypothèse linguistique selon laquelle les régularités d'emploi des mots renseignent sur leur sens : les mots qui apparaissent avec des voisins semblables ont vraisemblablement des sens apparentés ou proches. to work at scale. Each word starts with a vector of a few hundred numbers, and those numbers are then adjusted on millions of sentences, nudging words toward each other whenever they occur in similar contexts. The method spread because it was efficient: high-quality vectors from 1.6 billion words in under a day, where earlier neural approaches cost far more. Related methods followed, GloVe among them (Pennington et al., 2014), and the family became the standard representation of words. Every word in the vocabulary vocabularyvocabulaire language modelsmodèles de langue The fixed set of tokens that a tokenizer and language model can recognize and represent.Ensemble fixe des jetons qu'un segmenteur et un modèle de langue peuvent reconnaître et représenter. ends up with a vector, and all of them together make one embedding space.

Short, dense, and distances that mean something

Every property of these vectors contrasts with the one-hot representation:

• Short instead of vocabulary-sized. Typically 100 to 300 dimensions rather than one per word.
• Dense instead of sparse. Every position has a meaningful value rather than a zero.
• Distance means something. Cat and dog end up close, snake farther, democracy elsewhere entirely, because their contexts imposed it during training.

No readable axes

The example with our means of transport showed axes that were interpretable: speed and capacity. The learned dimensions are not. They do not correspond to any nameable property, and looking at one value tells you nothing. In this representation a word’s meaning is the whole pattern of all its values together, and only comparisons between whole vectors are meaningful.

Apprendre les positions à partir des textes

Mikolov et al. (2013a) publient word2vec, une paire d’architectures qui mettent l’hypothèse distributionnelle distributional hypothesishypothèse distributionnelle embeddingsplongements The linguistic hypothesis that patterns of word use provide evidence about meaning: words that occur with similar neighbouring words are likely to have related or similar meanings.Hypothèse linguistique selon laquelle les régularités d'emploi des mots renseignent sur leur sens : les mots qui apparaissent avec des voisins semblables ont vraisemblablement des sens apparentés ou proches. au travail à grande échelle. Chaque mot part d’un vecteur de quelques centaines de nombres, et ces nombres sont ensuite ajustés sur des millions de phrases, rapprochant les mots chaque fois qu’ils apparaissent dans des contextes semblables. La méthode s’est répandue parce qu’elle était efficace : des vecteurs de qualité obtenus à partir de 1,6 milliard de mots en moins d’une journée, là où les approches neuronales antérieures coûtaient bien davantage. D’autres méthodes ont suivi, dont GloVe (Pennington et al., 2014), et cette famille est devenue la représentation standard des mots. Chaque mot du vocabulaire vocabularyvocabulaire language modelsmodèles de langue The fixed set of tokens that a tokenizer and language model can recognize and represent.Ensemble fixe des jetons qu'un segmenteur et un modèle de langue peuvent reconnaître et représenter. se retrouve avec un vecteur, et tous ensemble forment un espace de plongement.

Court, dense, et des distances qui veulent dire quelque chose

Chaque propriété de ces vecteurs contraste avec la représentation 1 parmi n :

• Court plutôt que long comme le vocabulaire. Typiquement de 100 à 300 dimensions, plutôt qu’une par mot.
• Dense plutôt que creux. Chaque position porte une valeur informative plutôt qu’un zéro.
• La distance veut dire quelque chose. Chat et chien se retrouvent proches, serpent plus loin, démocratie tout à fait ailleurs, parce que leurs contextes l’ont imposé pendant l’entraînement.

Des axes illisibles

L’exemple des moyens de transport montrait des axes interprétables : la vitesse et le nombre de passagers. Les dimensions apprises ne le sont pas. Elles ne correspondent à aucune propriété nommable, et regarder une seule valeur ne dit rien. Dans cette représentation, le sens d’un mot est le motif complet de toutes ses valeurs prises ensemble, et seules les comparaisons entre vecteurs entiers ont un sens.

King minus man plus woman

Static word embeddings static word embeddingplongement lexical statique embeddingsplongements A numerical representation that assigns each word type, meaning each distinct word in a vocabulary, a single fixed vector learned from patterns in a corpus.Représentation numérique qui attribue à chaque type de mot, c'est-à-dire à chaque mot distinct d'un vocabulaire, un unique vecteur fixe appris à partir des régularités d'un corpus. like word2vec, one fixed vector per word, let you do arithmetic with words.

Take the vector for king, subtract the vector for man, and add the vector for woman. The point you land on is nearest the word queen (Mikolov et al., 2013b). Nothing in the training aimed at this. It falls out of the geometry: the displacement from man to king encodes something like royalty, and applying that same displacement to woman arrives near queen.

One direction among many

The royalty direction is one of many. Mikolov et al. (2013b) tested the pattern systematically on grammatical relations, a thousand questions each for comparatives (good is to better as rough is to rougher), plurals (year is to years) and verb tense (see is to saw as return is to returned), and found it there too. Encyclopedic relations behave the same way, a country and its capital among them (Jurafsky & Martin, 2026). The axes are still unreadable. The meaning is in the directions between whole vectors, and those can be looked for after the fact.

Carnegie Mellon’s browser demo does exactly that. The three screenshots below were taken from it on 9 September 2026, and the demo can change. They are dense, and a click opens each one larger.

The same arithmetic on stereotypes

The arithmetic works on stereotypes too. In embeddings trained on Google News articles, man is to computer programmer as woman is to homemaker, and occupation words divide along a gender direction the same way king and queen divide along a royalty one (Bolukbasi et al., 2016).

No programmer decided to put woman further from doctor and closer to nurse. The bias comes from the text: the vectors record how the words are used across millions of sentences, and people wrote those sentences. The method is working as designed. The consequences reach everything built on embeddings since (see also the Critical issues with LLMs module) (voir aussi le module Enjeux critiques des GML).

Roi moins homme plus femme

Les plongements lexicaux statiques static word embeddingplongement lexical statique embeddingsplongements A numerical representation that assigns each word type, meaning each distinct word in a vocabulary, a single fixed vector learned from patterns in a corpus.Représentation numérique qui attribue à chaque type de mot, c'est-à-dire à chaque mot distinct d'un vocabulaire, un unique vecteur fixe appris à partir des régularités d'un corpus. comme word2vec, un vecteur fixe par mot, permettent de faire de l’arithmétique avec des mots.

Prenez le vecteur de roi, soustrayez le vecteur de homme, puis ajoutez le vecteur de femme. Le point où vous arrivez a pour plus proche voisin le mot reine (Mikolov et al., 2013b). Rien dans l’entraînement ne visait ce résultat. Il découle de la géométrie : le déplacement de homme vers roi encode quelque chose comme la royauté, et appliquer ce même déplacement à femme arrive près de reine.

Une direction parmi bien d’autres

La direction de la royauté est l’une parmi bien d’autres. Mikolov et al. (2013b) ont éprouvé le motif de façon systématique sur des relations grammaticales, mille questions chacune pour les comparatifs (good est à better ce que rough est à rougher), les pluriels (year est à years) et le temps des verbes (see est à saw ce que return est à returned), et il tenait. Les relations encyclopédiques se comportent de la même manière, dont celle d’un pays et de sa capitale (Jurafsky et Martin, 2026). Les axes restent illisibles. Le sens est dans les directions entre vecteurs entiers, et celles-ci peuvent se chercher après coup.

La démonstration en ligne de Carnegie Mellon fait exactement cela. Les trois captures ci-dessous en viennent, prises le 9 septembre 2026, et la démonstration peut changer. Elles sont denses ; un clic ouvre chacune en plus grand.

La même arithmétique sur les stéréotypes

L’arithmétique fonctionne aussi sur les stéréotypes. Dans des plongements entraînés sur des articles de Google News, man est à computer programmer ce que woman est à homemaker, et les noms de métiers se répartissent selon une direction de genre exactement comme roi et reine se répartissent selon une direction de royauté (Bolukbasi et al., 2016).

Aucun programmeur n’a décidé d’éloigner woman de doctor et de la rapprocher de nurse. Le biais vient des textes : les vecteurs enregistrent la manière dont les mots sont employés à travers des millions de phrases, et ce sont des personnes qui ont écrit ces phrases. La méthode fonctionne comme prévu. Les conséquences touchent tout ce qui a été construit sur des plongements depuis (see also the Critical issues with LLMs module) (voir aussi le module Enjeux critiques des GML).

Three limitations

New words get nothing

An embedding model has one vector for each word that occurred in its training text, so a word coined last year, a rare technical term or a typo has no vector and no representation at all. Morphologically rich languages make this worse, since their productive compounds and inflections produce forms no training corpus contains. Modern systems dissolve the problem by working with pieces of words instead (see also the Tokenization chapter, in the Language as numbers module) (voir aussi le chapitre Jetonisation, dans le module Le langage en nombres).

One vector averages every sense

Bank is a financial institution in I deposited money at the bank and a strip of riverside in we picnicked on the river bank. A single vector for bank has to serve both sentences, so it lands somewhere between finance and geography, a compromise that is wrong everywhere. It is not even a fair compromise: the vector is an average over occurrences, so it sits nearest whichever sense is commonest in the training text, and the rarer sense is served worst. Translation feels this early, since choosing between rive and banque is exactly a decision about which sense is active.

Order is invisible

The dog follows Jean and Jean follows the dog contain the same words and do not describe the same walk, so any representation built by combining fixed word vectors struggles to tell them apart. Meaning depends on arrangement, and per-word vectors have nowhere to put arrangement.

Trois limites

Les mots nouveaux n’obtiennent rien

Un modèle de plongements a un vecteur pour chaque mot rencontré à l’entraînement : un mot forgé l’an dernier, un terme technique rare ou une coquille n’a donc aucun vecteur et aucune représentation. Les langues à morphologie riche aggravent la situation, puisque leurs composés et leurs flexions productives produisent des formes qu’aucune base d’apprentissage ne contient. Les systèmes modernes dissolvent le problème en travaillant sur des morceaux de mots (see also the Tokenization chapter, in the Language as numbers module) (voir aussi le chapitre Jetonisation, dans le module Le langage en nombres).

Un seul vecteur fait la moyenne de tous les sens

Livres désigne une monnaie dans j’ai changé mille livres et des ouvrages dans j’ai emprunté trois livres. Un vecteur unique pour livres doit servir aux deux phrases : il atterrit donc quelque part entre la finance et la lecture, un compromis qui a tort partout. Ce n’est même pas un compromis équitable : le vecteur est une moyenne sur les occurrences, il se place donc au plus près du sens le plus fréquent dans les textes d’entraînement, et c’est le sens le plus rare qui est le plus mal servi. La traduction s’en aperçoit tôt, puisque choisir entre pounds et books est exactement une décision sur le sens actif.

L’ordre est invisible

Jean suit le chien et le chien suit Jean contiennent les mêmes mots et ne décrivent pas la même promenade ; toute représentation construite en combinant des vecteurs de mots fixes a donc du mal à les distinguer. Le sens dépend de l’agencement, et des vecteurs par mot n’ont nulle part où mettre l’agencement.

Three sentences, one word

Take three sentences with bank in them:

• I deposited money at the bank.
• We picnicked on the river bank.
• The plane will bank left.

You would translate the word three different ways: banque, rive, virer. A fixed embedding gives all three the same vector.

A vector per occurrence

A contextual embedding sides with the translator. Instead of storing one finished vector per word, the model computes a vector for each occurrence, at the moment of use, from the whole sentence around it:

• the bank beside deposited and money comes out near the vocabulary of finance;
• the one beside river and picnicked, near geography;
• the one after will, in verb territory.

Same word, three vectors, each shaped by its company. Models that work this way arrived in the late 2010s, and ELMo was the landmark (Peters et al., 2018).

This is also where the material stops being machine learning machine learning (ML)apprentissage automatique machine learningapprentissage automatique An approach to artificial intelligence in which a model is trained on data or experience so that its adjustable parameters come to reflect patterns relevant to a task.Approche de l'intelligence artificielle dans laquelle un modèle est entraîné sur des données ou sur l'expérience, de sorte que ses paramètres ajustables en viennent à refléter des régularités pertinentes pour une tâche. in general and becomes deep learning deep learning (DL)apprentissage profond machine learningapprentissage automatique An approach to machine learning based on neural networks with many successive layers of computing units.Approche de l'apprentissage automatique fondée sur des réseaux de neurones comportant de nombreuses couches successives d'unités de calcul. . Word2vec kept its model deliberately simple, which let it train on billions of words (Mikolov et al., 2013a). Computing a vector for every occurrence takes many layers instead, and ELMo’s paper says so in its title, Deep contextualized word representations.

What happens to polysemy

Nobody lists the senses of bank or writes a rule to pick one. The senses simply stop being merged, because there is no single vector left for them to be merged into.

One consequence is easy to miss. A word no longer has “its vector”, the kind you could print in a table. It has a vector in each sentence, so the question “what does the model think bank means?” only has answers of the form “here, in this sentence”. Word meaning in isolation, the thing a dictionary records, has quietly left the system.

Trois phrases, un seul mot

Prenons trois phrases contenant bank :

• I deposited money at the bank.
• We picnicked on the river bank.
• The plane will bank left.

Vous traduiriez le mot de trois façons différentes : banque, rive, virer. Un plongement fixe donne le même vecteur aux trois.

Un vecteur par occurrence

Un plongement contextuel donne raison à la traductrice ou au traducteur. Au lieu de conserver un vecteur tout fait par mot, le modèle calcule un vecteur pour chaque occurrence, au moment de l’usage, à partir de toute la phrase qui l’entoure :

• le bank voisin de deposited et de money ressort près du vocabulaire de la finance ;
• celui qui voisine avec river et picnicked, près de la géographie ;
• celui qui suit will, du côté des verbes.

Même mot, trois vecteurs, chacun façonné par sa compagnie. Les modèles qui fonctionnent ainsi arrivent à la fin des années 2010, et ELMo en est le jalon (Peters et al., 2018).

C’est aussi ici que la matière cesse d’être de l’apprentissage automatique machine learning (ML)apprentissage automatique machine learningapprentissage automatique An approach to artificial intelligence in which a model is trained on data or experience so that its adjustable parameters come to reflect patterns relevant to a task.Approche de l'intelligence artificielle dans laquelle un modèle est entraîné sur des données ou sur l'expérience, de sorte que ses paramètres ajustables en viennent à refléter des régularités pertinentes pour une tâche. en général pour devenir de l’apprentissage profond deep learning (DL)apprentissage profond machine learningapprentissage automatique An approach to machine learning based on neural networks with many successive layers of computing units.Approche de l'apprentissage automatique fondée sur des réseaux de neurones comportant de nombreuses couches successives d'unités de calcul. . Word2vec gardait son modèle délibérément simple, ce qui lui a permis de s’entraîner sur des milliards de mots (Mikolov et al., 2013a). Calculer un vecteur pour chaque occurrence demande au contraire de nombreuses couches, et l’article d’ELMo le dit dans son titre, Deep contextualized word representations.

Ce que devient la polysémie

Personne ne dresse la liste des sens de bank ni n’écrit de règle pour en choisir un. Les sens cessent simplement d’être fusionnés, parce qu’il ne reste aucun vecteur unique dans lequel les fusionner.

Une conséquence passe facilement inaperçue. Un mot n’a plus « son vecteur », celui qu’on pourrait imprimer dans un tableau. Il a un vecteur dans chaque phrase, si bien que la question « que pense le modèle du sens de bank ? » n’admet que des réponses de la forme « ici, dans cette phrase ». Le sens d’un mot hors contexte, ce que consigne un dictionnaire, a discrètement quitté le système.

Before or after

Where does the word that settles the ambiguity sit? Sometimes before the ambiguous word: in fishing from the bank is prohibited, fishing has settled the sense by the time bank arrives. Sometimes after it: in the bank issued new regulations, the deciding word only comes once bank has been read.

Reading both ways

ELMo already used both sides, but shallowly: one model read the sentence left to right, a second read it right to left, and their outputs were joined at the end, so the two directions were never combined during training (Devlin et al., 2019).

BERT is the model that put the two together.ELMo and BERT set a fashion, and the acronyms that followed were bent to land on Sesame Street characters: ERNIE, Grover, Big Bird.

Training a language model normally means predicting the next word, and that forces a single direction: a model allowed to see what follows would simply be handed the answer. BERT changes the exercise. It hides about 15 per cent of the tokens token²jeton textuel² language modelsmodèles de langue A unit of text that a language model processes or generates.Unité de texte qu'un modèle de langue traite ou génère. Un jeton peut correspondre à un mot entier, à une partie de mot, à un signe de ponctuation ou à une séquence plus petite de caractères ou d'octets. in a text and trains the model to restore each one from everything around it, on both sides (Devlin et al., 2019). Nothing is being generated here, so nothing is spoiled by reading ahead.

Every layer of the model therefore draws on both sides at once. The architecture underneath makes that possible (see also the Attention & transformers chapter, in the Language as numbers module) (voir aussi le chapitre Attention et transformeurs, dans le module Le langage en nombres).

BERT reported new best results on eleven language-processing tasks, and this methodology became the standard: pretrain one model on raw text, then fine-tune it for each task. For translation, where the whole source text is there before any output is produced, reading it in both directions is the natural design.

What it costs

Two things.

• Computation. A fresh vector per occurrence, from the whole sentence, costs far more than looking up a stored one, so these models need serious hardware.
• Inspection. A static embedding table could at least be examined word by word. Contextual representations exist only inside a running model, one more step away from anything a person can read (see also the From neural networks to large language models chapter, in the Foundations of AI & NLP module) (voir aussi le chapitre Des réseaux de neurones aux grands modèles de langue, dans le module Fondements de l'IA et du TAL).

The field judged the accuracy worth both.

Avant ou après

Où se trouve le mot qui lève l’ambiguïté ? Parfois avant le mot ambigu : dans fishing from the bank is prohibited, fishing a déjà fixé le sens quand bank arrive. Parfois après lui : dans the bank issued new regulations, le mot décisif ne vient qu’une fois bank lu.

Lire dans les deux sens

ELMo utilisait déjà les deux côtés, mais superficiellement : un modèle lisait la phrase de gauche à droite, un second la lisait de droite à gauche, et leurs sorties étaient réunies à la fin, si bien que les deux sens ne se rencontraient jamais pendant l’entraînement (Devlin et al., 2019).

BERT est le modèle qui a réuni les deux.ELMo et BERT ont lancé une mode, et les acronymes qui ont suivi ont été tordus pour tomber sur des personnages de Sesame Street : ERNIE, Grover, Big Bird.

Entraîner un modèle de langue veut normalement dire prédire le mot suivant, et cela impose un sens unique : un modèle autorisé à voir ce qui suit se verrait simplement donner la réponse. BERT change l’exercice. Il masque environ 15 % des jetons token²jeton textuel² language modelsmodèles de langue A unit of text that a language model processes or generates.Unité de texte qu'un modèle de langue traite ou génère. Un jeton peut correspondre à un mot entier, à une partie de mot, à un signe de ponctuation ou à une séquence plus petite de caractères ou d'octets. d’un texte et entraîne le modèle à rétablir chacun d’eux à partir de tout ce qui l’entoure, des deux côtés (Devlin et al., 2019). Rien n’est produit ici, donc rien n’est gâché si le modèle lit plus loin.

Chaque couche du modèle puise donc des deux côtés à la fois. L’architecture sous-jacente rend cela possible (see also the Attention & transformers chapter, in the Language as numbers module) (voir aussi le chapitre Attention et transformeurs, dans le module Le langage en nombres).

BERT a établi de nouveaux records sur onze tâches de traitement de la langue, et cette méthodologie est devenue la norme : préentraîner un modèle sur du texte brut, puis l’affiner pour chaque tâche. En traduction, où tout le texte de départ est là avant qu’aucune sortie ne soit produite, le lire dans les deux sens est la conception naturelle.

Ce que cela coûte

Deux choses.

• Le calcul. Un vecteur neuf par occurrence, à partir de toute la phrase, coûte bien plus cher que d’en consulter un déjà rangé : ces modèles exigent donc du matériel sérieux.
• L’inspection. Une table de plongements statiques pouvait au moins s’examiner mot à mot. Les représentations contextuelles n’existent qu’à l’intérieur d’un modèle en train de tourner, un cran plus loin encore de ce qu’une personne peut lire (see also the From neural networks to large language models chapter, in the Foundations of AI & NLP module) (voir aussi le chapitre Des réseaux de neurones aux grands modèles de langue, dans le module Fondements de l'IA et du TAL).

Le domaine a jugé que la précision valait les deux.

What pretraining leaves you with

Pretraining leaves you with a model that turns any sentence into contextual embeddings contextual embeddingplongement contextuel embeddingsplongements A numerical representation generated for a particular occurrence of a token by taking account of the other tokens available to the model.Représentation numérique générée pour une occurrence particulière d'un jeton en tenant compte des autres jetons accessibles au modèle. . It knows a great deal about the language it read and nothing about any particular task, which makes it worth keeping: one expensive training run, then many uses.

Two ways to use it

Its embeddings can be taken as they are and fed into a model of your own, which is how ELMo was used. Or the whole model can be kept and fine-tuned: a small output layer is added and trained on labelled examples for one task, so that what the model learned about language carries over to it (Devlin et al., 2019) (see also the Fine-tuning chapter, in the LLM lifecycle module) (voir aussi le chapitre Affinage, dans le module Cycle de vie des GML). Sentiment analysis, named-entity recognition and question answering were all built that way, and the task-specific training is small beside the pretraining.

That recipe still applies to a model like BERT. For large generative models, much of what once took a fine-tuned model of its own is now done by putting examples in the prompt promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. instead (Brown et al., 2020) (see also the In-context learning chapter, in the LLM lifecycle module) (voir aussi le chapitre Apprentissage en contexte, dans le module Cycle de vie des GML).

Ce que laisse le préentraînement

Le préentraînement pre-trainingpréentraînement language modelsmodèles de langue An initial stage in which a model learns general patterns and reusable representations from a large dataset, often through self-supervised learning, before any later adaptation for particular tasks or uses.Étape initiale au cours de laquelle un modèle apprend des régularités générales et des représentations réutilisables à partir d'un grand jeu de données, souvent par apprentissage autosupervisé, avant toute adaptation ultérieure à des tâches ou à des usages particuliers. laisse un modèle qui transforme n’importe quelle phrase en plongements contextuels contextual embeddingplongement contextuel embeddingsplongements A numerical representation generated for a particular occurrence of a token by taking account of the other tokens available to the model.Représentation numérique générée pour une occurrence particulière d'un jeton en tenant compte des autres jetons accessibles au modèle. . Il en sait beaucoup sur la langue qu’il a lue et rien sur une tâche particulière, ce qui le rend précieux : un entraînement coûteux, puis de nombreux usages.

Deux façons de s’en servir

Ses plongements peuvent être pris tels quels et fournis à un modèle à vous, comme ELMo était utilisé. Ou le modèle entier peut être conservé et affiné (fine-tuning, aussi appelé réglage fin) : on y ajoute une petite couche de sortie, entraînée sur des exemples annotés pour une seule tâche, de sorte que ce que le modèle a appris de la langue lui profite (Devlin et al., 2019) (see also the Fine-tuning chapter, in the LLM lifecycle module) (voir aussi le chapitre Affinage, dans le module Cycle de vie des GML). L’analyse de sentiments, la reconnaissance d’entités nommées named entity recognition (NER)reconnaissance d'entités nommées (REN) NLPTAL The task of finding the spans of a text that are proper names, and labelling the category, most often a person, a location or an organization.Tâche qui consiste à repérer dans un texte les segments qui sont des noms propres, et à en étiqueter la catégorie, le plus souvent une personne, un lieu ou une organisation. et la réponse aux questions ont toutes été construites ainsi, et l’entraînement propre à la tâche est petit à côté du préentraînement.

Cette recette s’applique toujours à un modèle comme BERT. Pour les grands modèles génératifs, une bonne part de ce qui demandait autrefois un modèle affiné à part se fait maintenant en mettant des exemples dans la requête promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. (Brown et al., 2020) (see also the In-context learning chapter, in the LLM lifecycle module) (voir aussi le chapitre Apprentissage en contexte, dans le module Cycle de vie des GML).

Context matters

Texts are full of context-dependent choices and interpretations, at every scale:

• the word that settles an ambiguity, thirty words earlier in the same sentence;
• the latter, referring to something named three sentences ago;
• a pronoun pointing back two paragraphs;
• a term defined in the introduction and used throughout.

One pass, and no going back

Before the transformer, a model read a sentence the way it arrives: one word at a time, updating a running summary as it went. ELMo was still built that way in 2018, with two passes over the sentence, each of them one word at a time (Peters et al., 2018).

That sounds natural, because it is how you read too. You commit as you go, and a later word sometimes breaks the reading you committed to: the horse raced past the barn fell sends you back to the beginning. Sentences like that are called garden-path sentences, tricking you into one reading at the beginning and making you reconsider at the end. Without the ability to go backwards, models would not be able to deal with this.

Processing one word at a time in order has a structural weakness as well. Everything the model knows about word 3 has to survive, inside that running summary, through the processing of words 4, 5 and 6 to matter at word 50. Each step blurs it a little, like a game of broken telephone.A party game: one player whispers a phrase to the next along a line, each passing on what they think they heard, and the last says aloud what reached them. Over a short span the message arrives; over a long one what arrives is a paraphrase of a paraphrase.

Le contexte compte

Les textes sont pleins de choix et d’interprétations qui dépendent du contexte, à toutes les échelles :

• le mot qui lève une ambiguïté, trente mots plus tôt dans la même phrase ;
• ce dernier, qui renvoie à quelque chose nommé trois phrases plus haut ;
• un pronom qui renvoie deux paragraphes en arrière ;
• un terme défini dans l’introduction et employé partout ensuite.

Un seul passage, sans retour

Avant le transformeur, un modèle lisait une phrase telle qu’elle arrive : un mot à la fois, en mettant à jour un résumé courant à mesure. ELMo était encore construit ainsi en 2018, avec deux passages sur la phrase, chacun un mot à la fois (Peters et al., 2018).

Cela paraît naturel, parce que c’est aussi votre façon de lire. Vous vous engagez à mesure, et un mot plus loin brise parfois la lecture à laquelle vous vous étiez engagé : the horse raced past the barn fell vous renvoie au début. On appelle ces phrases des phrases-pièges : elles vous entraînent vers une première lecture, puis vous forcent à revenir sur elle à la fin. Sans la possibilité de revenir en arrière, les modèles ne sauraient pas s’en tirer.

Traiter un mot à la fois, dans l’ordre, a aussi une faiblesse structurelle. Tout ce que le modèle sait du mot 3 doit survivre, dans ce résumé courant, au traitement des mots 4, 5 et 6 pour compter encore au mot 50. Chaque étape le brouille un peu, comme au téléphone arabe.Un jeu de société : un joueur chuchote une phrase au suivant le long d’une file, chacun transmet ce qu’il croit avoir entendu, et le dernier dit à voix haute ce qui lui est parvenu. Sur une courte distance, le message arrive ; sur une longue, il n’arrive plus que la paraphrase d’une paraphrase.

Attention is all you need

The 2017 paper that changed the field has its thesis in its title: “Attention Is All You Need” (Vaswani et al., 2017). The architecture it introduced, the transformer, drops reading order entirely. All the words of the input are processed at the same time, and each word can draw information directly from any other, whatever the distance between them. The first word of a long sentence no longer has to survive a relay to reach the last: the two are one connection apart.

This seminal paper, arguably among the most important ones to trigger the AI evolution we are currently experiencing, was actually about machine translation machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. ! The architecture was introduced, trained and measured as a translation model, on English to German and English to French, where it beat everything before it (Vaswani et al., 2017) (see also the impact on machine translation page, in the Language as numbers module) (voir aussi la page L'incidence sur la traduction automatique, dans le module Le langage en nombres).

What about word order?

Dropping sequence creates an obvious problem. If nothing is processed “first”, how does the model know that the dog follows Jean differs from Jean follows the dog? The words alone no longer say.

The transformer’s answer is to make position part of each word’s representation. Before processing starts, every word’s vector is combined with a numerical encoding of where in the text it sits, like page numbers on a manuscript that has been taken apart: the pages can then be handled in any order without the original arrangement being lost.

Attention is all you need

L’article de 2017 qui a changé le domaine annonce sa thèse dans son titre : « Attention Is All You Need » (Vaswani et al., 2017). L’architecture qu’il présente, le transformeur, abandonne complètement l’ordre de lecture. Tous les mots de l’entrée sont traités en même temps, et chaque mot peut puiser de l’information directement dans n’importe quel autre, quelle que soit la distance. Le premier mot d’une longue phrase n’a plus à survivre à une course de relais pour atteindre le dernier : les deux sont à une seule connexion l’un de l’autre.

Cet article fondateur, sans doute l’un des plus importants pour déclencher l’évolution de l’IA que nous vivons actuellement, portait en fait sur la traduction automatique machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source.  ! L’architecture a été présentée, entraînée et mesurée comme un modèle de traduction, de l’anglais vers l’allemand et de l’anglais vers le français, où elle a battu tout ce qui la précédait (Vaswani et al., 2017) (see also the impact on machine translation page, in the Language as numbers module) (voir aussi la page L'incidence sur la traduction automatique, dans le module Le langage en nombres).

Et l’ordre des mots ?

Abandonner la séquence crée un problème évident. Si rien n’est traité « en premier », comment le modèle sait-il que le chien suit Jean diffère de Jean suit le chien ? Les mots seuls ne le disent plus.

La réponse du transformeur est de faire de la position une partie de la représentation de chaque mot. Avant que le traitement commence, le vecteur de chaque mot est combiné à un encodage numérique de sa place dans le texte, comme des numéros de page sur un manuscrit qu’on a défait : les pages peuvent ensuite être manipulées dans n’importe quel ordre sans que l’agencement d’origine soit perdu.

But which context?

Reading in both directions settled one question, whether the word that decides comes before or after (see also the Contextual embeddings chapter, in the Language as numbers module) (voir aussi le chapitre Plongements contextuels, dans le module Le langage en nombres). It leaves another. Once every word is connected to every other, not all of those connections are worth the same, and the more context there is, the less of it counts equally.

Reading the bank was steep, you connect bank with steep and settle on the riverside sense without noticing you did it. The attention mechanism is the transformer’s version of that reflex: for each word, attention weights say how much every other word in the text should influence its representation.

Too tired, too wide

The classic demonstration comes from the transformer paper itself (Vaswani et al., 2017; visualization by Vig, 2019). Compare:

• the animal didn’t cross the street because it was too tired
• the animal didn’t cross the street because it was too wide

Changing a single word at the very end changes the meaning of the whole sentence, by changing which word we link it to: a tired it is the animal, a wide it is the street. Inside a trained transformer, the attention weights from it visibly shift between the two sentences, toward animal in the first and toward street in the second.

Nobody programmed the fact that streets are wide and animals get tired. That came out of patterns across millions of sentences: the distributional idea again, now applied to relationships inside a sentence rather than to which words resemble each other.

Learned once, worked out every time

Two different things are called weights here, and they are worth telling apart.

• The model’s weights weightpoids machine learningapprentissage automatique A real number attached to one input of a computing unit, learned during training, that sets how much that input counts towards the unit's output.Nombre réel attaché à une entrée d'une unité de calcul, appris pendant l'entraînement, qui détermine l'importance de cette entrée dans la sortie de l'unité. are learned. Everything the model picked up from its training text is in them, and every step of the computation runs through them. Training adjusts them over a large amount of text, and they stop changing when it ends (see also the From neural networks to large language models chapter, in the Foundations of AI & NLP module) (voir aussi le chapitre Des réseaux de neurones aux grands modèles de langue, dans le module Fondements de l'IA et du TAL).
• The attention weights are worked out. They say how much each word of the text at hand should draw on each other word. The model computes them from those words, using the weights it learned, and computes them again for the next text. Nothing about the model changes while it does.

So the arcs in the figure above were not stored anywhere and looked up. They were computed for that sentence, and the other sentence gives other arcs.

This is the machinery the contextual-embeddings chapter left unexplained: the vector for this occurrence of bank is assembled from the words its attention selected, in the proportions it learned (see also the Contextual embeddings chapter, in the Language as numbers module) (voir aussi le chapitre Plongements contextuels, dans le module Le langage en nombres).

So what is self-attention?

Attention always runs between two sets of words: the ones being given a representation, and the ones they draw on. Self-attention is the case where both sets are the same text. That happens everywhere above, each word of the sentence weighted against the other words of that same sentence.

The other case runs between two different texts, a source and the translation being written from it (see also the Encoders and decoders page, in the Language as numbers module) (voir aussi la page Encodeurs et décodeurs, dans le module Le langage en nombres). That use came first: attention was built for translation (Bahdanau et al., 2015), and the step taken in 2017 was to use it inside a single text as well (Vaswani et al., 2017).

Masking starts to matter once a model writes rather than reads (see also the Encoders and decoders page, in the Language as numbers module) (voir aussi la page Encodeurs et décodeurs, dans le module Le langage en nombres).

Mais quel contexte ?

Lire dans les deux sens a réglé une question, celle de savoir si le mot décisif vient avant ou après (see also the Contextual embeddings chapter, in the Language as numbers module) (voir aussi le chapitre Plongements contextuels, dans le module Le langage en nombres). Il en reste une autre. Dès que chaque mot est relié à tous les autres, toutes ces liaisons ne valent pas la même chose, et plus il y a de contexte, moins toutes ses parties comptent autant.

En lisant the bank was steep, vous rapprochez bank de steep et vous retenez le sens du bord de rivière sans vous en apercevoir. Le mécanisme d’attention est la version qu’en donne le transformeur : pour chaque mot, des poids d’attention disent à quel point chacun des autres mots du texte doit influencer sa représentation.

Trop fatigué, trop large

La démonstration classique vient de l’article même du transformeur (Vaswani et al., 2017 ; visualisation de Vig, 2019). Comparez :

• the animal didn’t cross the street because it was too tired
• the animal didn’t cross the street because it was too wide

Changer un seul mot tout à la fin change le sens de la phrase entière, en changeant le mot auquel on rattache it : un it fatigué est l’animal, un it large est la rue. Dans un transformeur entraîné, les poids d’attention depuis it se déplacent visiblement entre les deux phrases, vers animal dans la première et vers street dans la seconde.

Personne n’a programmé le fait que les rues sont larges et que les animaux se fatiguent. Cela est ressorti de motifs relevés dans des millions de phrases : l’idée distributionnelle de nouveau, appliquée cette fois aux relations à l’intérieur d’une phrase plutôt qu’à la ressemblance entre les mots.

Appris une fois, établi chaque fois

Deux choses différentes s’appellent ici des poids, et elles valent la peine d’être distinguées.

• Les poids weightpoids machine learningapprentissage automatique A real number attached to one input of a computing unit, learned during training, that sets how much that input counts towards the unit's output.Nombre réel attaché à une entrée d'une unité de calcul, appris pendant l'entraînement, qui détermine l'importance de cette entrée dans la sortie de l'unité. du modèle sont appris. Tout ce que le modèle a retenu de ses textes d’entraînement s’y trouve, et chaque étape du calcul passe par eux. L’entraînement les ajuste sur une grande quantité de texte, et ils cessent de changer quand il se termine (see also the From neural networks to large language models chapter, in the Foundations of AI & NLP module) (voir aussi le chapitre Des réseaux de neurones aux grands modèles de langue, dans le module Fondements de l'IA et du TAL).
• Les poids d’attention sont établis. Ils disent à quel point chaque mot du texte en cours doit puiser dans chacun des autres. Le modèle les calcule à partir de ces mots, avec les poids qu’il a appris, et les calcule de nouveau pour le texte suivant. Rien du modèle ne change pendant ce temps.

Les arcs de la figure ci-dessus n’étaient donc rangés nulle part avant d’être consultés. Ils ont été calculés pour cette phrase, et l’autre phrase donne d’autres arcs.

C’est le mécanisme que le chapitre sur les plongements contextuels laissait inexpliqué : le vecteur de cette occurrence de bank est assemblé à partir des mots que son attention a retenus, dans les proportions apprises (see also the Contextual embeddings chapter, in the Language as numbers module) (voir aussi le chapitre Plongements contextuels, dans le module Le langage en nombres).

Alors, qu’est-ce que l’autoattention ?

L’attention s’exerce toujours entre deux ensembles de mots : ceux à qui l’on donne une représentation, et ceux dans lesquels ils puisent. L’autoattention est le cas où les deux ensembles sont le même texte. C’est ce qui se passe partout ci-dessus, chaque mot de la phrase pesé par rapport aux autres mots de cette même phrase.

Dans l’autre cas, elle s’exerce entre deux textes différents, un texte de départ et la traduction qu’on en écrit (see also the Encoders and decoders page, in the Language as numbers module) (voir aussi la page Encodeurs et décodeurs, dans le module Le langage en nombres). Cet usage est venu le premier : l’attention a été conçue pour la traduction (Bahdanau et al., 2015), et le pas franchi en 2017 a été de s’en servir aussi à l’intérieur d’un seul texte (Vaswani et al., 2017).

Le masquage commence à compter dès qu’un modèle écrit au lieu de lire (see also the Encoders and decoders page, in the Language as numbers module) (voir aussi la page Encodeurs et décodeurs, dans le module Le langage en nombres).

Two halves, one translation

Being a translation model, the 2017 transformer transformertransformeur deep learningapprentissage profond A neural-network architecture for processing sequences, such as text.Architecture de réseau de neurones pour le traitement des séquences, comme le texte. has to do two different things: read a source text, and produce a target text. It does them in two halves (Vaswani et al., 2017).

• The encoder takes the source and turns it into contextual representations, all words at the same time.
• The decoder writes the target one word at a time, and at each word it looks in two directions: back over what it has already written, and across at the encoder’s representations of the source.

Figure 6figure 6 follows one sentence through both halves, le chien suit Jean becoming the dog follows Jean, caught at the moment the decoder produces follows. Training is over by then, so the figure shows one pass through a finished model (see also the Attention page, in the Language as numbers module) (voir aussi la page L'attention, dans le module Le langage en nombres). Training a translation model in the first place is a subject of its own (see also the What machine translation is chapter, in the Machine translation module) (voir aussi le chapitre Qu'est-ce que la traduction automatique, dans le module Traduction automatique).

• Into the encoder. Words become static vectors, and self-attention self-attentionautoattention deep learningapprentissage profond An attention mechanism that allows each token in a sequence to assign different weights to other relevant tokens in the same sequence and combine information from them.Mécanisme d'attention qui permet à chaque jeton d'une séquence d'attribuer des poids différents aux autres jetons pertinents de la même séquence et de combiner l'information qu'ils portent. turns those into contextual embeddings contextual embeddingplongement contextuel embeddingsplongements A numerical representation generated for a particular occurrence of a token by taking account of the other tokens available to the model.Représentation numérique générée pour une occurrence particulière d'un jeton en tenant compte des autres jetons accessibles au modèle. , every word drawing on every other, in both directions. Translation needs that, since the word that settles a gender or a sense is available before the first target word is written (see also the impact on machine translation page, in the Language as numbers module) (voir aussi la page L'incidence sur la traduction automatique, dans le module Le langage en nombres).
• Across, with cross-attention. The vector being built for follows draws on the encoder’s vectors through cross-attention cross-attentionattention croisée deep learningapprentissage profond An attention mechanism in which the queries come from one sequence or component and the keys and values come from another.Mécanisme d'attention dans lequel les requêtes proviennent d'une séquence ou d'un composant et les clés et valeurs d'un autre. , mostly on the one for suit. Nothing restricts that link, so any source word can be drawn on, wherever it sits.
• Back, with masked self-attention. That same vector also draws on what the decoder has already written, the and dog. The fourth slot is empty, because the words after the one being produced do not exist yet, so attention over the target runs backwards only.
• Out of the decoder. The finished vector is mapped back to a word.

Direction belongs to the attention, not to the turning of words into vectors and back.

Encoder, decoder, or both?

Both halves are made of the same attention layers, so a model can keep one or keep both. The choice follows from the shape of the task: what goes in, and what has to come out.

• Encoder only, when the output is not a text. Sorting a document into a category, finding the names in it, judging how close two sentences are: the model has to read, not write, and what it produces is a label, a span or a set of vectors. BERT reads a whole text at once, in both directions, and a small task-specific layer is trained on top of its representations (Devlin et al., 2019) (see also the Contextual embeddings chapter, in the Language as numbers module) (voir aussi le chapitre Plongements contextuels, dans le module Le langage en nombres). That makes an encoder-only model encoder-only modelmodèle à encodeur seul language modelsmodèles de langue A neural-network architecture that processes an input sequence and produces a contextual representation for each input token, without using a separate decoder to generate an output sequence.Architecture de réseau de neurones qui traite une séquence d'entrée et produit une représentation contextuelle de chaque jeton, sans décodeur distinct pour générer une séquence de sortie. .
• Decoder only, when the output continues the input. A chatbot’s answer and the prompt promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. that produced it are one running text, so there is no separate thing to read: each word is produced from everything before it, the prompt included (Radford et al., 2019). That makes a decoder-only model decoder-only modelmodèle à décodeur seul language modelsmodèles de langue A transformer language-model architecture that uses a sequence of decoder blocks without a separate encoder.Architecture de modèle de langue à transformeur qui enchaîne des blocs décodeurs sans encodeur distinct. , and the behaviour of a generator comes from it (see also the LLM lifecycle module) (voir aussi le module Cycle de vie des GML).
• Both, when one sequence becomes a different one. The output is not a continuation of the input and may be in another language, another form or another medium, so the input has to be read whole before the output is written and the two halves stay connected by cross-attention. Machine translation machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. is the case at hand, and it is not the only one: speech recognition works the same way, the encoder reading audio and the decoder writing text (Radford et al., 2023), as do speech translation and summarization.

The line is not a wall. A decoder-only model translates perfectly well when the source and its translation are given to it as one running text, which happens whenever a translation is asked of a chatbot (see also the Machine translation module) (voir aussi le module Traduction automatique).

Deux moitiés, une traduction

Étant un modèle de traduction, le transformeur transformertransformeur deep learningapprentissage profond A neural-network architecture for processing sequences, such as text.Architecture de réseau de neurones pour le traitement des séquences, comme le texte. de 2017 doit faire deux choses différentes : lire un texte de départ et produire un texte d’arrivée. Il les confie à deux moitiés (Vaswani et al., 2017).

• L’encodeur prend le texte de départ et le transforme en représentations contextuelles, tous les mots en même temps.
• Le décodeur écrit le texte d’arrivée un mot à la fois, et à chaque mot il regarde dans deux directions : en arrière sur ce qu’il a déjà écrit, et de l’autre côté vers les représentations du texte de départ produites par l’encodeur.

La Figure 6figure 6 suit une phrase à travers les deux moitiés, le chien suit Jean devenant the dog follows Jean, saisie au moment où le décodeur produit follows. L’entraînement est terminé à ce stade : la figure montre donc un seul passage dans un modèle achevé (see also the Attention page, in the Language as numbers module) (voir aussi la page L'attention, dans le module Le langage en nombres). L’entraînement d’un modèle de traduction est un sujet à part entière (see also the What machine translation is chapter, in the Machine translation module) (voir aussi le chapitre Qu'est-ce que la traduction automatique, dans le module Traduction automatique).

• Vers l’encodeur. Les mots deviennent des vecteurs statiques, et l’autoattention self-attentionautoattention deep learningapprentissage profond An attention mechanism that allows each token in a sequence to assign different weights to other relevant tokens in the same sequence and combine information from them.Mécanisme d'attention qui permet à chaque jeton d'une séquence d'attribuer des poids différents aux autres jetons pertinents de la même séquence et de combiner l'information qu'ils portent. les transforme en plongements contextuels contextual embeddingplongement contextuel embeddingsplongements A numerical representation generated for a particular occurrence of a token by taking account of the other tokens available to the model.Représentation numérique générée pour une occurrence particulière d'un jeton en tenant compte des autres jetons accessibles au modèle. , chaque mot puisant dans tous les autres, dans les deux sens. La traduction a besoin de cela, puisque le mot qui règle un genre ou un sens est disponible avant que le premier mot d’arrivée soit écrit (see also the impact on machine translation page, in the Language as numbers module) (voir aussi la page L'incidence sur la traduction automatique, dans le module Le langage en nombres).
• De l’autre côté, avec l’attention croisée. Le vecteur en cours de construction pour follows puise dans les vecteurs de l’encodeur par l’attention croisée cross-attentionattention croisée deep learningapprentissage profond An attention mechanism in which the queries come from one sequence or component and the keys and values come from another.Mécanisme d'attention dans lequel les requêtes proviennent d'une séquence ou d'un composant et les clés et valeurs d'un autre. , surtout dans celui de suit. Rien ne restreint ce lien : n’importe quel mot de départ peut être utilisé, où qu’il se trouve.
• En arrière, avec l’autoattention masquée. Ce même vecteur puise aussi dans ce que le décodeur a déjà écrit, the et dog. La quatrième place est vide, parce que les mots qui suivent celui qu’on produit n’existent pas encore : l’attention sur le texte d’arrivée ne va donc que vers l’arrière.
• Hors du décodeur. Le vecteur terminé est ramené à un mot.

La direction appartient à l’attention, non au passage des mots aux vecteurs et des vecteurs aux mots.

Encodeur, décodeur ou les deux ?

Les deux moitiés sont faites des mêmes couches d’attention : un modèle peut donc n’en garder qu’une, ou garder les deux. Le choix découle de la forme de la tâche : ce qui entre, et ce qui doit sortir.

• L’encodeur seul, quand la sortie n’est pas un texte. Classer un document dans une catégorie, y trouver les noms propres, juger de la proximité de deux phrases : le modèle doit lire, pas écrire, et ce qu’il produit est une étiquette, un segment ou un ensemble de vecteurs. BERT lit un texte entier d’un coup, dans les deux sens, et une petite couche propre à la tâche est entraînée par-dessus ses représentations (Devlin et al., 2019) (see also the Contextual embeddings chapter, in the Language as numbers module) (voir aussi le chapitre Plongements contextuels, dans le module Le langage en nombres). C’est un modèle à encodeur seul encoder-only modelmodèle à encodeur seul language modelsmodèles de langue A neural-network architecture that processes an input sequence and produces a contextual representation for each input token, without using a separate decoder to generate an output sequence.Architecture de réseau de neurones qui traite une séquence d'entrée et produit une représentation contextuelle de chaque jeton, sans décodeur distinct pour générer une séquence de sortie. .
• Le décodeur seul, quand la sortie prolonge l’entrée. La réponse d’un agent conversationnel et la requête promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. qui l’a produite forment un seul texte courant : il n’y a donc rien de distinct à lire, et chaque mot est produit à partir de tout ce qui précède, requête comprise (Radford et al., 2019). C’est un modèle à décodeur seul decoder-only modelmodèle à décodeur seul language modelsmodèles de langue A transformer language-model architecture that uses a sequence of decoder blocks without a separate encoder.Architecture de modèle de langue à transformeur qui enchaîne des blocs décodeurs sans encodeur distinct. , et le comportement d’un générateur vient de là (see also the LLM lifecycle module) (voir aussi le module Cycle de vie des GML).
• Les deux, quand une séquence devient une séquence différente. La sortie ne prolonge pas l’entrée et peut être dans une autre langue, une autre forme ou un autre média : l’entrée doit donc être lue en entier avant que la sortie soit écrite, et les deux moitiés restent reliées par l’attention croisée. La traduction automatique machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. est le cas qui nous occupe, et ce n’est pas le seul : la reconnaissance de la parole fonctionne de la même manière, l’encodeur lisant l’audio et le décodeur écrivant le texte (Radford et al., 2023), comme la traduction de la parole et le résumé automatique.

La frontière n’est pas un mur. Un modèle à décodeur seul traduit très bien quand le texte de départ et sa traduction lui sont donnés comme un seul texte courant, ce qui arrive chaque fois qu’on demande une traduction à un agent conversationnel (see also the Machine translation module) (voir aussi le module Traduction automatique).

Why “large” starts here

The transformer improved quality, and the deeper change was economic. A sequential model processes words like customers in a single queue: one at a time, however fast each step is. A transformer opens every checkout lane at once, which is exactly the workload graphics processors are built for.

Training on text collections that were unthinkably large in 2016 became routine within a few years, and model and data sizes grew by orders of magnitude (Hoffmann et al., 2022). Every system in the LLM lifecycle module is a transformer at heart (see also the LLM lifecycle module) (voir aussi le module Cycle de vie des GML); without parallel processing, “large” would have stayed out of reach.

The cost of attention

Pourquoi le « grand » commence ici

Le transformeur a amélioré la qualité, et le changement le plus profond a été économique. Un modèle séquentiel traite les mots comme des clients dans une seule file : un à la fois, aussi rapide que soit chaque étape. Un transformeur ouvre toutes les caisses en même temps, ce qui est exactement la charge de travail pour laquelle les processeurs graphiques sont faits.

Entraîner sur des ensembles de textes d’une taille inimaginable en 2016 est devenu courant en quelques années, et la taille des modèles comme celle des données ont augmenté de plusieurs ordres de grandeur (Hoffmann et al., 2022). Tous les systèmes du module sur le cycle de vie des GML sont des transformeurs au fond (see also the LLM lifecycle module) (voir aussi le module Cycle de vie des GML) ; sans le traitement parallèle, le « grand » serait resté hors de portée.

Le coût de l’attention

Read before you translate

When you translate, you need context before you can commit. You cannot start rendering a sentence on its first word: you read ahead, a few words at least, to see where it is going. Consider for instance the English-to-French translation in Figure 8figure 8.

This is why transformers transformertransformeur deep learningapprentissage profond A neural-network architecture for processing sequences, such as text.Architecture de réseau de neurones pour le traitement des séquences, comme le texte. , which can take in all the context of a sentence at once, so clearly outperformed the sequential models that came before them: she is one connection away from épuisée, wherever the two sit.

Where each target word comes from

While the decoder decoderdécodeur deep learningapprentissage profond A neural-network component or architecture used to generate an output sequence.Composant ou architecture de réseau de neurones servant à générer une séquence de sortie. writes coureuse, cross-attention cross-attentionattention croisée deep learningapprentissage profond An attention mechanism in which the queries come from one sequence or component and the keys and values come from another.Mécanisme d'attention dans lequel les requêtes proviennent d'une séquence ou d'un composant et les clés et valeurs d'un autre. weighs the words of the English sentence and runner dominates (see also the Encoders and decoders page, in the Language as numbers module) (voir aussi la page Encodeurs et décodeurs, dans le module Le langage en nombres). Do that at every target word and out comes a map between the two texts, close to what a translator means by alignment and to what a CAT tool computes when it aligns a file with its translation.

Nobody gave the model that map. It worked it out from millions of translated sentence pairs, four and a half million for the English-German system of the original paper (Vaswani et al., 2017).

Context stopped at the sentence

Attention did not change how much text goes in at once. Machine translation machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. went on working one sentence at a time for years, so a term settled in one sentence had no bearing on the next, and a pronoun could not reach back to the paragraph that named its referent. Translating with the whole document in view is its own line of work (Voita et al., 2019; Maruf et al., 2021), and feeding a text in whole became ordinary only with the long context windows context windowfenêtre contextuelle language modelsmodèles de langue "The amount of input (like text) that an AI system can process at one time during a task. Think of it as a model's short-term memory. A model can only consider so much text when generating its next response, and once the conversation exceeds its context window, the model starts 'forgetting' prior responses." (Stanford HAI).Quantité d'entrée (du texte, par exemple) qu'un système d'IA peut traiter à la fois pendant une tâche ; en quelque sorte, la mémoire à court terme du modèle. Un modèle ne peut considérer qu'une quantité limitée de texte pour générer sa prochaine réponse et, quand la conversation dépasse sa fenêtre contextuelle, il commence à « oublier » les réponses antérieures (d'après Stanford HAI, traduction libre). of today’s models (see also the Machine translation module) (voir aussi le module Traduction automatique).

Lire avant de traduire

Quand vous traduisez, il vous faut du contexte avant de pouvoir vous engager. Vous ne pouvez pas commencer à rendre une phrase dès son premier mot : vous lisez plus loin, quelques mots au moins, pour voir où elle va. Prenez par exemple la traduction de l’anglais vers le français de la Figure 8figure 8.

C’est pourquoi les transformeurs transformertransformeur deep learningapprentissage profond A neural-network architecture for processing sequences, such as text.Architecture de réseau de neurones pour le traitement des séquences, comme le texte. , qui peuvent prendre en compte tout le contexte d’une phrase à la fois, ont si nettement surpassé les modèles séquentiels qui les précédaient : she est à une seule connexion de épuisée, où que les deux se trouvent.

D’où vient chaque mot d’arrivée

Pendant que le décodeur decoderdécodeur deep learningapprentissage profond A neural-network component or architecture used to generate an output sequence.Composant ou architecture de réseau de neurones servant à générer une séquence de sortie. écrit coureuse, l’attention croisée cross-attentionattention croisée deep learningapprentissage profond An attention mechanism in which the queries come from one sequence or component and the keys and values come from another.Mécanisme d'attention dans lequel les requêtes proviennent d'une séquence ou d'un composant et les clés et valeurs d'un autre. pèse les mots de la phrase anglaise les uns contre les autres, et runner, le mot qu’il s’agit de rendre, domine (see also the Encoders and decoders page, in the Language as numbers module) (voir aussi la page Encodeurs et décodeurs, dans le module Le langage en nombres). Faites cela à chaque mot d’arrivée et il en sort une carte entre les deux textes : ce mot-ci rend ce mot-là. C’est proche de ce qu’une traductrice ou un traducteur appelle un alignement, et proche de ce que calcule un outil de TAO quand il aligne un fichier de départ avec sa traduction.

Personne n’a donné cette carte au modèle. Il l’a établie à partir de millions de paires de phrases traduites, quatre millions et demi pour le système anglais-allemand de l’article d’origine (Vaswani et al., 2017).

Le contexte s’est arrêté à la phrase

L’attention n’a pas changé la quantité de texte qui entre d’un coup. La traduction automatique machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. a continué pendant des années à travailler une phrase à la fois : un terme réglé dans une phrase n’avait donc aucune portée sur la suivante, et un pronom ne pouvait pas remonter au paragraphe qui nommait son référent. Traduire avec tout le document sous les yeux est un axe de recherche à part entière (Voita et al., 2019 ; Maruf et al., 2021), et fournir un texte entier n’est devenu ordinaire qu’avec les longues fenêtres contextuelles context windowfenêtre contextuelle language modelsmodèles de langue "The amount of input (like text) that an AI system can process at one time during a task. Think of it as a model's short-term memory. A model can only consider so much text when generating its next response, and once the conversation exceeds its context window, the model starts 'forgetting' prior responses." (Stanford HAI).Quantité d'entrée (du texte, par exemple) qu'un système d'IA peut traiter à la fois pendant une tâche ; en quelque sorte, la mémoire à court terme du modèle. Un modèle ne peut considérer qu'une quantité limitée de texte pour générer sa prochaine réponse et, quand la conversation dépasse sa fenêtre contextuelle, il commence à « oublier » les réponses antérieures (d'après Stanford HAI, traduction libre). des modèles d’aujourd’hui (see also the Machine translation module) (voir aussi le module Traduction automatique).

Not words, but tokens

Everything so far has said word: a vector for each word, attention between words. That is a simplification.

Take the sentence Tokenization shapes everything. You read three words and a full stop. Systems built to work with language cut it up in their own ways, as Figure 1figure 1 shows: 31 characters for one, five tokens for another, each token an entry in a vocabulary vocabularyvocabulaire language modelsmodèles de langue The fixed set of tokens that a tokenizer and language model can recognize and represent.Ensemble fixe des jetons qu'un segmenteur et un modèle de langue peuvent reconnaître et représenter. with a number attached. This is why careful writing says “next-token prediction next-token predictionprédiction du jeton suivant language modelsmodèles de langue The task of estimating the probabilities of the tokens that could follow a given sequence of tokens.Tâche consistant à estimer les probabilités des jetons qui pourraient suivre une séquence de jetons donnée. ” rather than “next-word prediction”. Words are a human unit.

Frequency decides the cuts

The cuts are statistical. They fall where character sequences were frequent in the text the tokenizer tokenization²jetonisation² language modelsmodèles de langue The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. was built on, which is why Tokenization splits into Token and ization while shapes and everything stay whole. In this example the split happens to align with the linguistic structure of the word. That is not guaranteed at all.

Pas des mots, mais des jetons

Tout ce qui précède a dit mot : un vecteur par mot, de l’attention entre les mots. C’est une simplification.

Prenez la phrase Tokenization shapes everything. Vous y lisez trois mots et un point. Les systèmes construits pour travailler sur la langue la découpent chacun à leur manière, comme le montre la Figure 1figure 1 : 31 caractères pour l’un, cinq jetons pour l’autre, chaque jeton une entrée d’un vocabulaire vocabularyvocabulaire language modelsmodèles de langue The fixed set of tokens that a tokenizer and language model can recognize and represent.Ensemble fixe des jetons qu'un segmenteur et un modèle de langue peuvent reconnaître et représenter. avec un numéro attaché. C’est pourquoi une écriture soignée dit « prédiction du jeton suivant next-token predictionprédiction du jeton suivant language modelsmodèles de langue The task of estimating the probabilities of the tokens that could follow a given sequence of tokens.Tâche consistant à estimer les probabilités des jetons qui pourraient suivre une séquence de jetons donnée.  » plutôt que « prédiction du mot suivant ». Le mot est une unité humaine.

La fréquence décide des coupes

Les coupes sont statistiques. Elles tombent là où des suites de caractères étaient fréquentes dans les textes sur lesquels le segmenteur tokenization²jetonisation² language modelsmodèles de langue The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. a été construit, ce qui explique que Tokenization se découpe en Token et ization alors que shapes et everything restent entiers. Dans cet exemple, le découpage s’aligne par hasard sur la structure linguistique du mot. Ce n’est pas garanti du tout.

The tokenizer runs first

When you type a sentence into a chatbot, the tokenizer tokenization²jetonisation² language modelsmodèles de langue The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. runs first. It is not part of the language model language model (LM)modèle de langue language modelsmodèles de langue A machine-learning model that estimates how likely different sequences of language are.Modèle d'apprentissage automatique qui estime la probabilité de différentes séquences de langue. itself, but a completely separate program: trained before use, and from then on only executing the tokenization tokenization²jetonisation² language modelsmodèles de langue The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. , never influenced by the model. The two are still inseparable, because the model keeps one row of numbers for each entry in the tokenizer’s vocabulary vocabularyvocabulaire language modelsmodèles de langue The fixed set of tokens that a tokenizer and language model can recognize and represent.Ensemble fixe des jetons qu'un segmenteur et un modèle de langue peuvent reconnaître et représenter. , so a model and its tokenizer travel together for life. Each token token²jeton textuel² language modelsmodèles de langue A unit of text that a language model processes or generates.Unité de texte qu'un modèle de langue traite ou génère. Un jeton peut correspondre à un mot entier, à une partie de mot, à un signe de ponctuation ou à une séquence plus petite de caractères ou d'octets. is replaced by its number in that vocabulary, and those numbers are the only version of the text the model receives as input.

Spaces belong to the word that follows

The spaces are inside the tokens. In this tokenizer a space belongs to the word that follows it, which is why two of the boxes carry one and the first does not. The same word is therefore a different token at the start of a line and in the middle of a sentence, and a text already cut on its spaces is counted differently.

One row per token

Each ID number associated with a token can be seen as an address for that token. The model looks it up in that table of rows, and the row it finds there is a vector vectorvecteur machine learningapprentissage automatique An ordered list of numbers.Liste ordonnée de nombres. of the kind the earlier chapters built (see also the Word embeddings chapter, in the Language as numbers module) (voir aussi le chapitre Plongements lexicaux, dans le module Le langage en nombres). Everything after that works on the vectors.

Le segmenteur passe en premier

Quand vous tapez une phrase dans un agent conversationnel, le segmenteur tokenization²jetonisation² language modelsmodèles de langue The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. passe en premier. Il ne fait pas partie du modèle de langue language model (LM)modèle de langue language modelsmodèles de langue A machine-learning model that estimates how likely different sequences of language are.Modèle d'apprentissage automatique qui estime la probabilité de différentes séquences de langue. lui-même, mais est un programme entièrement distinct : entraîné avant usage, il ne fait ensuite qu’exécuter la jetonisation tokenization²jetonisation² language modelsmodèles de langue The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. , sans jamais être influencé par le modèle. Les deux restent malgré tout inséparables, parce que le modèle garde une rangée de nombres par entrée du vocabulaire vocabularyvocabulaire language modelsmodèles de langue The fixed set of tokens that a tokenizer and language model can recognize and represent.Ensemble fixe des jetons qu'un segmenteur et un modèle de langue peuvent reconnaître et représenter. du segmenteur : un modèle et son segmenteur vont donc ensemble pour la vie. Chaque jeton token²jeton textuel² language modelsmodèles de langue A unit of text that a language model processes or generates.Unité de texte qu'un modèle de langue traite ou génère. Un jeton peut correspondre à un mot entier, à une partie de mot, à un signe de ponctuation ou à une séquence plus petite de caractères ou d'octets. est remplacé par son numéro dans ce vocabulaire, et ces nombres sont la seule version du texte que le modèle reçoit en entrée.

Les espaces appartiennent au mot qui suit

Les espaces sont à l’intérieur des jetons. Dans ce segmenteur, une espace appartient au mot qui la suit, ce qui explique que deux des cases en portent une et que la première n’en porte pas. Un même mot est donc un jeton différent au début d’une ligne et au milieu d’une phrase, et un texte déjà découpé sur ses espaces se compte autrement.

Une rangée par jeton

Chaque numéro d’identifiant associé à un jeton peut se voir comme une adresse pour ce jeton. Le modèle la consulte dans cette table de rangées, et la rangée qu’il y trouve est un vecteur vectorvecteur machine learningapprentissage automatique An ordered list of numbers.Liste ordonnée de nombres. du genre que les chapitres précédents ont construit (see also the Word embeddings chapter, in the Language as numbers module) (voir aussi le chapitre Plongements lexicaux, dans le module Le langage en nombres). Tout ce qui suit travaille sur les vecteurs.

Vocabulary

Every model has a fixed list of tokens, chosen before training starts and never added to afterwards. Every text it will ever read or write has to be expressed using the tokens in that list, and whatever is not in the list cannot be represented at all.

How long that list should be is the question this page turns on, and the two obvious answers sit at either end.

One number per word?

Each token would then be a unit that means something. But a list of words runs into three walls at once.

• It can never be complete. An average twenty-year-old native speaker of American English knows about 42,000 lemmas lemmalemme linguisticslinguistique The base or dictionary form under which the inflected forms of a word are grouped: go, goes, went and gone share the lemma go.Forme de base, ou forme de dictionnaire, sous laquelle sont regroupées les formes fléchies d'un mot : va, allons, allait et allé partagent le lemme aller. (Brysbaert et al., 2016), and real text piles names, technical terms, foreign words, typos and yesterday’s coinages on top of that. No list contains every word of one language, let alone of all of them, and new words appear faster than any list can be revised.
• Rare entries stay poorly learned. A word seen a handful of times in training gets a vector built from those few occurrences, which is not enough to place it usefully. Enlarging the list adds entries of exactly that kind.
• Every entry costs. The model keeps one row of numbers per entry, and at every step it scores every entry in the list to decide what comes next. A longer list means more memory and more computing, for entries that are mostly rare.

One number per character?

The list would be tiny, a few hundred entries at most, and nothing would ever be missing: any text at all can be spelled out, in any language, typos included. The cost is at the other end. A single character tells you almost nothing, t on its own means nothing, and a page of text becomes a very long run of them, as the character row of Figure 1figure 1 shows. The model would have to rebuild every word from scratch, every time one occurred.

Pieces in between

New words are mostly made of familiar pieces, and that is the way out. You can read antibacterial without having seen it before, because anti-, bacteri and -al are old acquaintances. A vocabulary of pieces, some of them whole words and some fragments, keeps the common words whole and can still spell out anything at all, down to single characters in the worst case.

With the subword strategy, single characters are still part of the vocabulary as well. So when no larger piece matches, any sequence at all can still be covered by the individual characters, and there are no out-of-vocabulary problems left: not for a typo, a surname, a word in a language the tokenizer tokenization²jetonisation² language modelsmodèles de langue The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. barely saw, or a line of pure gibberish. What varies is the number of tokens. A familiar word is one token, and an unfamiliar one takes as many as it takes to spell it (see also the Consequences of tokenization chapter, in the Language as numbers module) (voir aussi le chapitre Conséquences de la jetonisation, dans le module Le langage en nombres).

Le vocabulaire

Chaque modèle a une liste fixe de jetons, choisie avant le début de l’entraînement et jamais complétée ensuite. Tout texte qu’il lira ou écrira doit s’exprimer avec les jetons de cette liste, et ce qui n’y figure pas ne peut pas être représenté du tout.

Quelle doit être la longueur de cette liste ? C’est la question qui occupe cette page, et les deux réponses évidentes se trouvent aux deux extrémités.

Un numéro par mot ?

Chaque jeton serait alors une unité qui veut dire quelque chose. Mais une liste de mots se heurte à trois murs à la fois.

• Elle ne peut jamais être complète. Une personne moyenne de vingt ans dont l’anglais américain est la langue maternelle connaît environ 42 000 lemmes lemmalemme linguisticslinguistique The base or dictionary form under which the inflected forms of a word are grouped: go, goes, went and gone share the lemma go.Forme de base, ou forme de dictionnaire, sous laquelle sont regroupées les formes fléchies d'un mot : va, allons, allait et allé partagent le lemme aller. (Brysbaert et al., 2016), et les textes réels y ajoutent des noms propres, des termes techniques, des mots étrangers, des coquilles et les néologismes d’hier. Aucune liste ne contient tous les mots d’une seule langue, encore moins de toutes, et les mots nouveaux apparaissent plus vite qu’aucune liste ne peut être révisée.
• Les entrées rares restent mal apprises. Un mot vu une poignée de fois à l’entraînement reçoit un vecteur construit sur ces quelques occurrences, ce qui ne suffit pas à le placer utilement. Agrandir la liste ajoute des entrées exactement de ce genre.
• Chaque entrée coûte. Le modèle garde une rangée de nombres par entrée, et à chaque étape il attribue un score à chaque entrée de la liste pour décider de la suite. Une liste plus longue veut dire plus de mémoire et plus de calcul, pour des entrées le plus souvent rares.

Un numéro par caractère ?

La liste serait minuscule, quelques centaines d’entrées au plus, et rien ne manquerait jamais : n’importe quel texte peut s’épeler, dans n’importe quelle langue, coquilles comprises. Le coût est à l’autre bout. Un caractère isolé ne dit presque rien, t tout seul ne veut rien dire, et une page de texte devient une très longue suite de caractères, comme le montre la rangée des caractères de la Figure 1figure 1. Le modèle devrait reconstruire chaque mot depuis le début, chaque fois qu’il en rencontre un.

Des morceaux entre les deux

Les mots nouveaux sont surtout faits de morceaux familiers, et c’est là que se trouve l’issue. Vous pouvez lire antibactérien sans l’avoir jamais vu, parce que anti-, bactér et -ien sont de vieilles connaissances. Un vocabulaire de morceaux, dont certains sont des mots entiers et d’autres des fragments, garde les mots courants entiers et peut malgré tout épeler n’importe quoi, jusqu’aux caractères isolés dans le pire des cas.

Avec la stratégie sous-lexicale, les caractères isolés font toujours partie du vocabulaire. Donc, quand aucun morceau plus grand ne correspond, n’importe quelle suite peut encore être couverte par les caractères individuels, et il ne reste aucun problème de mot hors vocabulaire : ni pour une coquille, ni pour un patronyme, ni pour un mot dans une langue que le segmenteur tokenization²jetonisation² language modelsmodèles de langue The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. a à peine vue, ni pour une ligne de pur charabia. Ce qui varie, c’est le prix. Un mot familier coûte un jeton, et un mot inconnu en coûte autant qu’il en faut pour l’épeler (see also the Consequences of tokenization chapter, in the Language as numbers module) (voir aussi le chapitre Conséquences de la jetonisation, dans le module Le langage en nombres).

Learning the pieces by counting

Which pieces should a subword vocabulary contain? Choosing them by hand would be rule-writing all over again. The standard method, byte-pair encoding, learns them from a corpus corpuscorpus corporacorpus A collection of written texts, speech recordings or transcribed language assembled for analysis or use in language technology (plural: corpora).Ensemble de textes écrits, d'enregistrements de parole ou de langue transcrite réuni pour l'analyse ou pour les technologies langagières. with a procedure simple enough to state in three steps (Sennrich et al., 2016):

1. Split the whole corpus into single characters. These are the first tokens.
2. Count every pair of adjacent tokens, and merge the most frequent pair into one new token, everywhere it occurs.
3. Repeat step 2 until the vocabulary reaches the size you chose.

Learned once, applied forever

Frequent words quickly get their own token (the is one of the first) and rarer ones stay in a few pieces. Length counts as well as frequency: every merge joins two neighbours, so a long word needs many of them before it is whole again, and a short word of the same frequency gets there sooner. Frequent endings and stems, -ing, -tion, get a token too, because they recur across thousands of words.

The counting happens once and produces a list of merges. That list is then applied unchanged to every text the model ever reads, including yours.

Apprendre les morceaux en comptant

Quels morceaux un vocabulaire sous-lexical doit-il contenir ? Les choisir à la main reviendrait à écrire des règles, encore une fois. La méthode standard, l’encodage par paires d’octets, les apprend d’un corpus corpuscorpus corporacorpus A collection of written texts, speech recordings or transcribed language assembled for analysis or use in language technology (plural: corpora).Ensemble de textes écrits, d'enregistrements de parole ou de langue transcrite réuni pour l'analyse ou pour les technologies langagières. avec une procédure assez simple pour tenir en trois étapes (Sennrich et al., 2016) :

1. Découper tout le corpus en caractères isolés. Ce sont les premiers jetons.
2. Compter chaque paire de jetons voisins, et fusionner la paire la plus fréquente en un nouveau jeton, partout où elle apparaît.
3. Répéter l’étape 2 jusqu’à ce que le vocabulaire atteigne la taille choisie.

Appris une fois, appliqué pour toujours

Les mots fréquents obtiennent vite leur propre jeton (le est l’un des premiers) et les plus rares restent en quelques morceaux. La longueur compte aussi, en plus de la fréquence : chaque fusion joint deux voisins, un long mot a donc besoin de nombreuses fusions avant d’être entier de nouveau, et un mot court de même fréquence y arrive plus tôt. Les terminaisons et les radicaux fréquents, -ion, -ment, obtiennent aussi un jeton, parce qu’ils reviennent dans des milliers de mots.

Le comptage n’a lieu qu’une fois et produit une liste de fusions. Cette liste est ensuite appliquée sans changement à tous les textes que le modèle lira, y compris les vôtres.

Counting pairs, one merge at a time

Here the whole training corpus is three words: representation, retention, repression. Three steps by hand are enough to see what kind of vocabulary comes out.

Start by splitting everything into characters, nine distinct ones in all:

r e p r e s e n t a t i o n
r e t e n t i o n
r e p r e s s i o n

Count adjacent pairs. The pair r e occurs five times (twice in representation, once in retention, twice in repression), more than any other, so it becomes the first new token:

re p re s e n t a t i o n
re t e n t i o n
re p re s s i o n

Recounting and merging seven more times, io then ion, then the three merges that build repres and the two that make ent, leaves a corpus in which no pair occurs more than once:

repres ent a t ion
re t ent ion
repres s ion

Morphemes by accident

Seven tokens (repres, ent, a, t, ion, re, s) now cover all three words. Counting pairs and nothing else found ion and ent, real English morphemes, and repres, a shared stem. It also produced repres·ent·a·t·ion, which no linguist would propose as a morphological analysis of representation.

The same procedure at real scale

On a real corpus the process is the same at two different scales: millions of documents to start from, and a target vocabulary size that stops the merging while frequent pairs are still left to merge. Common words are rebuilt whole well before that point; the cut-off is what leaves the long tail in pieces. Sennrich et al. (2016), introducing the method for translation, used 59,500 merge operations for one language pair and 89,500 for another. Two of the basic building blocks for current large language models came out of machine translation machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. research: subword tokenization here, and the transformer transformertransformeur deep learningapprentissage profond A neural-network architecture for processing sequences, such as text.Architecture de réseau de neurones pour le traitement des séquences, comme le texte. a year later (see also the Attention & transformers chapter, in the Language as numbers module) (voir aussi le chapitre Attention et transformeurs, dans le module Le langage en nombres). The tokenizers tokenization²jetonisation² language modelsmodèles de langue The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. of today’s largest models run to a few hundred thousand.

Compter les paires, une fusion à la fois

Ici, tout le corpus d’entraînement tient en trois mots : representation, retention, repression. Trois étapes à la main suffisent à voir quel genre de vocabulaire en sort.

On commence par tout découper en caractères, neuf caractères distincts en tout :

r e p r e s e n t a t i o n
r e t e n t i o n
r e p r e s s i o n

On compte les paires voisines. La paire r e apparaît cinq fois (deux fois dans representation, une fois dans retention, deux fois dans repression), plus que toute autre ; elle devient donc le premier nouveau jeton :

re p re s e n t a t i o n
re t e n t i o n
re p re s s i o n

En recomptant et en fusionnant sept fois de plus, io puis ion, puis les trois fusions qui construisent repres et les deux qui font ent, on obtient un corpus où aucune paire n’apparaît plus d’une fois :

repres ent a t ion
re t ent ion
repres s ion