Foundations of AI & NLPFondements de l'IA et du TAL

You already use AI every day, mostly without thinking of it that way. The spellchecker that underlines a typo, the search engine that completes your question after three letters, the machine translation machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. behind a foreign web page and the chatbot you ask to rephrase an email are all built on techniques from the same field.

This definition is deliberately broad, and broader than the science-fiction picture of machines that think like humans. It includes any computational approach to tasks associated with intelligence: recognizing patterns, making decisions, using language, solving problems. It says nothing about how the task is performed. A program following a few hundred hand-written rules and a system trained on half the internet both qualify, and the difference between those two ways of qualifying is the subject of the rest of this module.

The boundary of the field also moves. Chess programs were once the showpiece of AI research; today a chess engine on your phone beats any human and nobody calls it AI. Converting a scanned page to editable text was cutting-edge AI in the 1970s; it is now a routine feature of a phone camera. This pattern has a name, the “AI effect” (McCorduck, 2004): once a capability is understood and ordinary, it stops being seen as intelligence. Keep it in mind when you read that a tool “uses AI”. The phrase mostly signals that the capability is recent; it tells you almost nothing about what the tool actually does.

In everyday use today, “AI” refers primarily, though not exclusively, to large language models large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. (LLMs) and to tools with one inside: a chatbot, a writing assistant, a translation feature marketed as intelligent. In this module, I try to consistently use “LLM” when I mean large language models specifically, and “AI” when I mean this type of technology more broadly.

Sources

• Grobelnik, M., Perset, K., & Russell, S. (2024). What is AI? Can you make a clear distinction between AI and non-AI systems?. OECD.AI Policy Observatory. https://oecd.ai/en/wonk/definition
• International Organization for Standardization & International Electrotechnical Commission (2022). Information technology — Artificial intelligence — Artificial intelligence concepts and terminology (ISO/IEC 22989:2022). ISO/IEC. https://www.iso.org/standard/74296.html
• McCorduck, P. (2004). Machines Who Think: A Personal Inquiry into the History and Prospects of Artificial Intelligence. 2nd ed., A K Peters. https://www.routledge.com/Machines-Who-Think-A-Personal-Inquiry-into-the-History-and-Prospects-of-Artificial-Intelligence/McCorduck/p/book/9781568812052

Vous utilisez déjà l’IA tous les jours, le plus souvent sans y penser. Le correcteur orthographique qui souligne une faute de frappe, le moteur de recherche qui complète votre question après trois lettres, la traduction automatique machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. derrière une page web en langue étrangère et l’agent conversationnel à qui vous demandez de reformuler un courriel reposent tous sur des techniques du même domaine.

Cette définition est volontairement large, plus large que l’image de science-fiction de machines qui pensent comme des humains. Elle englobe toute approche informatique de tâches associées à l’intelligence : reconnaître des motifs, prendre des décisions, employer la langue, résoudre des problèmes. Elle ne dit rien de la manière dont la tâche est accomplie. Un programme qui suit quelques centaines de règles écrites à la main et un système entraîné sur la moitié d’Internet répondent tous deux à la définition, et la différence entre ces deux façons d’y répondre fait l’objet du reste de ce module.

La frontière du domaine se déplace, elle aussi. Les programmes d’échecs ont été la vitrine de la recherche en IA ; aujourd’hui, un logiciel d’échecs sur votre téléphone bat n’importe quel humain et personne ne parle plus d’IA. Convertir une page numérisée en texte modifiable était de l’IA de pointe dans les années 1970 ; c’est devenu une fonction ordinaire d’un appareil photo de téléphone. Ce phénomène porte un nom, l’« effet IA » (McCorduck, 2004) : dès qu’une capacité est comprise et devenue courante, on cesse d’y voir de l’intelligence. Gardez-le en tête quand vous lisez qu’un outil « utilise l’IA ». L’expression signale surtout que la capacité est récente ; elle ne vous dit à peu près rien de ce que l’outil fait.

Dans l’usage courant d’aujourd’hui, « IA » renvoie d’abord, sans s’y limiter, aux grands modèles de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. (GML) et aux outils qui en contiennent un : un agent conversationnel, un assistant de rédaction, une fonction de traduction présentée comme intelligente. Dans ce module, j’essaie d’employer systématiquement « GML » quand je parle des grands modèles de langue en particulier, et « IA » quand je parle de ce type de technologie plus largement.

Sources

• Grobelnik, M., Perset, K., & Russell, S. (2024). What is AI? Can you make a clear distinction between AI and non-AI systems?. OECD.AI Policy Observatory. https://oecd.ai/en/wonk/definition
• International Organization for Standardization & International Electrotechnical Commission (2022). Information technology — Artificial intelligence — Artificial intelligence concepts and terminology (ISO/IEC 22989:2022). ISO/IEC. https://www.iso.org/standard/74296.html
• McCorduck, P. (2004). Machines Who Think: A Personal Inquiry into the History and Prospects of Artificial Intelligence. 2nd ed., A K Peters. https://www.routledge.com/Machines-Who-Think-A-Personal-Inquiry-into-the-History-and-Prospects-of-Artificial-Intelligence/McCorduck/p/book/9781568812052

Not everything called AI learns. A chess program from the 1980s played by rules its programmers wrote down; nothing in it changed with experience. The spam filter in your mailbox, by contrast, was shown thousands of examples of spam and ordinary mail and worked out the difference itself. Both are AI. Only the second is machine learning.

Within machine learning, one family of methods has come to dominate: neural networks neural network (NN)réseau de neurones (RNA) machine learningapprentissage automatique A machine-learning model composed of interconnected layers of small computational units.Modèle d'apprentissage automatique composé de couches interconnectées de petites unités de calcul. , systems built from layers of simple interconnected units, loosely inspired by the neurons of the brain. When a network stacks many such layers, the approach is called deep learning deep learning (DL)apprentissage profond machine learningapprentissage automatique An approach to machine learning based on neural networks with many successive layers of computing units.Approche de l'apprentissage automatique fondée sur des réseaux de neurones comportant de nombreuses couches successives d'unités de calcul. (LeCun et al., 2015); on this map, it is the innermost of the three regions. Both notions are defined properly where their mechanics are taught (see also the From neural networks to large language models chapter) (voir aussi le chapitre Des réseaux de neurones aux grands modèles de langue).

Where does language fit? Natural language processing natural language processing (NLP)traitement automatique de la langue (TAL) NLPTAL An interdisciplinary field that develops and studies computational methods for analyzing, processing, and generating human language.Domaine interdisciplinaire qui développe et étudie des méthodes computationnelles pour analyser, traiter et générer le langage humain. is defined by its object, not by its method, so it cuts across every level of the diagram: the earliest systems processed language with hand-written rules (AI without machine learning), later ones with statistical learning, and today’s systems predominantly with deep learning (see also the Four paradigms page) (voir aussi la page Quatre paradigmes). The remaining region of the diagram is generative AI generative AI (GenAI)intelligence artificielle générative (IAGén) AIIA An area of artificial intelligence concerned with systems that generate content such as text, code, images, audio, or video by learning patterns from training data and producing new outputs in response to input or prompts.Branche de l'intelligence artificielle qui s'intéresse aux systèmes générant du contenu, comme du texte, du code, des images, de l'audio ou de la vidéo, en apprenant des régularités dans les données d'entraînement et en produisant de nouvelles sorties en réponse à une entrée ou à une requête. and the large language models large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. inside it. A sliver of generative AI reaches outside machine learning: generation by hand-written rules exists too, and the earliest chatbots worked exactly that way.

Sources

• International Organization for Standardization & International Electrotechnical Commission (2022). Information technology — Artificial intelligence — Artificial intelligence concepts and terminology (ISO/IEC 22989:2022). ISO/IEC. https://www.iso.org/standard/74296.html
• Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
• LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521(7553), 436–444. https://doi.org/10.1038/nature14539

Tout ce qu’on appelle IA n’apprend pas. Un programme d’échecs des années 1980 jouait selon des règles écrites par ses programmeurs ; rien en lui ne changeait avec l’expérience. Le filtre antipourriel de votre boîte de courriel, lui, a vu des milliers d’exemples de pourriels et de courriels ordinaires et a dégagé la différence tout seul. Les deux sont de l’IA. Seul le second est de l’apprentissage automatique.

Au sein de l’apprentissage automatique, une famille de méthodes s’est imposée : les réseaux de neurones neural network (NN)réseau de neurones (RNA) machine learningapprentissage automatique A machine-learning model composed of interconnected layers of small computational units.Modèle d'apprentissage automatique composé de couches interconnectées de petites unités de calcul. , des systèmes faits de couches d’unités simples interconnectées, vaguement inspirés des neurones du cerveau. Quand un réseau empile beaucoup de ces couches, on parle d’apprentissage profond deep learning (DL)apprentissage profond machine learningapprentissage automatique An approach to machine learning based on neural networks with many successive layers of computing units.Approche de l'apprentissage automatique fondée sur des réseaux de neurones comportant de nombreuses couches successives d'unités de calcul. (LeCun et al., 2015) ; sur cette carte, c’est la plus intérieure des trois régions. Les deux notions sont définies en détail là où leur fonctionnement est enseigné (see also the From neural networks to large language models chapter) (voir aussi le chapitre Des réseaux de neurones aux grands modèles de langue).

Où se situe la langue ? Le traitement automatique de la langue natural language processing (NLP)traitement automatique de la langue (TAL) NLPTAL An interdisciplinary field that develops and studies computational methods for analyzing, processing, and generating human language.Domaine interdisciplinaire qui développe et étudie des méthodes computationnelles pour analyser, traiter et générer le langage humain. se définit par son objet et non par sa méthode : il traverse donc tous les niveaux du schéma. Les premiers systèmes traitaient la langue avec des règles écrites à la main (de l’IA sans apprentissage automatique), les suivants avec de l’apprentissage statistique, et ceux d’aujourd’hui surtout avec de l’apprentissage profond (see also the Four paradigms page) (voir aussi la page Quatre paradigmes). La région qui reste sur le schéma est l’intelligence artificielle générative generative AI (GenAI)intelligence artificielle générative (IAGén) AIIA An area of artificial intelligence concerned with systems that generate content such as text, code, images, audio, or video by learning patterns from training data and producing new outputs in response to input or prompts.Branche de l'intelligence artificielle qui s'intéresse aux systèmes générant du contenu, comme du texte, du code, des images, de l'audio ou de la vidéo, en apprenant des régularités dans les données d'entraînement et en produisant de nouvelles sorties en réponse à une entrée ou à une requête. et les grands modèles de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. qu’elle contient. Une frange de l’IA générative déborde de l’apprentissage automatique : la génération par règles écrites à la main existe aussi, et les premiers agents conversationnels fonctionnaient exactement ainsi.

Sources

• International Organization for Standardization & International Electrotechnical Commission (2022). Information technology — Artificial intelligence — Artificial intelligence concepts and terminology (ISO/IEC 22989:2022). ISO/IEC. https://www.iso.org/standard/74296.html
• Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
• LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521(7553), 436–444. https://doi.org/10.1038/nature14539

Most of the systems mentioned so far analyze something that already exists: is this email spam, what is the grammatical category of this word. The recent wave of public attention went to systems that produce something instead: text, images, music, code, video.

Two nuances in that definition matter. First, generation and machine learning are independent properties. The frustrating customer-service chatbots of the 2010s generated their replies from rules and templates, with no learning anywhere; today’s generative systems are almost all deep learning. Second, the category is older than the hype: machine translation machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. produces new text and is, by this definition, generative AI, decades before the term existed. And as with “AI” in general, the everyday meaning of “generative AI” has narrowed: it is now closely associated with large language models large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. (LLMs) specifically, the technology behind today’s chatbots.

Sources

• Grobelnik, M., Perset, K., & Russell, S. (2024). What is AI? Can you make a clear distinction between AI and non-AI systems?. OECD.AI Policy Observatory. https://oecd.ai/en/wonk/definition
• Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
• Weizenbaum, J. (1966). ELIZA—a computer program for the study of natural language communication between man and machine. Communications of the ACM, 9(1), 36–45. https://doi.org/10.1145/365153.365168

La plupart des systèmes évoqués jusqu’ici analysent quelque chose qui existe déjà : ce courriel est-il un pourriel, quelle est la catégorie grammaticale de ce mot. La vague récente d’attention du public est allée à des systèmes qui produisent quelque chose : du texte, des images, de la musique, du code, de la vidéo.

Deux nuances de cette définition comptent. D’abord, la génération et l’apprentissage automatique sont des propriétés indépendantes. Les agents conversationnels de service à la clientèle des années 2010, si frustrants, produisaient leurs réponses à partir de règles et de gabarits, sans le moindre apprentissage ; les systèmes génératifs d’aujourd’hui relèvent presque tous de l’apprentissage profond. Ensuite, la catégorie est plus ancienne que l’engouement : la traduction automatique machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. produit du texte nouveau et relève, selon cette définition, de l’IA générative, des décennies avant l’apparition du terme. Et comme pour « IA » en général, le sens courant d’« IA générative » s’est resserré : il est aujourd’hui étroitement associé aux grands modèles de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. (GML) en particulier, la technologie derrière les agents conversationnels d’aujourd’hui.

Sources

• Grobelnik, M., Perset, K., & Russell, S. (2024). What is AI? Can you make a clear distinction between AI and non-AI systems?. OECD.AI Policy Observatory. https://oecd.ai/en/wonk/definition
• Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
• Weizenbaum, J. (1966). ELIZA—a computer program for the study of natural language communication between man and machine. Communications of the ACM, 9(1), 36–45. https://doi.org/10.1145/365153.365168

Machine translation, automatic subtitling, the summary a chatbot writes, grammar checking, the speech recognition that types what you dictate: the field behind all of these is natural language processing natural language processing (NLP)traitement automatique de la langue (TAL) NLPTAL An interdisciplinary field that develops and studies computational methods for analyzing, processing, and generating human language.Domaine interdisciplinaire qui développe et étudie des méthodes computationnelles pour analyser, traiter et générer le langage humain. (NLP), the computational processing of human language, whatever the method (see also the Classical NLP module) (voir aussi le module TAL classique).

In this context, three terms are used to describe more or less the same thing in different contexts. Computational linguistics leans toward the science, language studied by computational means; NLP leans toward the engineering; language technology names the applied, product-facing side. The emphasis differs more than the subject, and on this site I use the three more or less interchangeably. Speech processing and machine translation sit on the edge: sometimes counted inside these fields, sometimes as specialties beside them.

Working between English and French adds one practical difficulty: the two languages abbreviate these names differently, and the abbreviations do not map letter for letter. NLP becomes TAL (traitement automatique de la langue), LLM becomes GML (grand modèle de langue), and machine translation’s MT becomes TA, while in French MT is a translation memory translation memory (TM)mémoire de traduction (MT) CAT toolsTAO A bilingual database of previously translated source segments and their corresponding target segments, which a translation-memory system searches to propose exact or similar matches for new source text.Base de données bilingue de segments source déjà traduits et de leurs segments cibles correspondants, dans laquelle un système de mémoire de traduction cherche des correspondances exactes ou similaires pour un nouveau texte source. (mémoire de traduction). The glossary carries the attested French term and abbreviation for every concept used on this site.

Sources

• Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/

La traduction automatique, le sous-titrage automatique, le résumé qu’écrit un agent conversationnel, la correction grammaticale, la reconnaissance de la parole qui tape ce que vous dictez : le domaine derrière tout cela est le traitement automatique de la langue natural language processing (NLP)traitement automatique de la langue (TAL) NLPTAL An interdisciplinary field that develops and studies computational methods for analyzing, processing, and generating human language.Domaine interdisciplinaire qui développe et étudie des méthodes computationnelles pour analyser, traiter et générer le langage humain. (TAL), le traitement informatique de la langue humaine, quelle que soit la méthode (see also the Classical NLP module) (voir aussi le module TAL classique).

Dans ce contexte, trois termes servent à décrire plus ou moins la même chose dans des contextes différents. La linguistique informatique penche du côté de la science, la langue étudiée par des moyens informatiques ; le TAL penche du côté de l’ingénierie ; les technologies langagières désignent le versant appliqué, tourné vers le produit. L’accent diffère plus que l’objet, et sur ce site j’emploie les trois à peu près indifféremment. Le traitement de la parole et la traduction automatique se tiennent à la limite : tantôt comptés dans ces domaines, tantôt comme des spécialités à côté.

Travailler entre l’anglais et le français ajoute une difficulté pratique : les deux langues abrègent ces noms différemment, et les abréviations ne se correspondent pas lettre pour lettre. NLP devient TAL (traitement automatique de la langue), LLM devient GML (grand modèle de langue), et le MT de l’anglais machine translation devient TA, tandis qu’en français MT est une mémoire de traduction translation memory (TM)mémoire de traduction (MT) CAT toolsTAO A bilingual database of previously translated source segments and their corresponding target segments, which a translation-memory system searches to propose exact or similar matches for new source text.Base de données bilingue de segments source déjà traduits et de leurs segments cibles correspondants, dans laquelle un système de mémoire de traduction cherche des correspondances exactes ou similaires pour un nouveau texte source. . Le glossaire donne le terme français attesté et son abréviation pour chaque concept employé sur ce site.

Sources

• Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/

Four ways of building a system

Natural language processing as a field has changed a great deal over the past decades. The older approaches are still in use for some tasks, and some of the newer ones existed for a long time before they became popular, but in broad terms four big paradigms can be told apart, by the share of the work that people do and the share the machine learns. Figure 5figure 5 sets them out in the order they arrived, with the change each one brought.

1. Rule-based systems rule-based systemsystème à base de règles AIIA A system whose behaviour is fixed by rules that people wrote, most often of the form "if this condition, then this action", so that every output can be traced to the rule that produced it.Système dont le comportement est fixé par des règles écrites par des personnes, le plus souvent de la forme « si cette condition, alors cette action », de sorte que chaque résultat peut être rapporté à la règle qui l'a produit. , from the start of the field in the 1950s (Jurafsky & Martin, 2026): people specify all the logic and all the knowledge, as rules the system applies (see also the Rule-based systems page) (voir aussi la page Les systèmes à base de règles).
2. Machine learning machine learning (ML)apprentissage automatique machine learningapprentissage automatique An approach to artificial intelligence in which a model is trained on data or experience so that its adjustable parameters come to reflect patterns relevant to a task.Approche de l'intelligence artificielle dans laquelle un modèle est entraîné sur des données ou sur l'expérience, de sorte que ses paramètres ajustables en viennent à refléter des régularités pertinentes pour une tâche. , from the late 1980s on: people specify what to measure, the features, and the system learns the patterns from labelled examples; the paradigm is also called statistical or feature-based (see also the turn to machine learning page) (voir aussi la page Le virage vers l'apprentissage automatique).
3. Deep learning deep learning (DL)apprentissage profond machine learningapprentissage automatique An approach to machine learning based on neural networks with many successive layers of computing units.Approche de l'apprentissage automatique fondée sur des réseaux de neurones comportant de nombreuses couches successives d'unités de calcul. , for language from about 2015 on: still machine learning, but the system learns the features too, directly from raw data, with neural networks neural network (NN)réseau de neurones (RNA) machine learningapprentissage automatique A machine-learning model composed of interconnected layers of small computational units.Modèle d'apprentissage automatique composé de couches interconnectées de petites unités de calcul. of many layers (LeCun et al., 2015) (see also the How a network learns page) (voir aussi la page Comment un réseau apprend).
4. Large language models large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. , shown in 2020 and in general use since the end of 2022: still deep learning, but one model, trained once on vast amounts of text with no task in view, does many tasks it was never built for, and the task is specified at use time, in a prompt, by the person using it (see also the Large language models page) (voir aussi la page Les grands modèles de langue).

Each paradigm is inside the one before it, the way the map of the fields nests them: machine learning is a kind of AI, deep learning a kind of machine learning, a large language model a kind of deep learning (see also the nested fields page) (voir aussi la page Les domaines emboîtés). Each is a paradigm of its own all the same, because the division of the work between people and the machine changed each time: first the patterns were learned, then the features, then the task itself no longer had to be built into the system.

Interpreting the evolution

• Some strategies were available long before they became successful. Language models existed before ChatGPT made them popular (Brown et al., 2020), and neural networks existed long before the data and the computation they need to work well were available (see also the How a network learns page) (voir aussi la page Comment un réseau apprend).
• Each paradigm shift means that a different methodology becomes more popular and more successful on some tasks, but all the previous methodologies remain in use. To this day, there are plenty of tasks for which rule-based methods remain the best solution. And though a new strategy performs better on some tasks, the shift often comes at the cost of control and transparency (Figure 6figure 6) (see also the black box page) (voir aussi la page La boîte noire), and with large requirements in data and computation.

Sources

• Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., et al. (2020). Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems 33 (NeurIPS 2020). https://proceedings.neurips.cc/paper/2020/hash/1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html
• Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
• LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521(7553), 436–444. https://doi.org/10.1038/nature14539
• Sutton, R. S. (2019). The bitter lesson. Incomplete Ideas (blog). http://www.incompleteideas.net/IncIdeas/BitterLesson.html

Quatre façons de construire un système

Le traitement automatique de la langue a beaucoup changé au fil des dernières décennies. Les approches les plus anciennes servent encore pour certaines tâches, et certaines des plus récentes ont existé longtemps avant de s’imposer, mais on distingue, à grands traits, quatre grands paradigmes, selon la part du travail que font les personnes et la part qu’apprend la machine. La Figure 5figure 5 les présente dans l’ordre de leur arrivée, avec le changement que chacun a apporté.

1. Les systèmes à base de règles rule-based systemsystème à base de règles AIIA A system whose behaviour is fixed by rules that people wrote, most often of the form "if this condition, then this action", so that every output can be traced to the rule that produced it.Système dont le comportement est fixé par des règles écrites par des personnes, le plus souvent de la forme « si cette condition, alors cette action », de sorte que chaque résultat peut être rapporté à la règle qui l'a produit. , depuis les débuts du domaine dans les années 1950 (Jurafsky & Martin, 2026) : des personnes spécifient toute la logique et toutes les connaissances, sous forme de règles que le système applique (see also the Rule-based systems page) (voir aussi la page Les systèmes à base de règles).
2. L’apprentissage automatique machine learning (ML)apprentissage automatique machine learningapprentissage automatique An approach to artificial intelligence in which a model is trained on data or experience so that its adjustable parameters come to reflect patterns relevant to a task.Approche de l'intelligence artificielle dans laquelle un modèle est entraîné sur des données ou sur l'expérience, de sorte que ses paramètres ajustables en viennent à refléter des régularités pertinentes pour une tâche. , depuis la fin des années 1980 : des personnes spécifient ce qu’il faut mesurer, les attributs, et le système apprend les régularités à partir d’exemples étiquetés ; on parle aussi d’apprentissage statistique ou fondé sur des attributs (see also the turn to machine learning page) (voir aussi la page Le virage vers l'apprentissage automatique).
3. L’apprentissage profond deep learning (DL)apprentissage profond machine learningapprentissage automatique An approach to machine learning based on neural networks with many successive layers of computing units.Approche de l'apprentissage automatique fondée sur des réseaux de neurones comportant de nombreuses couches successives d'unités de calcul. , pour la langue depuis 2015 environ : toujours de l’apprentissage automatique, mais le système apprend aussi les attributs, directement à partir des données brutes, avec des réseaux de neurones neural network (NN)réseau de neurones (RNA) machine learningapprentissage automatique A machine-learning model composed of interconnected layers of small computational units.Modèle d'apprentissage automatique composé de couches interconnectées de petites unités de calcul. à plusieurs couches (LeCun et al., 2015) (see also the How a network learns page) (voir aussi la page Comment un réseau apprend).
4. Les grands modèles de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. , démontrés en 2020 et d’usage courant depuis la fin de 2022 : toujours de l’apprentissage profond, mais un seul modèle, entraîné une fois sur d’immenses quantités de texte sans tâche en vue, accomplit de nombreuses tâches pour lesquelles il n’a jamais été construit, et la tâche est spécifiée au moment de l’utilisation, dans une requête, par la personne qui s’en sert (see also the Large language models page) (voir aussi la page Les grands modèles de langue).

Chaque paradigme s’inscrit dans le précédent, comme s’emboîtent les domaines sur la carte : l’apprentissage automatique est une forme d’IA, l’apprentissage profond une forme d’apprentissage automatique, un grand modèle de langue une forme d’apprentissage profond (see also the nested fields page) (voir aussi la page Les domaines emboîtés). Chacun n’en est pas moins un paradigme à part entière, parce que le partage du travail entre les personnes et la machine a changé à chaque fois : d’abord les régularités ont été apprises, puis les attributs, puis la tâche elle-même n’a plus eu à être construite dans le système.

Interpréter l’évolution

• Certaines stratégies étaient disponibles bien avant de s’imposer. Les modèles de langue existaient avant que ChatGPT ne les rende populaires (Brown et al., 2020), et les réseaux de neurones ont existé longtemps avant que les données et la puissance de calcul dont ils ont besoin pour bien fonctionner ne soient disponibles (see also the How a network learns page) (voir aussi la page Comment un réseau apprend).
• Chaque changement de paradigme signifie qu’une méthodologie différente devient plus populaire et plus performante pour certaines tâches, mais toutes les méthodologies précédentes restent en usage. Aujourd’hui encore, pour bien des tâches, les méthodes à base de règles restent la meilleure solution. Et même si une nouvelle stratégie fait mieux pour certaines tâches, le changement se paie souvent en contrôle et en transparence (Figure 6figure 6) (see also the black box page) (voir aussi la page La boîte noire), et il exige beaucoup de données et de calcul.

Sources

• Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., et al. (2020). Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems 33 (NeurIPS 2020). https://proceedings.neurips.cc/paper/2020/hash/1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html
• Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
• LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521(7553), 436–444. https://doi.org/10.1038/nature14539
• Sutton, R. S. (2019). The bitter lesson. Incomplete Ideas (blog). http://www.incompleteideas.net/IncIdeas/BitterLesson.html

Rules written by people

A rule-based system automates a task by applying rules that people wrote down.

Two examples of simple rule-based systems are:

• a grammar checker:
  a singular subject followed by a plural verb ⇒ flag the sentence
• a date converter:
  four digits, a hyphen, two digits, a hyphen, two digits ⇒ a date; reorder the parts

Every piece of the system’s behaviour was specified by a human, which is why this is called the deductive approach: general rules first, applied to each new case. Figure 1figure 1 shows one such rule applied to two sentences.

For language, the rule writers were often linguists. Early machine translation machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. systems, spelling and grammar checkers, and the first dialogue systems were built from thousands of grammatical rules, dictionary entries and transformation patterns, each written and maintained by hand.

The text a rule can see

A rule can only test what the program can observe in the text. The date converter’s rule is written in characters, digits and hyphens, which any program can read. The grammar checker’s rule assumes that the program already knows which words form the subject, whether it is singular and which word is the verb, and none of that is written in the text: it takes part-of-speech tagging part-of-speech tagging (POS tagging)étiquetage morphosyntaxique NLPTAL The task of taking a sequence of tokenized words and a tagset, and assigning to each word one tag naming its grammatical class, such as noun or verb.Tâche qui consiste à prendre une suite de mots segmentés et un jeu d'étiquettes, puis à attribuer à chaque mot une étiquette nommant sa classe grammaticale, par exemple nom ou verbe. and parsing first, each a task of its own. Writing a rule therefore starts by translating what a person notices into something a program can measure.

Strengths and weaknesses

Rule-based systems are still in use, and Figure 2figure 2 sums up why, and why the field moved on. In a narrow, well-defined domain they are precise, every decision can be traced to a rule a person can read and fix, and they need no data. Against real language, which is ambiguous ambiguityambiguïté linguisticslinguistique The property of a stretch of language that allows more than one interpretation.Propriété d'un segment de langue qui autorise plus d'une interprétation. , variable and full of exceptions, the rule set keeps growing without ever covering everything, and every new language or text type means starting over (see also the Why language is hard chapter, in the Language as numbers module) (voir aussi le chapitre Pourquoi le langage est difficile, dans le module Le langage en nombres).

By the late 1980s, the weaknesses had pushed the field toward another way of building systems, in which the patterns are found in data instead of written as rules.

Sources

• Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/

Des règles écrites par des personnes

Un système à base de règles automatise une tâche en appliquant des règles que des personnes ont écrites.

Voici deux exemples de systèmes simples à base de règles :

• un correcteur grammatical :
  un sujet singulier suivi d’un verbe pluriel ⇒ signaler la phrase
• un convertisseur de dates :
  quatre chiffres, un trait d’union, deux chiffres, un trait d’union, deux chiffres ⇒ une date ; réordonner les parties

Chaque élément du comportement du système a été spécifié par une personne, et c’est pourquoi on parle d’approche déductive : des règles générales d’abord, appliquées à chaque nouveau cas. La Figure 1figure 1 montre une telle règle appliquée à deux phrases.

Pour la langue, les auteurs de règles étaient souvent des linguistes. Les premiers systèmes de traduction automatique machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. , les correcteurs orthographiques et grammaticaux et les premiers systèmes de dialogue étaient faits de milliers de règles grammaticales, d’entrées de dictionnaire et de schémas de transformation, chacun écrit et maintenu à la main.

Le texte vu par une règle

Une règle ne peut tester que ce que le programme observe dans le texte. La règle du convertisseur de dates est écrite en caractères, en chiffres et en traits d’union, que n’importe quel programme sait lire. Celle du correcteur grammatical suppose que le programme sait déjà quels mots forment le sujet, si celui-ci est singulier et quel mot est le verbe, et rien de tout cela n’est écrit dans le texte : il faut d’abord un étiquetage morphosyntaxique part-of-speech tagging (POS tagging)étiquetage morphosyntaxique NLPTAL The task of taking a sequence of tokenized words and a tagset, and assigning to each word one tag naming its grammatical class, such as noun or verb.Tâche qui consiste à prendre une suite de mots segmentés et un jeu d'étiquettes, puis à attribuer à chaque mot une étiquette nommant sa classe grammaticale, par exemple nom ou verbe. et une analyse syntaxique, deux tâches à part entière. Écrire une règle commence donc par traduire ce qu’une personne remarque en quelque chose qu’un programme peut mesurer.

Points forts et points faibles

Les systèmes à base de règles servent encore, et la Figure 2figure 2 résume pourquoi, et pourquoi le domaine s’en est détourné. Dans un domaine étroit et bien défini, ils sont précis, chaque décision remonte à une règle qu’une personne peut lire et corriger, et ils n’ont besoin d’aucune donnée. Face à la langue réelle, ambiguë ambiguityambiguïté linguisticslinguistique The property of a stretch of language that allows more than one interpretation.Propriété d'un segment de langue qui autorise plus d'une interprétation. , variable et pleine d’exceptions, l’ensemble de règles ne cesse de grossir sans jamais tout couvrir, et chaque nouvelle langue ou chaque nouveau type de texte oblige à recommencer (see also the Why language is hard chapter, in the Language as numbers module) (voir aussi le chapitre Pourquoi le langage est difficile, dans le module Le langage en nombres).

À la fin des années 1980, ces faiblesses avaient poussé le domaine vers une autre façon de construire les systèmes, où les régularités sont trouvées dans des données au lieu d’être écrites sous forme de règles.

Sources

• Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/

From cases to patterns

Instead of asking an expert to write the rules, you can collect examples that people have already labelled, and let an algorithm work out what separates them. Letting the algorithm find the pattern in the cases is the inductive approach; a rule-based system rule-based systemsystème à base de règles AIIA A system whose behaviour is fixed by rules that people wrote, most often of the form "if this condition, then this action", so that every output can be traced to the rule that produced it.Système dont le comportement est fixé par des règles écrites par des personnes, le plus souvent de la forme « si cette condition, alors cette action », de sorte que chaque résultat peut être rapporté à la règle qui l'a produit. works the other way round, from a general rule to each case, which is the deductive approach (Figure 3figure 3). The field made that turn to machine learning machine learning (ML)apprentissage automatique machine learningapprentissage automatique An approach to artificial intelligence in which a model is trained on data or experience so that its adjustable parameters come to reflect patterns relevant to a task.Approche de l'intelligence artificielle dans laquelle un modèle est entraîné sur des données ou sur l'expérience, de sorte que ses paramètres ajustables en viennent à refléter des régularités pertinentes pour une tâche. in the late 1980s.

In this paradigm a person still chooses what the system measures, its features featureattribut machine learningapprentissage automatique A property or representation of an observation that a machine-learning model uses as input when making a prediction.Propriété ou représentation d'une observation qu'un modèle d'apprentissage automatique utilise en entrée pour produire une prédiction. , which is why it is also called statistical or feature-based machine learning. The algorithm adjusts a model one labelled example at a time (see also the Learning from labelled examples page) (voir aussi la page Apprendre à partir d'exemples étiquetés). Machine learning replaced rule writing for three reasons: a learned system can combine hundreds of weak signals that nobody would think to write down, labelling examples is cheaper and less specialized work than writing and maintaining rules, and a method transfers to a new language or domain once examples in it are collected. The table below sets the two paradigms side by side.

Rules against machine learning

Aspect	Rule-based systems	Machine learning systems
What they depend on	Experts, who write and maintain the rules	A corpus, large and, for many tasks, annotated by people
Variation and ambiguity ambiguityambiguïté linguisticslinguistique The property of a stretch of language that allows more than one interpretation.Propriété d'un segment de langue qui autorise plus d'une interprétation.	A case nobody foresaw is a case nobody handled	Handled, provided enough cases like it are in the data and the features let the system find a systematic difference; an unusual case still gets an answer, as a degree of likelihood
Interpretability	Every decision traces back to a rule a person can read and change	Readable to a degree that depends on the algorithm; a decision is changed by changing the data
A new language or domain	Start again	Collect data, retrain
Where they fit	Narrow, well-defined tasks, and tasks with no data	Tasks with much variation and much data

Sources

• Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/

Des cas aux régularités

Au lieu de demander à un expert d’écrire les règles, vous pouvez réunir des exemples que des personnes ont déjà étiquetés, et laisser un algorithme trouver ce qui les distingue. Laisser l’algorithme trouver la régularité dans les cas, c’est l’approche inductive ; un système à base de règles rule-based systemsystème à base de règles AIIA A system whose behaviour is fixed by rules that people wrote, most often of the form "if this condition, then this action", so that every output can be traced to the rule that produced it.Système dont le comportement est fixé par des règles écrites par des personnes, le plus souvent de la forme « si cette condition, alors cette action », de sorte que chaque résultat peut être rapporté à la règle qui l'a produit. procède en sens inverse, d’une règle générale à chaque cas, et c’est l’approche déductive (Figure 3figure 3). Le domaine a pris ce virage vers l’apprentissage automatique machine learning (ML)apprentissage automatique machine learningapprentissage automatique An approach to artificial intelligence in which a model is trained on data or experience so that its adjustable parameters come to reflect patterns relevant to a task.Approche de l'intelligence artificielle dans laquelle un modèle est entraîné sur des données ou sur l'expérience, de sorte que ses paramètres ajustables en viennent à refléter des régularités pertinentes pour une tâche. à la fin des années 1980.

Dans ce paradigme, une personne choisit encore ce que le système mesure, ses attributs featureattribut machine learningapprentissage automatique A property or representation of an observation that a machine-learning model uses as input when making a prediction.Propriété ou représentation d'une observation qu'un modèle d'apprentissage automatique utilise en entrée pour produire une prédiction. , et c’est pourquoi on parle aussi d’apprentissage statistique ou fondé sur des attributs. L’algorithme ajuste un modèle un exemple étiqueté à la fois (see also the Learning from labelled examples page) (voir aussi la page Apprendre à partir d'exemples étiquetés). L’apprentissage automatique a remplacé l’écriture de règles pour trois raisons : un système appris peut combiner des centaines d’indices faibles que personne ne penserait à écrire, étiqueter des exemples est un travail moins coûteux et moins spécialisé qu’écrire et maintenir des règles, et une méthode se transpose à une nouvelle langue ou à un nouveau domaine dès qu’on y a réuni des exemples. Le tableau ci-dessous compare les deux paradigmes.

Règles et apprentissage automatique

Aspect	Systèmes à base de règles	Systèmes d’apprentissage automatique
Ce dont ils dépendent	Des experts, qui écrivent et maintiennent les règles	Un corpus, volumineux et, pour bien des tâches, annoté par des personnes
Variation et ambiguïté ambiguityambiguïté linguisticslinguistique The property of a stretch of language that allows more than one interpretation.Propriété d'un segment de langue qui autorise plus d'une interprétation.	Un cas que personne n’a prévu est un cas que personne n’a traité	Traitées, à condition que les données contiennent assez de cas semblables et que les attributs permettent au système de trouver une différence systématique ; un cas inhabituel obtient tout de même une réponse, sous forme de degré de probabilité
Interprétabilité	Chaque décision remonte à une règle qu’une personne peut lire et modifier	Lisible à un degré qui dépend de l’algorithme ; une décision se modifie en modifiant les données
Une nouvelle langue ou un nouveau domaine	Tout recommencer	Réunir des données, réentraîner
Où ils conviennent	Les tâches étroites et bien définies, et les tâches sans données	Les tâches très variables, avec beaucoup de données

Sources

• Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/

Suppose you want a system that sorts email into spam and not spam. The rule-based way is to describe spam: certain senders, certain words, too many links. The supervised way is to show the system ten thousand emails that a human already sorted, and let it work out the difference. Each email with its human verdict attached is a labelled example, and a collection of many labelled examples becomes training data.

Training then runs as a loop. The algorithm takes an example, predicts a label, and compares its prediction with the human label. A wrong prediction adjusts the model’s settings, a little, in the direction that would have made it right. A correct one changes little or nothing: some algorithms leave the settings exactly as they are, others nudge them toward answering the same way more confidently.The settings are the model’s parameters parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. . How they are stored and adjusted is not covered in this module; the loop is the point here, not the arithmetic inside it (see also the From neural networks to large language models chapter) (voir aussi le chapitre Des réseaux de neurones aux grands modèles de langue). One pass through one email teaches almost nothing. Millions of passes through thousands of examples add up, and the predictions improve until they are good enough to use on email nobody has labelled.

Two consequences follow directly from this setup, and they will come back again and again in this collection:

• Everything is learned from the data, not from rules. The system reproduces the judgements in its training data, mistakes and blind spots included, and the data is the only way in: there is no rule to rewrite when it gets something wrong.
• The training data has to resemble the real job. A spam filter trained on English corporate email will stumble on French phishing. What the examples do not show, the model cannot learn.

Before anything can be learned, somebody has to decide what the algorithm looks at when it compares two emails.

Sources

• Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
• Raschka, S. (2024). Machine Learning Q and AI. No Starch Press. https://nostarch.com/machine-learning-q-and-ai

Supposons que vous vouliez un système qui trie les courriels entre pourriel et non pourriel. La façon à base de règles consiste à décrire le pourriel : certains expéditeurs, certains mots, trop de liens. La façon supervisée consiste à montrer au système dix mille courriels qu’un humain a déjà triés, et à le laisser dégager la différence. Chaque courriel accompagné du verdict humain est un exemple étiqueté, et un ensemble de nombreux exemples étiquetés devient des données d’entraînement.

L’entraînement se déroule alors en boucle. L’algorithme prend un exemple, prédit une étiquette et compare sa prédiction à celle de l’humain. Une prédiction fausse ajuste les réglages du modèle, un peu, dans la direction qui l’aurait rendue juste. Une prédiction juste ne change rien ou presque : certains algorithmes laissent les réglages exactement tels quels, d’autres les poussent à répondre pareil avec plus d’assurance.Ces réglages sont les paramètres parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. du modèle. La façon dont ils sont stockés et ajustés n’est pas traitée dans ce module ; ce qui compte ici, c’est la boucle, pas l’arithmétique qui s’y trouve (see also the From neural networks to large language models chapter) (voir aussi le chapitre Des réseaux de neurones aux grands modèles de langue). Un passage sur un courriel n’apprend presque rien. Des millions de passages sur des milliers d’exemples s’accumulent, et les prédictions s’améliorent jusqu’à devenir assez bonnes pour des courriels que personne n’a étiquetés.

Deux conséquences découlent directement de ce fonctionnement, et elles reviendront sans cesse dans ce matériel :

• Tout s’apprend des données, pas de règles. Le système reproduit les jugements de ses données d’entraînement, erreurs et angles morts compris, et les données sont la seule porte d’entrée : il n’y a aucune règle à réécrire quand il se trompe.
• Les données d’entraînement doivent ressembler au travail réel. Un filtre antipourriel entraîné sur des courriels d’entreprise en anglais trébuchera sur de l’hameçonnage en français. Ce que les exemples ne montrent pas, le modèle ne peut pas l’apprendre.

Avant que quoi que ce soit puisse s’apprendre, quelqu’un doit décider ce que l’algorithme regarde quand il compare deux courriels.

Sources

• Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
• Raschka, S. (2024). Machine Learning Q and AI. No Starch Press. https://nostarch.com/machine-learning-q-and-ai

Algorithms cannot read emails the way humans do: they need numbers. So each example has to be described as a set of measurable properties: how long the message is, whether the sender is in your address book (typically encoded as 1 if yes, 0 if no), how many links it contains, whether the words win, free or miracle appear. Each such property is a feature.

In traditional machine learning, choosing the features is human work, and it is where most of the craft goes. Someone has to guess which properties distinguish spam from ordinary mail, work out how to turn each one into a number, test the result, and go back for better features when the model disappoints. The guesses are hypotheses about the problem, and bad ones cap what any algorithm can achieve.

The strength of this recipe, features plus labels plus the loop, is that it can weigh hundreds of weak signals at once, which no hand-written rule set manages. Its ceiling is the features themselves: the model can only be as observant as the properties someone thought to measure. That ceiling is what neural networks later removed, by learning the features too (see also the From neural networks to large language models chapter) (voir aussi le chapitre Des réseaux de neurones aux grands modèles de langue).

Sources

• Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
• Raschka, S. (2024). Machine Learning Q and AI. No Starch Press. https://nostarch.com/machine-learning-q-and-ai

Les algorithmes ne lisent pas les courriels comme les humains : il leur faut des nombres. Chaque exemple doit donc être décrit par un ensemble de propriétés mesurables : la longueur du message, la présence de l’expéditeur dans votre carnet d’adresses (encodée en général par 1 si oui, 0 si non), le nombre de liens, la présence des mots gagner, gratuit ou miracle. Chacune de ces propriétés est un attribut.

En apprentissage automatique traditionnel, le choix des attributs est un travail humain, et c’est là que passe l’essentiel du métier. Quelqu’un doit deviner quelles propriétés distinguent le pourriel du courrier ordinaire, trouver comment transformer chacune en nombre, tester le résultat et repartir en chercher de meilleures quand le modèle déçoit. Ces suppositions sont des hypothèses sur le problème, et les mauvaises plafonnent ce que n’importe quel algorithme peut atteindre.

La force de cette recette, des attributs plus des étiquettes plus la boucle, est de pouvoir peser des centaines de signaux faibles à la fois, ce qu’aucun ensemble de règles écrites à la main ne réussit. Son plafond, ce sont les attributs eux-mêmes : le modèle ne peut être plus observateur que les propriétés que quelqu’un a pensé à mesurer. Ce plafond, ce sont les réseaux de neurones qui l’ont levé plus tard, en apprenant aussi les attributs (see also the From neural networks to large language models chapter) (voir aussi le chapitre Des réseaux de neurones aux grands modèles de langue).

Sources

• Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
• Raschka, S. (2024). Machine Learning Q and AI. No Starch Press. https://nostarch.com/machine-learning-q-and-ai

The same example, described by the same features, can be put to two different questions. Asked which of a fixed set of categories it belongs to, the task is classification: spam or not spam, positive or negative review, which part of speech a word is. Asked for a value on a scale, the task is regression: how many minutes a text takes to read, how long a translator will need to post-edit a segment segmentsegment CAT toolsTAO A portion of translatable content that a CAT tool treats as a discrete unit for translation, alignment, storage and match retrieval.Portion de contenu à traduire qu'un outil de TAO traite comme une unité distincte aux fins de traduction, d'alignement, de stockage et de recherche de correspondances. , what a house is worth.

The distinction is about the answer, not about the data. A customer review supports both: a classifier decides whether it is positive or negative, and a regression predicts the rating the reviewer gave, 1 to 5 stars, from the same features. And the training loop does not change either way: predict, compare with the label, adjust.

Sources

• Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. https://www.deeplearningbook.org/
• Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/

Le même exemple, décrit par les mêmes attributs, peut être soumis à deux questions différentes. Si on demande à laquelle des catégories d’un ensemble fixe il appartient, la tâche est une classification : pourriel ou non pourriel, critique positive ou négative, catégorie grammaticale d’un mot. Si on demande une valeur sur une échelle, la tâche est une régression : combien de minutes un texte demande à lire, combien de temps une traductrice mettra à post-éditer un segment segmentsegment CAT toolsTAO A portion of translatable content that a CAT tool treats as a discrete unit for translation, alignment, storage and match retrieval.Portion de contenu à traduire qu'un outil de TAO traite comme une unité distincte aux fins de traduction, d'alignement, de stockage et de recherche de correspondances. , ce que vaut une maison.

La distinction porte sur la réponse, pas sur les données. Une critique de client se prête aux deux : un classifieur décide si elle est positive ou négative, et une régression prédit la note que la personne a donnée, de 1 à 5 étoiles, à partir des mêmes attributs. Et la boucle d’entraînement ne change pas non plus : prédire, comparer à l’étiquette, ajuster.

Sources

• Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. https://www.deeplearningbook.org/
• Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/

Labelled examples are one way to learn, and the one this chapter follows, because it is the clearest and the most common. Two other families complete the standard picture.

Unsupervised learning unsupervised learningapprentissage non supervisé machine learningapprentissage automatique A machine-learning approach that seeks patterns or structure in data without being given a target label or expected output for each training example.Approche d'apprentissage automatique qui cherche des régularités ou des structures dans les données sans recevoir d'étiquette cible ni de sortie attendue pour chaque exemple d'entraînement. works on data with no labels at all. There is no right answer to compare against; instead the algorithm looks for structure that is already in the data, such as groups of similar items. Given thousands of translation-agency invoices, an unsupervised method might discover that they fall into clusters by client type, without anyone having defined the clusters beforehand. Where it matters most for language, word embeddings are learned from raw text, with no human labelling anything (see also the Word embeddings chapter, in the Language as numbers module) (voir aussi le chapitre Plongements lexicaux, dans le module Le langage en nombres).

Reinforcement learning reinforcement learning (RL)apprentissage par renforcement (AR) machine learningapprentissage automatique A type of machine learning in which an agent learns how to act by receiving rewards or penalties in response to its actions, with the aim of maximizing its overall reward.Type d'apprentissage automatique dans lequel un agent apprend à agir en recevant des récompenses ou des pénalités en réponse à ses actions, avec l'objectif de maximiser sa récompense globale. learns from trial and error. The system acts, receives a reward or a penalty, and adjusts toward what earned reward. No example shows it the right action; it has to find out. This family powers game-playing systems, and it is part of how a raw language model is turned into a usable assistant (see also the LLM lifecycle module) (voir aussi le module Cycle de vie des GML).

Sources

• Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/

Les exemples étiquetés sont une façon d’apprendre, celle que suit ce chapitre, parce qu’elle est la plus claire et la plus répandue. Deux autres familles complètent le tableau habituel.

L’apprentissage non supervisé unsupervised learningapprentissage non supervisé machine learningapprentissage automatique A machine-learning approach that seeks patterns or structure in data without being given a target label or expected output for each training example.Approche d'apprentissage automatique qui cherche des régularités ou des structures dans les données sans recevoir d'étiquette cible ni de sortie attendue pour chaque exemple d'entraînement. travaille sur des données sans aucune étiquette. Il n’y a pas de bonne réponse à laquelle se comparer ; l’algorithme cherche plutôt une structure déjà présente dans les données, par exemple des groupes d’éléments semblables. Devant des milliers de factures d’agences de traduction, une méthode non supervisée pourrait découvrir qu’elles se regroupent par type de client, sans que personne ait défini ces groupes à l’avance. Là où cela compte le plus pour la langue, les plongements lexicaux s’apprennent à partir de texte brut, sans que personne n’étiquette quoi que ce soit (see also the Word embeddings chapter, in the Language as numbers module) (voir aussi le chapitre Plongements lexicaux, dans le module Le langage en nombres).

L’apprentissage par renforcement reinforcement learning (RL)apprentissage par renforcement (AR) machine learningapprentissage automatique A type of machine learning in which an agent learns how to act by receiving rewards or penalties in response to its actions, with the aim of maximizing its overall reward.Type d'apprentissage automatique dans lequel un agent apprend à agir en recevant des récompenses ou des pénalités en réponse à ses actions, avec l'objectif de maximiser sa récompense globale. apprend par essais et erreurs. Le système agit, reçoit une récompense ou une pénalité, et s’ajuste vers ce qui a été récompensé. Aucun exemple ne lui montre la bonne action ; il doit la trouver. Cette famille fait fonctionner les systèmes qui jouent à des jeux, et elle fait partie de la façon dont un modèle de langue brut devient un assistant utilisable (see also the LLM lifecycle module) (voir aussi le module Cycle de vie des GML).

Sources

• Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/

What does a feature look like when the examples are words rather than emails? Take named entity recognition named entity recognition (NER)reconnaissance d'entités nommées (REN) NLPTAL The task of finding the spans of a text that are proper names, and labelling the category, most often a person, a location or an organization.Tâche qui consiste à repérer dans un texte les segments qui sont des noms propres, et à en étiqueter la catégorie, le plus souvent une personne, un lieu ou une organisation. as an example. This is an NLP task where the goal is to label named entities automatically: names of people, places, organizations, and so on (see also the Named entity recognition: one task up close page, in the Classical NLP module) (voir aussi la page La reconnaissance d'entités nommées : une tâche vue de près, dans le module TAL classique). Useful features for a word include: does it start with a capital letter, is it the first word of the sentence, does it appear in a list of known first names, what word comes just before it (Mr., in, at), and what suffix it ends with (-town, -land, -ville). With a training corpus corpuscorpus corporacorpus A collection of written texts, speech recordings or transcribed language assembled for analysis or use in language technology (plural: corpora).Ensemble de textes écrits, d'enregistrements de parole ou de langue transcrite réuni pour l'analyse ou pour les technologies langagières. where the entities have been labelled by hand, and those features calculated for every word, the algorithm can learn which patterns in the data go with a name.

Though you can do some impressive things with feature engineering, these systems tend to all hit the same wall. Features like suffixes and capitalization describe the form of a word. They say nothing about what it means. To a feature-based model, voiture and char are simply two different sequences of letters, though in Quebec both can mean car; travail (work) and travaux (roadworks) look like the singular and plural of one word, though the plural often shifts the meaning. The way past the wall was to stop describing words by hand-picked properties and let a system learn, from how words are used, a numerical representation of the words themselves (see also the Language as numbers module) (voir aussi le module Le langage en nombres).

Sources

• Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/

À quoi ressemble un attribut quand les exemples sont des mots plutôt que des courriels ? Prenons la reconnaissance d’entités nommées named entity recognition (NER)reconnaissance d'entités nommées (REN) NLPTAL The task of finding the spans of a text that are proper names, and labelling the category, most often a person, a location or an organization.Tâche qui consiste à repérer dans un texte les segments qui sont des noms propres, et à en étiqueter la catégorie, le plus souvent une personne, un lieu ou une organisation. comme exemple. C’est une tâche de TAL dont le but est d’étiqueter automatiquement les entités nommées : noms de personnes, de lieux, d’organisations, et ainsi de suite (see also the Named entity recognition: one task up close page, in the Classical NLP module) (voir aussi la page La reconnaissance d'entités nommées : une tâche vue de près, dans le module TAL classique). Des attributs utiles pour un mot : commence-t-il par une majuscule, est-il le premier mot de la phrase, figure-t-il dans une liste de prénoms connus, quel mot le précède immédiatement (M., à, chez), et par quel suffixe se termine-t-il (-ville, -bourg, -ac). Avec un corpus corpuscorpus corporacorpus A collection of written texts, speech recordings or transcribed language assembled for analysis or use in language technology (plural: corpora).Ensemble de textes écrits, d'enregistrements de parole ou de langue transcrite réuni pour l'analyse ou pour les technologies langagières. d’entraînement où les entités ont été étiquetées à la main, et ces attributs calculés pour chaque mot, l’algorithme peut apprendre quels motifs des données vont avec un nom.

On peut faire des choses impressionnantes avec l’ingénierie des attributs, et pourtant ces systèmes butent tous sur le même mur. Des attributs comme les suffixes et les majuscules décrivent la forme d’un mot. Ils ne disent rien de ce qu’il veut dire. Pour un modèle fondé sur des attributs, voiture et char sont simplement deux suites de lettres différentes, alors qu’au Québec les deux peuvent désigner le même véhicule ; travail et travaux ont l’air du singulier et du pluriel d’un même mot, alors que le pluriel en change souvent le sens. Pour passer le mur, il a fallu cesser de décrire les mots par des propriétés choisies à la main et laisser un système apprendre, à partir de la façon dont les mots sont employés, une représentation numérique des mots eux-mêmes (see also the Language as numbers module) (voir aussi le module Le langage en nombres).

Sources

• Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/

The systems behind much of today’s language technology, including almost all machine translation systems and chatbots with which you will interact, are neural networks. The name suggests something brain-like, and the inspiration is real, but loose: there are some similarities between artificial neural networks and natural neural networks like our brain, but this does not go beyond the very basics.

Each unit, called a neuron, is a small mathematical function. It receives numbers from the units connected to it, combines them, and passes a number on. Every connection has a strength, called a weight weightpoids machine learningapprentissage automatique A real number attached to one input of a computing unit, learned during training, that sets how much that input counts towards the unit's output.Nombre réel attaché à une entrée d'une unité de calcul, appris pendant l'entraînement, qui détermine l'importance de cette entrée dans la sortie de l'unité. , and those weights, the network’s parameters parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. , are what training adjusts: a stronger connection means one unit’s output matters more to the next.

The units are organized in layers. An input layer takes in the raw data as numbers; one or more hidden layers transform it, step by step; an output layer produces the answer, for example one value per possible category. When there are many hidden layers, the network is called deep, which is all that the “deep” in deep learning means (LeCun et al., 2015).

Depth is what lets a network build complex patterns out of simple ones. Early layers pick up simple regularities in the raw input; later layers combine those into larger ones. In image recognition, the classic illustration, first edges, then shapes, then faces. For text the same principle applies, with one catch: a network’s input layer takes numbers, so using one for language requires a way to encode language as numbers (see also the Language as numbers module) (voir aussi le module Le langage en nombres).

Sources

• Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. https://www.deeplearningbook.org/
• LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521(7553), 436–444. https://doi.org/10.1038/nature14539

Les systèmes derrière une bonne partie des technologies langagières d’aujourd’hui, dont la quasi-totalité des systèmes de traduction automatique et des agents conversationnels avec lesquels vous interagirez, sont des réseaux de neurones. Le nom évoque quelque chose de cérébral, et l’inspiration est réelle, mais lâche : il existe certaines ressemblances entre les réseaux de neurones artificiels et les réseaux de neurones naturels comme notre cerveau, mais cela ne va pas au-delà des bases.

Chaque unité, appelée neurone, est une petite fonction mathématique. Elle reçoit des nombres des unités qui lui sont reliées, les combine et transmet un nombre. Chaque connexion a une force, appelée poids weightpoids machine learningapprentissage automatique A real number attached to one input of a computing unit, learned during training, that sets how much that input counts towards the unit's output.Nombre réel attaché à une entrée d'une unité de calcul, appris pendant l'entraînement, qui détermine l'importance de cette entrée dans la sortie de l'unité. , et ces poids, les paramètres parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. du réseau, sont ce que l’entraînement ajuste : une connexion plus forte veut dire que la sortie d’une unité compte davantage pour la suivante.

Les unités sont organisées en couches. Une couche d’entrée reçoit les données brutes sous forme de nombres ; une ou plusieurs couches cachées les transforment, étape par étape ; une couche de sortie produit la réponse, par exemple une valeur par catégorie possible. Quand il y a beaucoup de couches cachées, on dit que le réseau est profond, et c’est tout ce que veut dire le « profond » d’apprentissage profond (LeCun et al., 2015).

C’est la profondeur qui permet à un réseau de construire des motifs complexes à partir de motifs simples. Les premières couches relèvent des régularités simples dans l’entrée brute ; les couches suivantes les combinent en motifs plus grands. En reconnaissance d’images, l’illustration classique, d’abord des contours, puis des formes, puis des visages. Pour le texte, le même principe s’applique, avec une réserve : la couche d’entrée d’un réseau reçoit des nombres, donc utiliser un réseau pour la langue demande une façon d’encoder la langue en nombres (see also the Language as numbers module) (voir aussi le module Le langage en nombres).

Sources

• Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. https://www.deeplearningbook.org/
• LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521(7553), 436–444. https://doi.org/10.1038/nature14539

A toy example

Suppose we want a network that tells diamonds, squares and circles apart.Shapes are a toy task, chosen for its simplicity and easy visualization. A real network chooses among far more classes, and its input is rarely anything as tidy as a drawn shape. The loop is the same either way, which is what lets the example be this small. That already fixes the shape of its output layer: one unit per category, one for square, one for circle, one for diamond. Their scores are turned into percentages that add up to 100, so the three answers compete, and raising one lowers the others.

A network answers in probabilities from the start. Untrained, they are essentially random. Given a picture of a diamond and asked what shape it is, the answer might be something like: square 40%, circle 35%, diamond 25%. Early in training they can be confidently wrong instead: square 80%, circle 10%, diamond 10%. The network is then told the right answer, and the predict-compare-adjust loop of supervised learning reappears in its neural form (see also the From rules to machine learning chapter) (voir aussi le chapitre Des règles à l'apprentissage automatique): the error flows backward through the network, and the connections that pushed toward square are weakened, the ones that pushed toward diamond strengthened.

Millions of small adjustments

Adjustment is not reserved for mistakes. A network nudges its connections on every example, including the ones it already gets right; the nudge simply gets smaller as the prediction moves closer to the label. One example changes little. Millions of examples, each nudging millions of parameters parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. , add up to a system whose predictions are sharp. Nothing else in the network changes during training: the architecture, the layers and the connections stay as designed. Learning is entirely a matter of adjusting the strengths.

The difference from a feature-based model

The decisive difference from a feature-based model is what the network learns from. A feature-based model needed a human to decide that suffixes and capitalization matter. A neural network takes raw data (e.g., pixels of an image, or numerical representations of words), and finds its own regularities in it, including ones no human would have thought to specify. The features are learned, and feature engineering disappears. The human work does not disappear with it: choosing and encoding features used to be most of the effort of building a system, and the effort now goes into collecting the data, defining the task and designing the network.

Why it took until the 2010s

Nothing about the idea is new: the underlying design goes back to the perceptron of the 1950s (Rosenblatt, 1958), the first model that could learn its own weights weightpoids machine learningapprentissage automatique A real number attached to one input of a computing unit, learned during training, that sets how much that input counts towards the unit's output.Nombre réel attaché à une entrée d'une unité de calcul, appris pendant l'entraînement, qui détermine l'importance de cette entrée dans la sortie de l'unité. from labelled examples (Goodfellow et al., 2016). In the 2010s, its two main requirements could finally be fulfilled. Learning features from raw data takes far more examples than learning weights for a few hand-picked features, and processing them takes enormous computation. Large collections of digital text and images supplied the first; graphics processors, built to render games, turned out to suit the calculations and supplied the second. With both in place, deep networks moved the state of the art in speech recognition, image recognition and object detection, and in fields as far from language as drug discovery (LeCun et al., 2015).

Sources

• Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. https://www.deeplearningbook.org/
• LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521(7553), 436–444. https://doi.org/10.1038/nature14539
• Rosenblatt, F. (1958). The perceptron: A probabilistic model for information storage and organization in the brain. Psychological Review, 65(6), 386-408. https://doi.org/10.1037/h0042519

Un exemple jouet

Supposons que nous voulions un réseau qui distingue les losanges, les carrés et les cercles.Les formes sont une tâche jouet, choisie pour sa simplicité et sa facilité de visualisation. Un vrai réseau choisit parmi beaucoup plus de catégories, et son entrée est rarement aussi nette qu’une forme dessinée. La boucle est la même dans les deux cas, et c’est ce qui permet à l’exemple d’être aussi petit. Cela fixe déjà la forme de sa couche de sortie : une unité par catégorie, une pour carré, une pour cercle, une pour losange. Leurs scores sont transformés en pourcentages dont la somme fait 100, si bien que les trois réponses sont en concurrence : en faire monter une fait descendre les autres.

Un réseau répond en probabilités dès le départ. Sans entraînement, elles sont essentiellement aléatoires. Si on lui montre l’image d’un losange en lui demandant de quelle forme il s’agit, la réponse pourrait ressembler à ceci : carré 40 %, cercle 35 %, losange 25 %. Tôt dans l’entraînement, elles peuvent au contraire être fausses avec assurance : carré 80 %, cercle 10 %, losange 10 %. On donne ensuite la bonne réponse au réseau, et la boucle prédire, comparer, ajuster de l’apprentissage supervisé reparaît sous sa forme neuronale (see also the From rules to machine learning chapter) (voir aussi le chapitre Des règles à l'apprentissage automatique) : l’erreur remonte à travers le réseau, les connexions qui poussaient vers carré sont affaiblies, celles qui poussaient vers losange renforcées.

Des millions de petits ajustements

L’ajustement n’est pas réservé aux erreurs. Un réseau retouche ses connexions à chaque exemple, y compris ceux qu’il réussit déjà ; la retouche devient simplement plus petite à mesure que la prédiction se rapproche de l’étiquette. Un exemple change peu de chose. Des millions d’exemples, retouchant chacun des millions de paramètres parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. , produisent un système dont les prédictions sont nettes. Rien d’autre ne change dans le réseau pendant l’entraînement : l’architecture, les couches et les connexions restent telles qu’elles ont été conçues. Apprendre revient entièrement à ajuster les forces.

La différence avec un modèle fondé sur des attributs

La différence décisive avec un modèle fondé sur des attributs tient à ce à partir de quoi le réseau apprend. Un tel modèle demandait à une personne de décider que les suffixes et les majuscules comptent. Un réseau de neurones prend des données brutes (p. ex. les pixels d’une image, ou des représentations numériques de mots) et y trouve ses propres régularités, y compris celles que personne n’aurait pensé à préciser. Les attributs sont appris, et l’ingénierie des attributs disparaît. Le travail humain ne disparaît pas pour autant : choisir et encoder les attributs constituait l’essentiel de l’effort de construction d’un système, et l’effort va désormais à la collecte des données, à la définition de la tâche et à la conception du réseau.

Pourquoi il a fallu attendre les années 2010

L’idée n’a rien de neuf : la conception de fond remonte au perceptron des années 1950 (Rosenblatt, 1958), le premier modèle capable d’apprendre lui-même ses poids weightpoids machine learningapprentissage automatique A real number attached to one input of a computing unit, learned during training, that sets how much that input counts towards the unit's output.Nombre réel attaché à une entrée d'une unité de calcul, appris pendant l'entraînement, qui détermine l'importance de cette entrée dans la sortie de l'unité. à partir d’exemples étiquetés (Goodfellow et al., 2016). Dans les années 2010, ses deux exigences principales ont enfin pu être satisfaites. Apprendre des attributs à partir de données brutes demande beaucoup plus d’exemples qu’apprendre des poids pour quelques attributs choisis à la main, et les traiter demande énormément de calcul. De grandes collections de textes et d’images numériques ont fourni la première ; les processeurs graphiques, conçus pour le rendu des jeux, se sont trouvés adaptés à ces calculs et ont fourni la seconde. Les deux réunies, les réseaux profonds ont fait progresser l’état de l’art en reconnaissance de la parole, en reconnaissance d’images et en détection d’objets, et dans des domaines aussi éloignés de la langue que la découverte de médicaments (LeCun et al., 2015).

Sources

• Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. https://www.deeplearningbook.org/
• LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521(7553), 436–444. https://doi.org/10.1038/nature14539
• Rosenblatt, F. (1958). The perceptron: A probabilistic model for information storage and organization in the brain. Psychological Review, 65(6), 386-408. https://doi.org/10.1037/h0042519

With a rule-based system rule-based systemsystème à base de règles AIIA A system whose behaviour is fixed by rules that people wrote, most often of the form "if this condition, then this action", so that every output can be traced to the rule that produced it.Système dont le comportement est fixé par des règles écrites par des personnes, le plus souvent de la forme « si cette condition, alors cette action », de sorte que chaque résultat peut être rapporté à la règle qui l'a produit. you can always find out why an output came out as it did: some rule was triggered, and that rule can be read, disagreed with and changed. In a trained neural network there is nothing to read. Its behaviour is stored as millions of numerical connection weights weightpoids machine learningapprentissage automatique A real number attached to one input of a computing unit, learned during training, that sets how much that input counts towards the unit's output.Nombre réel attaché à une entrée d'une unité de calcul, appris pendant l'entraînement, qui détermine l'importance de cette entrée dans la sortie de l'unité. , learnt from data, and no single one of them means anything on its own. The mathematics of every step is known exactly; what the steps collectively do is not stated anywhere in a form a person can check.

Statistical systems are a sort of middle ground: their rules are learnt from data rather than written by hand, but stay more or less readable (see also the Four paradigms page) (voir aussi la page Quatre paradigmes). How readable depends on the algorithm: a decision tree can be printed and followed, while the weights of a support vector machine with a non-linear kernel cannot be read that way.

This is what people mean when they call neural networks black boxes, and it is a property of the approach rather than a defect to be patched later. The power of the method comes from letting the system find regularities too numerous and too diffuse for anyone to write down; a representation humans could read would be a representation humans could have written.

Four consequences follow for anyone who works with these systems:

• Errors cannot be fixed the way a rule is fixed. There is no line to correct. Improving a network means changing its training data training setjeu de données d'entraînement machine learningapprentissage automatique The portion of a dataset used to train a machine-learning model.Portion d'un jeu de données servant à entraîner un modèle d'apprentissage automatique. , training it further, or changing its architecture and training again, and any of these can shift its behaviour elsewhere in ways nobody chose.
• Behaviour is discovered by testing, not by inspection. The only way to know how a system handles legal text, or Québécois French, is to try it on legal text and Québécois French, which is why evaluation is a professional skill in its own right (see also the Evaluating language technology module) (voir aussi le module L'évaluation des technologies langagières).
• The same input need not give the same output. A classifier is deterministic deterministicdéterministe computinginformatique Describes a process, algorithm, or system that, under the same initial conditions and with the same input, always produces the same output.Se dit d'un processus, d'un algorithme ou d'un système qui, dans les mêmes conditions initiales et avec la même entrée, produit toujours la même sortie. : the same email gives the same verdict every time. A system that generates text often is not, because choosing each next word can involve randomness, and one run then differs from the next. A single trial is evidence about that run, not about the system.
• Confidence is not self-knowledge. A network reports probabilities, and they measure how its training data looked, never how much it “knows” (see also the Critical issues with LLMs module) (voir aussi le module Enjeux critiques des GML).

Sources

• Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. https://www.deeplearningbook.org/
• Rudin, C. (2019). Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead. Nature Machine Intelligence, 1(5), 206-215. https://doi.org/10.1038/s42256-019-0048-x

Avec un système à base de règles rule-based systemsystème à base de règles AIIA A system whose behaviour is fixed by rules that people wrote, most often of the form "if this condition, then this action", so that every output can be traced to the rule that produced it.Système dont le comportement est fixé par des règles écrites par des personnes, le plus souvent de la forme « si cette condition, alors cette action », de sorte que chaque résultat peut être rapporté à la règle qui l'a produit. , on peut toujours savoir pourquoi une sortie est celle qu’elle est : une règle a été déclenchée, et cette règle peut être lue, contestée et modifiée. Dans un réseau de neurones entraîné, il n’y a rien à lire. Son comportement est stocké sous forme de millions de poids weightpoids machine learningapprentissage automatique A real number attached to one input of a computing unit, learned during training, that sets how much that input counts towards the unit's output.Nombre réel attaché à une entrée d'une unité de calcul, appris pendant l'entraînement, qui détermine l'importance de cette entrée dans la sortie de l'unité. de connexion numériques, appris des données, et aucun d’eux ne veut rien dire à lui seul. Les mathématiques de chaque étape sont connues exactement ; ce que les étapes font ensemble n’est écrit nulle part sous une forme vérifiable par une personne.

Les systèmes statistiques sont une sorte de moyen terme : leurs règles sont apprises à partir de données plutôt qu’écrites à la main, mais restent plus ou moins lisibles (see also the Four paradigms page) (voir aussi la page Quatre paradigmes). Le degré de lisibilité dépend de l’algorithme : un arbre de décision peut être imprimé et suivi, alors que les poids d’une machine à vecteurs de support à noyau non linéaire ne se lisent pas ainsi.

C’est ce qu’on veut dire en appelant les réseaux de neurones des boîtes noires, et c’est une propriété de l’approche plutôt qu’un défaut à corriger plus tard. La puissance de la méthode vient de ce qu’on laisse le système trouver des régularités trop nombreuses et trop diffuses pour que quiconque les écrive ; une représentation lisible par des humains serait une représentation que des humains auraient pu écrire.

Quatre conséquences en découlent pour qui travaille avec ces systèmes :

• Les erreurs ne se corrigent pas comme on corrige une règle. Il n’y a pas de ligne à reprendre. Améliorer un réseau veut dire changer ses données d’entraînement training setjeu de données d'entraînement machine learningapprentissage automatique The portion of a dataset used to train a machine-learning model.Portion d'un jeu de données servant à entraîner un modèle d'apprentissage automatique. , l’entraîner davantage, ou changer son architecture et l’entraîner de nouveau, et chacune de ces voies peut déplacer son comportement ailleurs d’une façon que personne n’a choisie.
• Le comportement se découvre en testant, pas en inspectant. La seule façon de savoir comment un système traite un texte juridique, ou du français québécois, est de l’essayer sur un texte juridique et sur du français québécois, et c’est pourquoi l’évaluation est une compétence professionnelle à part entière (see also the Evaluating language technology module) (voir aussi le module L'évaluation des technologies langagières).
• La même entrée ne donne pas forcément la même sortie. Un classifieur est déterministe deterministicdéterministe computinginformatique Describes a process, algorithm, or system that, under the same initial conditions and with the same input, always produces the same output.Se dit d'un processus, d'un algorithme ou d'un système qui, dans les mêmes conditions initiales et avec la même entrée, produit toujours la même sortie.  : le même courriel reçoit le même verdict chaque fois. Un système qui génère du texte ne l’est souvent pas, parce que le choix de chaque mot suivant peut comporter une part de hasard, et une exécution diffère alors de la suivante. Un seul essai renseigne sur cet essai, pas sur le système.
• L’assurance n’est pas de la connaissance de soi. Un réseau donne des probabilités, et elles mesurent à quoi ressemblaient ses données d’entraînement, jamais ce qu’il « sait » (see also the Critical issues with LLMs module) (voir aussi le module Enjeux critiques des GML).

Sources

• Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. https://www.deeplearningbook.org/
• Rudin, C. (2019). Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead. Nature Machine Intelligence, 1(5), 206-215. https://doi.org/10.1038/s42256-019-0048-x

One model, many tasks

Every system of the first three paradigms was built for one task: a spam filter sorts email, a tagger labels words with their grammatical class, and the next system means starting again, with new rules, new features or new labelled data. A large language model is a neural network neural network (NN)réseau de neurones (RNA) machine learningapprentissage automatique A machine-learning model composed of interconnected layers of small computational units.Modèle d'apprentissage automatique composé de couches interconnectées de petites unités de calcul. of the kind this chapter describes, trained from examples like the second and third paradigms, except that the examples are plain text and the task is to predict the next word (Jurafsky & Martin, 2026). Nothing in that training names a task, and once trained, the same model translates, summarizes, lists the terms in a text or labels its words, when the request is written to it in a prompt (Brown et al., 2020). Figure 6figure 6 sets the two arrangements side by side.

Decreasing human influence

Each shift took one thing out of the developer’s hands, as the table below sets out, and the last took the largest: the task itself, which passes to the person using the model.

Shift	No longer specified by the developer	Still specified by people
Rules to machine learning	the patterns	the task and the features, by the developer, before training
Machine learning to deep learning	the features featureattribut machine learningapprentissage automatique A property or representation of an observation that a machine-learning model uses as input when making a prediction.Propriété ou représentation d'une observation qu'un modèle d'apprentissage automatique utilise en entrée pour produire une prédiction.	the task and its data, by the developer, before training
Deep learning to large language models	the task	the task, by the person using the model, in a prompt

A large language model is, technically, deep learning. Four things make it a paradigm of its own all the same, rather than a step inside the third:

• One general system instead of a system per task. The line is not absolute, since a model can be fine-tuned fine-tuningaffinage machine learningapprentissage automatique Further training of a pretrained model on new data to adapt it for a particular task, domain, or intended behaviour.Poursuite de l'entraînement d'un modèle préentraîné sur un jeu de données généralement plus restreint et spécialisé, afin de l'adapter à une tâche ou à un domaine particulier. for one task or one context (see also the Fine-tuning chapter, in the LLM lifecycle module) (voir aussi le chapitre Affinage, dans le module Cycle de vie des GML) and dedicated systems are built on top of models, but its capabilities are far broader than those of any earlier system, and a prompt alone reaches most of them.
• A far simpler interface, so far less specialized users. A prompt is ordinary text rather than a program, so the person who describes the job is often the person who used to be a user of someone else’s system. The line between building a system and using one has moved.
• An even larger appetite for data and computation, in place of explicit knowledge. Each earlier shift already traded knowledge written by people for data; this one trades the task description itself for more text and more computation.
• A blurrier line between natural language processing natural language processing (NLP)traitement automatique de la langue (TAL) NLPTAL An interdisciplinary field that develops and studies computational methods for analyzing, processing, and generating human language.Domaine interdisciplinaire qui développe et étudie des méthodes computationnelles pour analyser, traiter et générer le langage humain. and the rest of AI. The model that labels words or extracts terms is the same one that writes code, describes images and acts on your behalf, and language has become the interface to all of it.

A prompt steers a model without changing it, and within limits (see also the In-context learning chapter, in the LLM lifecycle module) (voir aussi le chapitre Apprentissage en contexte, dans le module Cycle de vie des GML).

Still deep learning

Everything that was true of the third paradigm is still true of the fourth:

• the patterns it learned are spread over billions of numbers nobody can read (see also the black box page) (voir aussi la page La boîte noire);
• everything it does comes from its training text, with that text’s gaps and leanings (see also the Critical issues with LLMs module) (voir aussi le module Enjeux critiques des GML);
• the tasks it does well and badly do not follow what a person finds hard, so its abilities have to be tested;
• the dedicated systems have not disappeared: for a task run on whole corpora, fast and the same way every time, a trained tagger or a term extractor is still the usual tool (see also the Comparing term extraction methods page, in the Classical NLP module) (voir aussi la page Comparer les méthodes d'extraction de termes, dans le module TAL classique).

Sources

• Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., et al. (2020). Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems 33 (NeurIPS 2020). https://proceedings.neurips.cc/paper/2020/hash/1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html
• Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/

Un seul modèle, de nombreuses tâches

Chaque système des trois premiers paradigmes était construit pour une tâche : un filtre antipourriel trie les courriels, un étiqueteur attribue à chaque mot sa classe grammaticale, et le système suivant oblige à repartir de zéro, avec de nouvelles règles, de nouveaux attributs ou de nouvelles données étiquetées. Un grand modèle de langue est un réseau de neurones neural network (NN)réseau de neurones (RNA) machine learningapprentissage automatique A machine-learning model composed of interconnected layers of small computational units.Modèle d'apprentissage automatique composé de couches interconnectées de petites unités de calcul. du type que décrit ce chapitre, entraîné à partir d’exemples comme dans les deuxième et troisième paradigmes, à ceci près que les exemples sont du texte brut et que la tâche consiste à prédire le mot suivant (Jurafsky & Martin, 2026). Rien dans cet entraînement ne nomme une tâche, et une fois entraîné, le même modèle traduit, résume, dresse la liste des termes d’un texte ou en étiquette les mots, quand la demande lui est rédigée dans une requête (Brown et al., 2020). La Figure 6figure 6 compare les deux façons de faire.

Une influence humaine qui diminue

Chaque changement a retiré une chose des mains du développeur, comme le montre le tableau ci-dessous, et le dernier a retiré la plus importante : la tâche elle-même, qui passe à la personne qui se sert du modèle.

Changement	N’est plus spécifié par le développeur	Reste spécifié par des personnes
Des règles à l’apprentissage automatique	les régularités	la tâche et les attributs, par le développeur, avant l’entraînement
De l’apprentissage automatique à l’apprentissage profond	les attributs featureattribut machine learningapprentissage automatique A property or representation of an observation that a machine-learning model uses as input when making a prediction.Propriété ou représentation d'une observation qu'un modèle d'apprentissage automatique utilise en entrée pour produire une prédiction.	la tâche et ses données, par le développeur, avant l’entraînement
De l’apprentissage profond aux grands modèles de langue	la tâche	la tâche, par la personne qui se sert du modèle, dans une requête

Un grand modèle de langue relève, techniquement, de l’apprentissage profond. Quatre choses en font pourtant un paradigme à part entière, plutôt qu’une étape à l’intérieur du troisième :

• Un seul système général au lieu d’un système par tâche. La frontière n’est pas absolue, puisqu’un modèle peut être affiné fine-tuningaffinage machine learningapprentissage automatique Further training of a pretrained model on new data to adapt it for a particular task, domain, or intended behaviour.Poursuite de l'entraînement d'un modèle préentraîné sur un jeu de données généralement plus restreint et spécialisé, afin de l'adapter à une tâche ou à un domaine particulier. pour une tâche ou un contexte (see also the Fine-tuning chapter, in the LLM lifecycle module) (voir aussi le chapitre Affinage, dans le module Cycle de vie des GML) et que des systèmes dédiés sont construits à partir de modèles, mais ses capacités sont bien plus larges que celles de tout système antérieur, et une requête suffit à en atteindre la plupart.
• Une interface bien plus simple, donc des utilisateurs bien moins spécialisés. Une requête est du texte ordinaire et non un programme, si bien que la personne qui décrit la tâche est souvent celle qui, auparavant, se servait du système de quelqu’un d’autre. La frontière entre construire un système et s’en servir s’est déplacée.
• Un appétit encore plus grand pour les données et le calcul, au lieu de connaissances explicites. Chaque changement précédent troquait déjà des connaissances écrites par des personnes contre des données ; celui-ci troque la description même de la tâche contre davantage de texte et de calcul.
• Une frontière plus floue entre le traitement automatique de la langue natural language processing (NLP)traitement automatique de la langue (TAL) NLPTAL An interdisciplinary field that develops and studies computational methods for analyzing, processing, and generating human language.Domaine interdisciplinaire qui développe et étudie des méthodes computationnelles pour analyser, traiter et générer le langage humain. et le reste de l’IA. Le modèle qui étiquette des mots ou extrait des termes est le même qui écrit du code, décrit des images et agit en votre nom, et la langue est devenue l’interface de tout cela.

Une requête oriente un modèle sans le modifier, et dans certaines limites (see also the In-context learning chapter, in the LLM lifecycle module) (voir aussi le chapitre Apprentissage en contexte, dans le module Cycle de vie des GML).

Toujours de l’apprentissage profond

Tout ce qui valait pour le troisième paradigme vaut encore pour le quatrième :

• les régularités qu’il a apprises sont réparties sur des milliards de nombres que personne ne sait lire (see also the black box page) (voir aussi la page La boîte noire) ;
• tout ce qu’il fait vient de son texte d’entraînement, avec les lacunes et les penchants de ce texte (see also the Critical issues with LLMs module) (voir aussi le module Enjeux critiques des GML) ;
• les tâches qu’il réussit ou rate ne suivent pas ce qu’une personne trouve difficile, si bien que ses capacités doivent être testées ;
• les systèmes dédiés n’ont pas disparu : pour une tâche appliquée à des corpus entiers, rapidement et toujours de la même façon, un étiqueteur entraîné ou un extracteur de termes reste l’outil habituel (see also the Comparing term extraction methods page, in the Classical NLP module) (voir aussi la page Comparer les méthodes d'extraction de termes, dans le module TAL classique).

Sources

• Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., et al. (2020). Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems 33 (NeurIPS 2020). https://proceedings.neurips.cc/paper/2020/hash/1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html
• Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/