Ayla's learning materials Matériel pédagogique d'Ayla
Public

Ayla's learning materialsMatériel pédagogique d'Ayla

Foundations of AI & NLPFondements de l'IA et du TAL

The AI landscapeLe paysage de l'IA

PrintedImprimé le · aylart.github.io/learn · CC BY-NC 4.0

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée.

What counts as AI?Ce qu'on appelle « IA »

You already use AI every day, mostly without thinking of it that way. The spellchecker that underlines a typo, the search engine that completes your question after three letters, the machine translation machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. behind a foreign web page and the chatbot you ask to rephrase an email are all built on techniques from the same field.

This definition is deliberately broad, and broader than the science-fiction picture of machines that think like humans. It includes any computational approach to tasks associated with intelligence: recognizing patterns, making decisions, using language, solving problems. It says nothing about how the task is performed. A program following a few hundred hand-written rules and a system trained on half the internet both qualify, and the difference between those two ways of qualifying is the subject of the rest of this module.

The boundary of the field also moves. Chess programs were once the showpiece of AI research; today a chess engine on your phone beats any human and nobody calls it AI. Converting a scanned page to editable text was cutting-edge AI in the 1970s; it is now a routine feature of a phone camera. This pattern has a name, the “AI effect” (McCorduck, 2004): once a capability is understood and ordinary, it stops being seen as intelligence. Keep it in mind when you read that a tool “uses AI”. The phrase mostly signals that the capability is recent; it tells you almost nothing about what the tool actually does.

Three panels under an arrow labelled: what people call AI keeps moving. A greyed chess rook labelled chess programs, AI in the 1970s, ordinary software now. A greyed page of scanned text, AI in the 1980s, a phone feature now. A highlighted speech bubble with a robot face, chatbots, what AI mostly means today.
Figure 1. The boundary moves. Yesterday's showpieces became ordinary software, and the word followed the newest capability.

In everyday use today, “AI” refers primarily, though not exclusively, to large language models large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. (LLMs) and to tools with one inside: a chatbot, a writing assistant, a translation feature marketed as intelligent. In this module, I try to consistently use “LLM” when I mean large language models specifically, and “AI” when I mean this type of technology more broadly.

Sources

Vous utilisez déjà l’IA tous les jours, le plus souvent sans y penser. Le correcteur orthographique qui souligne une faute de frappe, le moteur de recherche qui complète votre question après trois lettres, la traduction automatique machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. derrière une page web en langue étrangère et l’agent conversationnel à qui vous demandez de reformuler un courriel reposent tous sur des techniques du même domaine.

Cette définition est volontairement large, plus large que l’image de science-fiction de machines qui pensent comme des humains. Elle englobe toute approche informatique de tâches associées à l’intelligence : reconnaître des motifs, prendre des décisions, employer la langue, résoudre des problèmes. Elle ne dit rien de la manière dont la tâche est accomplie. Un programme qui suit quelques centaines de règles écrites à la main et un système entraîné sur la moitié d’Internet répondent tous deux à la définition, et la différence entre ces deux façons d’y répondre fait l’objet du reste de ce module.

La frontière du domaine se déplace, elle aussi. Les programmes d’échecs ont été la vitrine de la recherche en IA ; aujourd’hui, un logiciel d’échecs sur votre téléphone bat n’importe quel humain et personne ne parle plus d’IA. Convertir une page numérisée en texte modifiable était de l’IA de pointe dans les années 1970 ; c’est devenu une fonction ordinaire d’un appareil photo de téléphone. Ce phénomène porte un nom, l’« effet IA » (McCorduck, 2004) : dès qu’une capacité est comprise et devenue courante, on cesse d’y voir de l’intelligence. Gardez-le en tête quand vous lisez qu’un outil « utilise l’IA ». L’expression signale surtout que la capacité est récente ; elle ne vous dit à peu près rien de ce que l’outil fait.

Trois panneaux sous une flèche intitulée : ce qu'on appelle l'IA se déplace sans cesse. Une tour d'échecs grisée, programmes d'échecs, l'IA des années 1970, un logiciel ordinaire. Une page de texte numérisé grisée, l'IA des années 1980, une fonction de téléphone. Une bulle de dialogue mise en évidence avec un visage de robot, agents conversationnels, ce que l'IA désigne surtout aujourd'hui.
Figure 1. La frontière se déplace. Les vitrines d'hier sont devenues des logiciels ordinaires, et le mot a suivi la capacité la plus récente.

Dans l’usage courant d’aujourd’hui, « IA » renvoie d’abord, sans s’y limiter, aux grands modèles de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. (GML) et aux outils qui en contiennent un : un agent conversationnel, un assistant de rédaction, une fonction de traduction présentée comme intelligente. Dans ce module, j’essaie d’employer systématiquement « GML » quand je parle des grands modèles de langue en particulier, et « IA » quand je parle de ce type de technologie plus largement.

Sources

The nested fieldsLes domaines emboîtés

Not everything called AI learns. A chess program from the 1980s played by rules its programmers wrote down; nothing in it changed with experience. The spam filter in your mailbox, by contrast, was shown thousands of examples of spam and ordinary mail and worked out the difference itself. Both are AI. Only the second is machine learning.

Within machine learning, one family of methods has come to dominate: neural networks neural network (NN)réseau de neurones (RNA) machine learningapprentissage automatique A machine-learning model composed of interconnected layers of small computational units.Modèle d'apprentissage automatique composé de couches interconnectées de petites unités de calcul. , systems built from layers of simple interconnected units, loosely inspired by the neurons of the brain. When a network stacks many such layers, the approach is called deep learning deep learning (DL)apprentissage profond machine learningapprentissage automatique An approach to machine learning based on neural networks with many successive layers of computing units.Approche de l'apprentissage automatique fondée sur des réseaux de neurones comportant de nombreuses couches successives d'unités de calcul. (LeCun et al., 2015); on this map, it is the innermost of the three regions. Both notions are defined properly where their mechanics are taught (see also the From neural networks to large language models chapter) (voir aussi le chapitre Des réseaux de neurones aux grands modèles de langue).

Nested diagram: artificial intelligence contains machine learning, which contains deep learning. A band for natural language processing crosses all three levels. Generative AI overlaps deep learning and machine learning and reaches slightly outside machine learning. Large language models sit where deep learning, generative AI and NLP overlap.
Figure 2. How the fields nest. AI is the broadest category; machine learning learns from data; deep learning uses many-layered neural networks. Natural language processing crosses all three levels, and large language models sit where deep learning, generative AI and NLP meet.

Where does language fit? Natural language processing natural language processing (NLP)traitement automatique de la langue (TAL) NLPTAL An interdisciplinary field that develops and studies computational methods for analyzing, processing, and generating human language.Domaine interdisciplinaire qui développe et étudie des méthodes computationnelles pour analyser, traiter et générer le langage humain. is defined by its object, not by its method, so it cuts across every level of the diagram: the earliest systems processed language with hand-written rules (AI without machine learning), later ones with statistical learning, and today’s systems predominantly with deep learning (see also the Four paradigms page) (voir aussi la page Quatre paradigmes). The remaining region of the diagram is generative AI generative AI (GenAI)intelligence artificielle générative (IAGén) AIIA An area of artificial intelligence concerned with systems that generate content such as text, code, images, audio, or video by learning patterns from training data and producing new outputs in response to input or prompts.Branche de l'intelligence artificielle qui s'intéresse aux systèmes générant du contenu, comme du texte, du code, des images, de l'audio ou de la vidéo, en apprenant des régularités dans les données d'entraînement et en produisant de nouvelles sorties en réponse à une entrée ou à une requête. and the large language models large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. inside it. A sliver of generative AI reaches outside machine learning: generation by hand-written rules exists too, and the earliest chatbots worked exactly that way.

Sources

  • International Organization for Standardization & International Electrotechnical Commission (2022). Information technology — Artificial intelligence — Artificial intelligence concepts and terminology (ISO/IEC 22989:2022). ISO/IEC. https://www.iso.org/standard/74296.html
  • Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
  • LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521(7553), 436–444. https://doi.org/10.1038/nature14539

Tout ce qu’on appelle IA n’apprend pas. Un programme d’échecs des années 1980 jouait selon des règles écrites par ses programmeurs ; rien en lui ne changeait avec l’expérience. Le filtre antipourriel de votre boîte de courriel, lui, a vu des milliers d’exemples de pourriels et de courriels ordinaires et a dégagé la différence tout seul. Les deux sont de l’IA. Seul le second est de l’apprentissage automatique.

Au sein de l’apprentissage automatique, une famille de méthodes s’est imposée : les réseaux de neurones neural network (NN)réseau de neurones (RNA) machine learningapprentissage automatique A machine-learning model composed of interconnected layers of small computational units.Modèle d'apprentissage automatique composé de couches interconnectées de petites unités de calcul. , des systèmes faits de couches d’unités simples interconnectées, vaguement inspirés des neurones du cerveau. Quand un réseau empile beaucoup de ces couches, on parle d’apprentissage profond deep learning (DL)apprentissage profond machine learningapprentissage automatique An approach to machine learning based on neural networks with many successive layers of computing units.Approche de l'apprentissage automatique fondée sur des réseaux de neurones comportant de nombreuses couches successives d'unités de calcul. (LeCun et al., 2015) ; sur cette carte, c’est la plus intérieure des trois régions. Les deux notions sont définies en détail là où leur fonctionnement est enseigné (see also the From neural networks to large language models chapter) (voir aussi le chapitre Des réseaux de neurones aux grands modèles de langue).

Schéma emboîté : l'intelligence artificielle contient l'apprentissage automatique, qui contient l'apprentissage profond. Une bande pour le traitement automatique de la langue traverse les trois niveaux. L'IA générative recouvre l'apprentissage profond et l'apprentissage automatique et déborde légèrement de ce dernier. Les grands modèles de langue se trouvent là où l'apprentissage profond, l'IA générative et le TAL se recoupent.
Figure 2. Comment les domaines s'emboîtent. L'IA est la catégorie la plus large ; l'apprentissage automatique apprend à partir de données ; l'apprentissage profond emploie des réseaux de neurones à plusieurs couches. Le traitement automatique de la langue traverse les trois niveaux, et les grands modèles de langue se trouvent au croisement de l'apprentissage profond, de l'IA générative et du TAL.

Où se situe la langue ? Le traitement automatique de la langue natural language processing (NLP)traitement automatique de la langue (TAL) NLPTAL An interdisciplinary field that develops and studies computational methods for analyzing, processing, and generating human language.Domaine interdisciplinaire qui développe et étudie des méthodes computationnelles pour analyser, traiter et générer le langage humain. se définit par son objet et non par sa méthode : il traverse donc tous les niveaux du schéma. Les premiers systèmes traitaient la langue avec des règles écrites à la main (de l’IA sans apprentissage automatique), les suivants avec de l’apprentissage statistique, et ceux d’aujourd’hui surtout avec de l’apprentissage profond (see also the Four paradigms page) (voir aussi la page Quatre paradigmes). La région qui reste sur le schéma est l’intelligence artificielle générative generative AI (GenAI)intelligence artificielle générative (IAGén) AIIA An area of artificial intelligence concerned with systems that generate content such as text, code, images, audio, or video by learning patterns from training data and producing new outputs in response to input or prompts.Branche de l'intelligence artificielle qui s'intéresse aux systèmes générant du contenu, comme du texte, du code, des images, de l'audio ou de la vidéo, en apprenant des régularités dans les données d'entraînement et en produisant de nouvelles sorties en réponse à une entrée ou à une requête. et les grands modèles de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. qu’elle contient. Une frange de l’IA générative déborde de l’apprentissage automatique : la génération par règles écrites à la main existe aussi, et les premiers agents conversationnels fonctionnaient exactement ainsi.

Sources

  • International Organization for Standardization & International Electrotechnical Commission (2022). Information technology — Artificial intelligence — Artificial intelligence concepts and terminology (ISO/IEC 22989:2022). ISO/IEC. https://www.iso.org/standard/74296.html
  • Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
  • LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521(7553), 436–444. https://doi.org/10.1038/nature14539

Generative AI and large language modelsL'IA générative et les grands modèles de langue

Most of the systems mentioned so far analyze something that already exists: is this email spam, what is the grammatical category of this word. The recent wave of public attention went to systems that produce something instead: text, images, music, code, video.

Two nuances in that definition matter. First, generation and machine learning are independent properties. The frustrating customer-service chatbots of the 2010s generated their replies from rules and templates, with no learning anywhere; today’s generative systems are almost all deep learning. Second, the category is older than the hype: machine translation machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. produces new text and is, by this definition, generative AI, decades before the term existed. And as with “AI” in general, the everyday meaning of “generative AI” has narrowed: it is now closely associated with large language models large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. (LLMs) specifically, the technology behind today’s chatbots.

Sources

  • Grobelnik, M., Perset, K., & Russell, S. (2024). What is AI? Can you make a clear distinction between AI and non-AI systems?. OECD.AI Policy Observatory. https://oecd.ai/en/wonk/definition
  • Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
  • Weizenbaum, J. (1966). ELIZA—a computer program for the study of natural language communication between man and machine. Communications of the ACM, 9(1), 36–45. https://doi.org/10.1145/365153.365168

La plupart des systèmes évoqués jusqu’ici analysent quelque chose qui existe déjà : ce courriel est-il un pourriel, quelle est la catégorie grammaticale de ce mot. La vague récente d’attention du public est allée à des systèmes qui produisent quelque chose : du texte, des images, de la musique, du code, de la vidéo.

Deux nuances de cette définition comptent. D’abord, la génération et l’apprentissage automatique sont des propriétés indépendantes. Les agents conversationnels de service à la clientèle des années 2010, si frustrants, produisaient leurs réponses à partir de règles et de gabarits, sans le moindre apprentissage ; les systèmes génératifs d’aujourd’hui relèvent presque tous de l’apprentissage profond. Ensuite, la catégorie est plus ancienne que l’engouement : la traduction automatique machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. produit du texte nouveau et relève, selon cette définition, de l’IA générative, des décennies avant l’apparition du terme. Et comme pour « IA » en général, le sens courant d’« IA générative » s’est resserré : il est aujourd’hui étroitement associé aux grands modèles de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. (GML) en particulier, la technologie derrière les agents conversationnels d’aujourd’hui.

Sources

  • Grobelnik, M., Perset, K., & Russell, S. (2024). What is AI? Can you make a clear distinction between AI and non-AI systems?. OECD.AI Policy Observatory. https://oecd.ai/en/wonk/definition
  • Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
  • Weizenbaum, J. (1966). ELIZA—a computer program for the study of natural language communication between man and machine. Communications of the ACM, 9(1), 36–45. https://doi.org/10.1145/365153.365168

NLP and its neighboursLe TAL et ses voisins

Machine translation, automatic subtitling, the summary a chatbot writes, grammar checking, the speech recognition that types what you dictate: the field behind all of these is natural language processing natural language processing (NLP)traitement automatique de la langue (TAL) NLPTAL An interdisciplinary field that develops and studies computational methods for analyzing, processing, and generating human language.Domaine interdisciplinaire qui développe et étudie des méthodes computationnelles pour analyser, traiter et générer le langage humain. (NLP), the computational processing of human language, whatever the method (see also the Classical NLP module) (voir aussi le module TAL classique).

In this context, three terms are used to describe more or less the same thing in different contexts. Computational linguistics leans toward the science, language studied by computational means; NLP leans toward the engineering; language technology names the applied, product-facing side. The emphasis differs more than the subject, and on this site I use the three more or less interchangeably. Speech processing and machine translation sit on the edge: sometimes counted inside these fields, sometimes as specialties beside them.

Three heavily overlapping rounded regions labelled computational linguistics (the science), natural language processing (the engineering) and language technology (the applications). Two dashed capsules, speech technology and machine translation, straddle the shared boundary, half inside and half outside.
Figure 4. Three names for largely the same territory; the emphasis differs more than the subject. Speech technology and machine translation are sometimes counted inside, sometimes beside.

Working between English and French adds one practical difficulty: the two languages abbreviate these names differently, and the abbreviations do not map letter for letter. NLP becomes TAL (traitement automatique de la langue), LLM becomes GML (grand modèle de langue), and machine translation’s MT becomes TA, while in French MT is a translation memory translation memory (TM)mémoire de traduction (MT) CAT toolsTAO A bilingual database of previously translated source segments and their corresponding target segments, which a translation-memory system searches to propose exact or similar matches for new source text.Base de données bilingue de segments source déjà traduits et de leurs segments cibles correspondants, dans laquelle un système de mémoire de traduction cherche des correspondances exactes ou similaires pour un nouveau texte source. (mémoire de traduction). The glossary carries the attested French term and abbreviation for every concept used on this site.

Sources

  • Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/

La traduction automatique, le sous-titrage automatique, le résumé qu’écrit un agent conversationnel, la correction grammaticale, la reconnaissance de la parole qui tape ce que vous dictez : le domaine derrière tout cela est le traitement automatique de la langue natural language processing (NLP)traitement automatique de la langue (TAL) NLPTAL An interdisciplinary field that develops and studies computational methods for analyzing, processing, and generating human language.Domaine interdisciplinaire qui développe et étudie des méthodes computationnelles pour analyser, traiter et générer le langage humain. (TAL), le traitement informatique de la langue humaine, quelle que soit la méthode (see also the Classical NLP module) (voir aussi le module TAL classique).

Dans ce contexte, trois termes servent à décrire plus ou moins la même chose dans des contextes différents. La linguistique informatique penche du côté de la science, la langue étudiée par des moyens informatiques ; le TAL penche du côté de l’ingénierie ; les technologies langagières désignent le versant appliqué, tourné vers le produit. L’accent diffère plus que l’objet, et sur ce site j’emploie les trois à peu près indifféremment. Le traitement de la parole et la traduction automatique se tiennent à la limite : tantôt comptés dans ces domaines, tantôt comme des spécialités à côté.

Trois régions arrondies qui se recouvrent largement, intitulées linguistique informatique (la science), traitement automatique de la langue (l'ingénierie) et technologies langagières (les applications). Deux capsules en pointillés, technologies de la parole et traduction automatique, chevauchent la frontière commune, moitié dedans, moitié dehors.
Figure 4. Trois noms pour à peu près le même territoire ; l'accent diffère plus que l'objet. Les technologies de la parole et la traduction automatique sont tantôt comptées dedans, tantôt à côté.

Travailler entre l’anglais et le français ajoute une difficulté pratique : les deux langues abrègent ces noms différemment, et les abréviations ne se correspondent pas lettre pour lettre. NLP devient TAL (traitement automatique de la langue), LLM devient GML (grand modèle de langue), et le MT de l’anglais machine translation devient TA, tandis qu’en français MT est une mémoire de traduction translation memory (TM)mémoire de traduction (MT) CAT toolsTAO A bilingual database of previously translated source segments and their corresponding target segments, which a translation-memory system searches to propose exact or similar matches for new source text.Base de données bilingue de segments source déjà traduits et de leurs segments cibles correspondants, dans laquelle un système de mémoire de traduction cherche des correspondances exactes ou similaires pour un nouveau texte source. . Le glossaire donne le terme français attesté et son abréviation pour chaque concept employé sur ce site.

Sources

  • Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/

Four paradigmsQuatre paradigmes

Four ways of building a system

Natural language processing as a field has changed a great deal over the past decades. The older approaches are still in use for some tasks, and some of the newer ones existed for a long time before they became popular, but in broad terms four big paradigms can be told apart, by the share of the work that people do and the share the machine learns. Figure 5figure 5 sets them out in the order they arrived, with the change each one brought.

  1. Rule-based systems rule-based systemsystème à base de règles AIIA A system whose behaviour is fixed by rules that people wrote, most often of the form "if this condition, then this action", so that every output can be traced to the rule that produced it.Système dont le comportement est fixé par des règles écrites par des personnes, le plus souvent de la forme « si cette condition, alors cette action », de sorte que chaque résultat peut être rapporté à la règle qui l'a produit. , from the start of the field in the 1950s (Jurafsky & Martin, 2026): people specify all the logic and all the knowledge, as rules the system applies (see also the Rule-based systems page) (voir aussi la page Les systèmes à base de règles).
  2. Machine learning machine learning (ML)apprentissage automatique machine learningapprentissage automatique An approach to artificial intelligence in which a model is trained on data or experience so that its adjustable parameters come to reflect patterns relevant to a task.Approche de l'intelligence artificielle dans laquelle un modèle est entraîné sur des données ou sur l'expérience, de sorte que ses paramètres ajustables en viennent à refléter des régularités pertinentes pour une tâche. , from the late 1980s on: people specify what to measure, the features, and the system learns the patterns from labelled examples; the paradigm is also called statistical or feature-based (see also the turn to machine learning page) (voir aussi la page Le virage vers l'apprentissage automatique).
  3. Deep learning deep learning (DL)apprentissage profond machine learningapprentissage automatique An approach to machine learning based on neural networks with many successive layers of computing units.Approche de l'apprentissage automatique fondée sur des réseaux de neurones comportant de nombreuses couches successives d'unités de calcul. , for language from about 2015 on: still machine learning, but the system learns the features too, directly from raw data, with neural networks neural network (NN)réseau de neurones (RNA) machine learningapprentissage automatique A machine-learning model composed of interconnected layers of small computational units.Modèle d'apprentissage automatique composé de couches interconnectées de petites unités de calcul. of many layers (LeCun et al., 2015) (see also the How a network learns page) (voir aussi la page Comment un réseau apprend).
  4. Large language models large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. , shown in 2020 and in general use since the end of 2022: still deep learning, but one model, trained once on vast amounts of text with no task in view, does many tasks it was never built for, and the task is specified at use time, in a prompt, by the person using it (see also the Large language models page) (voir aussi la page Les grands modèles de langue).
Four rows in time order, each with its date and the change it brought. Rule-based systems, from the 1950s: rules written by human experts; the system applies them. Machine learning, from the late 1980s: patterns learned from data; people choose the features to measure. Deep learning, for language from about 2015: features and patterns both learned from data. Large language models, shown in 2020 and everyday since late 2022: one general model for every task, given its task in a prompt, instead of a system built per task.
Figure 5. The four paradigms in the order they arrived, and the change each one brought.

Each paradigm is inside the one before it, the way the map of the fields nests them: machine learning is a kind of AI, deep learning a kind of machine learning, a large language model a kind of deep learning (see also the nested fields page) (voir aussi la page Les domaines emboîtés). Each is a paradigm of its own all the same, because the division of the work between people and the machine changed each time: first the patterns were learned, then the features, then the task itself no longer had to be built into the system.

Interpreting the evolution

  • Some strategies were available long before they became successful. Language models existed before ChatGPT made them popular (Brown et al., 2020), and neural networks existed long before the data and the computation they need to work well were available (see also the How a network learns page) (voir aussi la page Comment un réseau apprend).
  • Each paradigm shift means that a different methodology becomes more popular and more successful on some tasks, but all the previous methodologies remain in use. To this day, there are plenty of tasks for which rule-based methods remain the best solution. And though a new strategy performs better on some tasks, the shift often comes at the cost of control and transparency (Figure 6figure 6) (see also the black box page) (voir aussi la page La boîte noire), and with large requirements in data and computation.
Four pairs of bars, one pair per paradigm from rule-based to large language models. The filled bar, coverage and adaptability gained, rises from left to right; the outlined bar, control and transparency lost, falls. A note says the bars show a direction, not a measurement.
Figure 6. The gain and the loss at each step. The bars show a direction, not a measurement.

Sources

Quatre façons de construire un système

Le traitement automatique de la langue a beaucoup changé au fil des dernières décennies. Les approches les plus anciennes servent encore pour certaines tâches, et certaines des plus récentes ont existé longtemps avant de s’imposer, mais on distingue, à grands traits, quatre grands paradigmes, selon la part du travail que font les personnes et la part qu’apprend la machine. La Figure 5figure 5 les présente dans l’ordre de leur arrivée, avec le changement que chacun a apporté.

  1. Les systèmes à base de règles rule-based systemsystème à base de règles AIIA A system whose behaviour is fixed by rules that people wrote, most often of the form "if this condition, then this action", so that every output can be traced to the rule that produced it.Système dont le comportement est fixé par des règles écrites par des personnes, le plus souvent de la forme « si cette condition, alors cette action », de sorte que chaque résultat peut être rapporté à la règle qui l'a produit. , depuis les débuts du domaine dans les années 1950 (Jurafsky & Martin, 2026) : des personnes spécifient toute la logique et toutes les connaissances, sous forme de règles que le système applique (see also the Rule-based systems page) (voir aussi la page Les systèmes à base de règles).
  2. L’apprentissage automatique machine learning (ML)apprentissage automatique machine learningapprentissage automatique An approach to artificial intelligence in which a model is trained on data or experience so that its adjustable parameters come to reflect patterns relevant to a task.Approche de l'intelligence artificielle dans laquelle un modèle est entraîné sur des données ou sur l'expérience, de sorte que ses paramètres ajustables en viennent à refléter des régularités pertinentes pour une tâche. , depuis la fin des années 1980 : des personnes spécifient ce qu’il faut mesurer, les attributs, et le système apprend les régularités à partir d’exemples étiquetés ; on parle aussi d’apprentissage statistique ou fondé sur des attributs (see also the turn to machine learning page) (voir aussi la page Le virage vers l'apprentissage automatique).
  3. L’apprentissage profond deep learning (DL)apprentissage profond machine learningapprentissage automatique An approach to machine learning based on neural networks with many successive layers of computing units.Approche de l'apprentissage automatique fondée sur des réseaux de neurones comportant de nombreuses couches successives d'unités de calcul. , pour la langue depuis 2015 environ : toujours de l’apprentissage automatique, mais le système apprend aussi les attributs, directement à partir des données brutes, avec des réseaux de neurones neural network (NN)réseau de neurones (RNA) machine learningapprentissage automatique A machine-learning model composed of interconnected layers of small computational units.Modèle d'apprentissage automatique composé de couches interconnectées de petites unités de calcul. à plusieurs couches (LeCun et al., 2015) (see also the How a network learns page) (voir aussi la page Comment un réseau apprend).
  4. Les grands modèles de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. , démontrés en 2020 et d’usage courant depuis la fin de 2022 : toujours de l’apprentissage profond, mais un seul modèle, entraîné une fois sur d’immenses quantités de texte sans tâche en vue, accomplit de nombreuses tâches pour lesquelles il n’a jamais été construit, et la tâche est spécifiée au moment de l’utilisation, dans une requête, par la personne qui s’en sert (see also the Large language models page) (voir aussi la page Les grands modèles de langue).
Quatre rangées dans l'ordre chronologique, chacune avec sa date et le changement qu'elle a apporté. Systèmes à base de règles, depuis les années 1950 : des règles écrites par des experts humains, que le système applique. Apprentissage automatique, depuis la fin des années 1980 : des régularités apprises à partir de données, des personnes choisissant les attributs à mesurer. Apprentissage profond, pour la langue depuis 2015 environ : les attributs et les régularités appris à partir de données. Grands modèles de langue, démontrés en 2020 et d'usage courant depuis la fin de 2022 : un seul modèle général pour toutes les tâches, qui reçoit sa tâche dans une requête, au lieu d'un système construit par tâche.
Figure 5. Les quatre paradigmes dans l'ordre de leur arrivée, et le changement que chacun a apporté.

Chaque paradigme s’inscrit dans le précédent, comme s’emboîtent les domaines sur la carte : l’apprentissage automatique est une forme d’IA, l’apprentissage profond une forme d’apprentissage automatique, un grand modèle de langue une forme d’apprentissage profond (see also the nested fields page) (voir aussi la page Les domaines emboîtés). Chacun n’en est pas moins un paradigme à part entière, parce que le partage du travail entre les personnes et la machine a changé à chaque fois : d’abord les régularités ont été apprises, puis les attributs, puis la tâche elle-même n’a plus eu à être construite dans le système.

Interpréter l’évolution

  • Certaines stratégies étaient disponibles bien avant de s’imposer. Les modèles de langue existaient avant que ChatGPT ne les rende populaires (Brown et al., 2020), et les réseaux de neurones ont existé longtemps avant que les données et la puissance de calcul dont ils ont besoin pour bien fonctionner ne soient disponibles (see also the How a network learns page) (voir aussi la page Comment un réseau apprend).
  • Chaque changement de paradigme signifie qu’une méthodologie différente devient plus populaire et plus performante pour certaines tâches, mais toutes les méthodologies précédentes restent en usage. Aujourd’hui encore, pour bien des tâches, les méthodes à base de règles restent la meilleure solution. Et même si une nouvelle stratégie fait mieux pour certaines tâches, le changement se paie souvent en contrôle et en transparence (Figure 6figure 6) (see also the black box page) (voir aussi la page La boîte noire), et il exige beaucoup de données et de calcul.
Quatre paires de barres, une paire par paradigme, des systèmes à base de règles aux grands modèles de langue. La barre pleine, couverture et adaptabilité gagnées, monte de gauche à droite ; la barre vide, contrôle et transparence perdus, descend. Une note précise que les barres indiquent une direction, non une mesure.
Figure 6. Le gain et la perte à chaque étape. Les barres indiquent une direction, non une mesure.

Sources

Spotted an error? Une erreur ?

Language, content, a broken link: e-mail me what you saw and I will fix it. Langue, contenu, lien brisé : écrivez-moi ce que vous avez vu et je corrige.

ayla.rigouts.terryn@umontreal.ca

Please mention the page: Mentionnez la page :