From neural networks to large language modelsDes réseaux de neurones aux grands modèles de langue

The systems behind much of today’s language technology, including almost all machine translation systems and chatbots with which you will interact, are neural networks. The name suggests something brain-like, and the inspiration is real, but loose: there are some similarities between artificial neural networks and natural neural networks like our brain, but this does not go beyond the very basics.

Each unit, called a neuron, is a small mathematical function. It receives numbers from the units connected to it, combines them, and passes a number on. Every connection has a strength, called a weight weightpoids machine learningapprentissage automatique A real number attached to one input of a computing unit, learned during training, that sets how much that input counts towards the unit's output.Nombre réel attaché à une entrée d'une unité de calcul, appris pendant l'entraînement, qui détermine l'importance de cette entrée dans la sortie de l'unité. , and those weights, the network’s parameters parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. , are what training adjusts: a stronger connection means one unit’s output matters more to the next.

The units are organized in layers. An input layer takes in the raw data as numbers; one or more hidden layers transform it, step by step; an output layer produces the answer, for example one value per possible category. When there are many hidden layers, the network is called deep, which is all that the “deep” in deep learning means (LeCun et al., 2015).

Depth is what lets a network build complex patterns out of simple ones. Early layers pick up simple regularities in the raw input; later layers combine those into larger ones. In image recognition, the classic illustration, first edges, then shapes, then faces. For text the same principle applies, with one catch: a network’s input layer takes numbers, so using one for language requires a way to encode language as numbers (see also the Language as numbers module) (voir aussi le module Le langage en nombres).

Sources

• Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. https://www.deeplearningbook.org/
• LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521(7553), 436–444. https://doi.org/10.1038/nature14539

Les systèmes derrière une bonne partie des technologies langagières d’aujourd’hui, dont la quasi-totalité des systèmes de traduction automatique et des agents conversationnels avec lesquels vous interagirez, sont des réseaux de neurones. Le nom évoque quelque chose de cérébral, et l’inspiration est réelle, mais lâche : il existe certaines ressemblances entre les réseaux de neurones artificiels et les réseaux de neurones naturels comme notre cerveau, mais cela ne va pas au-delà des bases.

Chaque unité, appelée neurone, est une petite fonction mathématique. Elle reçoit des nombres des unités qui lui sont reliées, les combine et transmet un nombre. Chaque connexion a une force, appelée poids weightpoids machine learningapprentissage automatique A real number attached to one input of a computing unit, learned during training, that sets how much that input counts towards the unit's output.Nombre réel attaché à une entrée d'une unité de calcul, appris pendant l'entraînement, qui détermine l'importance de cette entrée dans la sortie de l'unité. , et ces poids, les paramètres parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. du réseau, sont ce que l’entraînement ajuste : une connexion plus forte veut dire que la sortie d’une unité compte davantage pour la suivante.

Les unités sont organisées en couches. Une couche d’entrée reçoit les données brutes sous forme de nombres ; une ou plusieurs couches cachées les transforment, étape par étape ; une couche de sortie produit la réponse, par exemple une valeur par catégorie possible. Quand il y a beaucoup de couches cachées, on dit que le réseau est profond, et c’est tout ce que veut dire le « profond » d’apprentissage profond (LeCun et al., 2015).

C’est la profondeur qui permet à un réseau de construire des motifs complexes à partir de motifs simples. Les premières couches relèvent des régularités simples dans l’entrée brute ; les couches suivantes les combinent en motifs plus grands. En reconnaissance d’images, l’illustration classique, d’abord des contours, puis des formes, puis des visages. Pour le texte, le même principe s’applique, avec une réserve : la couche d’entrée d’un réseau reçoit des nombres, donc utiliser un réseau pour la langue demande une façon d’encoder la langue en nombres (see also the Language as numbers module) (voir aussi le module Le langage en nombres).

Sources

• Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. https://www.deeplearningbook.org/
• LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521(7553), 436–444. https://doi.org/10.1038/nature14539

A toy example

Suppose we want a network that tells diamonds, squares and circles apart.Shapes are a toy task, chosen for its simplicity and easy visualization. A real network chooses among far more classes, and its input is rarely anything as tidy as a drawn shape. The loop is the same either way, which is what lets the example be this small. That already fixes the shape of its output layer: one unit per category, one for square, one for circle, one for diamond. Their scores are turned into percentages that add up to 100, so the three answers compete, and raising one lowers the others.

A network answers in probabilities from the start. Untrained, they are essentially random. Given a picture of a diamond and asked what shape it is, the answer might be something like: square 40%, circle 35%, diamond 25%. Early in training they can be confidently wrong instead: square 80%, circle 10%, diamond 10%. The network is then told the right answer, and the predict-compare-adjust loop of supervised learning reappears in its neural form (see also the From rules to machine learning chapter) (voir aussi le chapitre Des règles à l'apprentissage automatique): the error flows backward through the network, and the connections that pushed toward square are weakened, the ones that pushed toward diamond strengthened.

Millions of small adjustments

Adjustment is not reserved for mistakes. A network nudges its connections on every example, including the ones it already gets right; the nudge simply gets smaller as the prediction moves closer to the label. One example changes little. Millions of examples, each nudging millions of parameters parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. , add up to a system whose predictions are sharp. Nothing else in the network changes during training: the architecture, the layers and the connections stay as designed. Learning is entirely a matter of adjusting the strengths.

The difference from a feature-based model

The decisive difference from a feature-based model is what the network learns from. A feature-based model needed a human to decide that suffixes and capitalization matter. A neural network takes raw data (e.g., pixels of an image, or numerical representations of words), and finds its own regularities in it, including ones no human would have thought to specify. The features are learned, and feature engineering disappears. The human work does not disappear with it: choosing and encoding features used to be most of the effort of building a system, and the effort now goes into collecting the data, defining the task and designing the network.

Why it took until the 2010s

Nothing about the idea is new: the underlying design goes back to the perceptron of the 1950s (Rosenblatt, 1958), the first model that could learn its own weights weightpoids machine learningapprentissage automatique A real number attached to one input of a computing unit, learned during training, that sets how much that input counts towards the unit's output.Nombre réel attaché à une entrée d'une unité de calcul, appris pendant l'entraînement, qui détermine l'importance de cette entrée dans la sortie de l'unité. from labelled examples (Goodfellow et al., 2016). In the 2010s, its two main requirements could finally be fulfilled. Learning features from raw data takes far more examples than learning weights for a few hand-picked features, and processing them takes enormous computation. Large collections of digital text and images supplied the first; graphics processors, built to render games, turned out to suit the calculations and supplied the second. With both in place, deep networks moved the state of the art in speech recognition, image recognition and object detection, and in fields as far from language as drug discovery (LeCun et al., 2015).

Sources

• Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. https://www.deeplearningbook.org/
• LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521(7553), 436–444. https://doi.org/10.1038/nature14539
• Rosenblatt, F. (1958). The perceptron: A probabilistic model for information storage and organization in the brain. Psychological Review, 65(6), 386-408. https://doi.org/10.1037/h0042519

Un exemple jouet

Supposons que nous voulions un réseau qui distingue les losanges, les carrés et les cercles.Les formes sont une tâche jouet, choisie pour sa simplicité et sa facilité de visualisation. Un vrai réseau choisit parmi beaucoup plus de catégories, et son entrée est rarement aussi nette qu’une forme dessinée. La boucle est la même dans les deux cas, et c’est ce qui permet à l’exemple d’être aussi petit. Cela fixe déjà la forme de sa couche de sortie : une unité par catégorie, une pour carré, une pour cercle, une pour losange. Leurs scores sont transformés en pourcentages dont la somme fait 100, si bien que les trois réponses sont en concurrence : en faire monter une fait descendre les autres.

Un réseau répond en probabilités dès le départ. Sans entraînement, elles sont essentiellement aléatoires. Si on lui montre l’image d’un losange en lui demandant de quelle forme il s’agit, la réponse pourrait ressembler à ceci : carré 40 %, cercle 35 %, losange 25 %. Tôt dans l’entraînement, elles peuvent au contraire être fausses avec assurance : carré 80 %, cercle 10 %, losange 10 %. On donne ensuite la bonne réponse au réseau, et la boucle prédire, comparer, ajuster de l’apprentissage supervisé reparaît sous sa forme neuronale (see also the From rules to machine learning chapter) (voir aussi le chapitre Des règles à l'apprentissage automatique) : l’erreur remonte à travers le réseau, les connexions qui poussaient vers carré sont affaiblies, celles qui poussaient vers losange renforcées.

Des millions de petits ajustements

L’ajustement n’est pas réservé aux erreurs. Un réseau retouche ses connexions à chaque exemple, y compris ceux qu’il réussit déjà ; la retouche devient simplement plus petite à mesure que la prédiction se rapproche de l’étiquette. Un exemple change peu de chose. Des millions d’exemples, retouchant chacun des millions de paramètres parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. , produisent un système dont les prédictions sont nettes. Rien d’autre ne change dans le réseau pendant l’entraînement : l’architecture, les couches et les connexions restent telles qu’elles ont été conçues. Apprendre revient entièrement à ajuster les forces.

La différence avec un modèle fondé sur des attributs

La différence décisive avec un modèle fondé sur des attributs tient à ce à partir de quoi le réseau apprend. Un tel modèle demandait à une personne de décider que les suffixes et les majuscules comptent. Un réseau de neurones prend des données brutes (p. ex. les pixels d’une image, ou des représentations numériques de mots) et y trouve ses propres régularités, y compris celles que personne n’aurait pensé à préciser. Les attributs sont appris, et l’ingénierie des attributs disparaît. Le travail humain ne disparaît pas pour autant : choisir et encoder les attributs constituait l’essentiel de l’effort de construction d’un système, et l’effort va désormais à la collecte des données, à la définition de la tâche et à la conception du réseau.

Pourquoi il a fallu attendre les années 2010

L’idée n’a rien de neuf : la conception de fond remonte au perceptron des années 1950 (Rosenblatt, 1958), le premier modèle capable d’apprendre lui-même ses poids weightpoids machine learningapprentissage automatique A real number attached to one input of a computing unit, learned during training, that sets how much that input counts towards the unit's output.Nombre réel attaché à une entrée d'une unité de calcul, appris pendant l'entraînement, qui détermine l'importance de cette entrée dans la sortie de l'unité. à partir d’exemples étiquetés (Goodfellow et al., 2016). Dans les années 2010, ses deux exigences principales ont enfin pu être satisfaites. Apprendre des attributs à partir de données brutes demande beaucoup plus d’exemples qu’apprendre des poids pour quelques attributs choisis à la main, et les traiter demande énormément de calcul. De grandes collections de textes et d’images numériques ont fourni la première ; les processeurs graphiques, conçus pour le rendu des jeux, se sont trouvés adaptés à ces calculs et ont fourni la seconde. Les deux réunies, les réseaux profonds ont fait progresser l’état de l’art en reconnaissance de la parole, en reconnaissance d’images et en détection d’objets, et dans des domaines aussi éloignés de la langue que la découverte de médicaments (LeCun et al., 2015).

Sources

• Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. https://www.deeplearningbook.org/
• LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521(7553), 436–444. https://doi.org/10.1038/nature14539
• Rosenblatt, F. (1958). The perceptron: A probabilistic model for information storage and organization in the brain. Psychological Review, 65(6), 386-408. https://doi.org/10.1037/h0042519

With a rule-based system rule-based systemsystème à base de règles AIIA A system whose behaviour is fixed by rules that people wrote, most often of the form "if this condition, then this action", so that every output can be traced to the rule that produced it.Système dont le comportement est fixé par des règles écrites par des personnes, le plus souvent de la forme « si cette condition, alors cette action », de sorte que chaque résultat peut être rapporté à la règle qui l'a produit. you can always find out why an output came out as it did: some rule was triggered, and that rule can be read, disagreed with and changed. In a trained neural network there is nothing to read. Its behaviour is stored as millions of numerical connection weights weightpoids machine learningapprentissage automatique A real number attached to one input of a computing unit, learned during training, that sets how much that input counts towards the unit's output.Nombre réel attaché à une entrée d'une unité de calcul, appris pendant l'entraînement, qui détermine l'importance de cette entrée dans la sortie de l'unité. , learnt from data, and no single one of them means anything on its own. The mathematics of every step is known exactly; what the steps collectively do is not stated anywhere in a form a person can check.

Statistical systems are a sort of middle ground: their rules are learnt from data rather than written by hand, but stay more or less readable (see also the Four paradigms page) (voir aussi la page Quatre paradigmes). How readable depends on the algorithm: a decision tree can be printed and followed, while the weights of a support vector machine with a non-linear kernel cannot be read that way.

This is what people mean when they call neural networks black boxes, and it is a property of the approach rather than a defect to be patched later. The power of the method comes from letting the system find regularities too numerous and too diffuse for anyone to write down; a representation humans could read would be a representation humans could have written.

Four consequences follow for anyone who works with these systems:

• Errors cannot be fixed the way a rule is fixed. There is no line to correct. Improving a network means changing its training data training setjeu de données d'entraînement machine learningapprentissage automatique The portion of a dataset used to train a machine-learning model.Portion d'un jeu de données servant à entraîner un modèle d'apprentissage automatique. , training it further, or changing its architecture and training again, and any of these can shift its behaviour elsewhere in ways nobody chose.
• Behaviour is discovered by testing, not by inspection. The only way to know how a system handles legal text, or Québécois French, is to try it on legal text and Québécois French, which is why evaluation is a professional skill in its own right (see also the Evaluating language technology module) (voir aussi le module L'évaluation des technologies langagières).
• The same input need not give the same output. A classifier is deterministic deterministicdéterministe computinginformatique Describes a process, algorithm, or system that, under the same initial conditions and with the same input, always produces the same output.Se dit d'un processus, d'un algorithme ou d'un système qui, dans les mêmes conditions initiales et avec la même entrée, produit toujours la même sortie. : the same email gives the same verdict every time. A system that generates text often is not, because choosing each next word can involve randomness, and one run then differs from the next. A single trial is evidence about that run, not about the system.
• Confidence is not self-knowledge. A network reports probabilities, and they measure how its training data looked, never how much it “knows” (see also the Critical issues with LLMs module) (voir aussi le module Enjeux critiques des GML).

Sources

• Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. https://www.deeplearningbook.org/
• Rudin, C. (2019). Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead. Nature Machine Intelligence, 1(5), 206-215. https://doi.org/10.1038/s42256-019-0048-x

Avec un système à base de règles rule-based systemsystème à base de règles AIIA A system whose behaviour is fixed by rules that people wrote, most often of the form "if this condition, then this action", so that every output can be traced to the rule that produced it.Système dont le comportement est fixé par des règles écrites par des personnes, le plus souvent de la forme « si cette condition, alors cette action », de sorte que chaque résultat peut être rapporté à la règle qui l'a produit. , on peut toujours savoir pourquoi une sortie est celle qu’elle est : une règle a été déclenchée, et cette règle peut être lue, contestée et modifiée. Dans un réseau de neurones entraîné, il n’y a rien à lire. Son comportement est stocké sous forme de millions de poids weightpoids machine learningapprentissage automatique A real number attached to one input of a computing unit, learned during training, that sets how much that input counts towards the unit's output.Nombre réel attaché à une entrée d'une unité de calcul, appris pendant l'entraînement, qui détermine l'importance de cette entrée dans la sortie de l'unité. de connexion numériques, appris des données, et aucun d’eux ne veut rien dire à lui seul. Les mathématiques de chaque étape sont connues exactement ; ce que les étapes font ensemble n’est écrit nulle part sous une forme vérifiable par une personne.

Les systèmes statistiques sont une sorte de moyen terme : leurs règles sont apprises à partir de données plutôt qu’écrites à la main, mais restent plus ou moins lisibles (see also the Four paradigms page) (voir aussi la page Quatre paradigmes). Le degré de lisibilité dépend de l’algorithme : un arbre de décision peut être imprimé et suivi, alors que les poids d’une machine à vecteurs de support à noyau non linéaire ne se lisent pas ainsi.

C’est ce qu’on veut dire en appelant les réseaux de neurones des boîtes noires, et c’est une propriété de l’approche plutôt qu’un défaut à corriger plus tard. La puissance de la méthode vient de ce qu’on laisse le système trouver des régularités trop nombreuses et trop diffuses pour que quiconque les écrive ; une représentation lisible par des humains serait une représentation que des humains auraient pu écrire.

Quatre conséquences en découlent pour qui travaille avec ces systèmes :

• Les erreurs ne se corrigent pas comme on corrige une règle. Il n’y a pas de ligne à reprendre. Améliorer un réseau veut dire changer ses données d’entraînement training setjeu de données d'entraînement machine learningapprentissage automatique The portion of a dataset used to train a machine-learning model.Portion d'un jeu de données servant à entraîner un modèle d'apprentissage automatique. , l’entraîner davantage, ou changer son architecture et l’entraîner de nouveau, et chacune de ces voies peut déplacer son comportement ailleurs d’une façon que personne n’a choisie.
• Le comportement se découvre en testant, pas en inspectant. La seule façon de savoir comment un système traite un texte juridique, ou du français québécois, est de l’essayer sur un texte juridique et sur du français québécois, et c’est pourquoi l’évaluation est une compétence professionnelle à part entière (see also the Evaluating language technology module) (voir aussi le module L'évaluation des technologies langagières).
• La même entrée ne donne pas forcément la même sortie. Un classifieur est déterministe deterministicdéterministe computinginformatique Describes a process, algorithm, or system that, under the same initial conditions and with the same input, always produces the same output.Se dit d'un processus, d'un algorithme ou d'un système qui, dans les mêmes conditions initiales et avec la même entrée, produit toujours la même sortie.  : le même courriel reçoit le même verdict chaque fois. Un système qui génère du texte ne l’est souvent pas, parce que le choix de chaque mot suivant peut comporter une part de hasard, et une exécution diffère alors de la suivante. Un seul essai renseigne sur cet essai, pas sur le système.
• L’assurance n’est pas de la connaissance de soi. Un réseau donne des probabilités, et elles mesurent à quoi ressemblaient ses données d’entraînement, jamais ce qu’il « sait » (see also the Critical issues with LLMs module) (voir aussi le module Enjeux critiques des GML).

Sources

• Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. https://www.deeplearningbook.org/
• Rudin, C. (2019). Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead. Nature Machine Intelligence, 1(5), 206-215. https://doi.org/10.1038/s42256-019-0048-x

One model, many tasks

Every system of the first three paradigms was built for one task: a spam filter sorts email, a tagger labels words with their grammatical class, and the next system means starting again, with new rules, new features or new labelled data. A large language model is a neural network neural network (NN)réseau de neurones (RNA) machine learningapprentissage automatique A machine-learning model composed of interconnected layers of small computational units.Modèle d'apprentissage automatique composé de couches interconnectées de petites unités de calcul. of the kind this chapter describes, trained from examples like the second and third paradigms, except that the examples are plain text and the task is to predict the next word (Jurafsky & Martin, 2026). Nothing in that training names a task, and once trained, the same model translates, summarizes, lists the terms in a text or labels its words, when the request is written to it in a prompt (Brown et al., 2020). Figure 6figure 6 sets the two arrangements side by side.

Decreasing human influence

Each shift took one thing out of the developer’s hands, as the table below sets out, and the last took the largest: the task itself, which passes to the person using the model.

Shift	No longer specified by the developer	Still specified by people
Rules to machine learning	the patterns	the task and the features, by the developer, before training
Machine learning to deep learning	the features featureattribut machine learningapprentissage automatique A property or representation of an observation that a machine-learning model uses as input when making a prediction.Propriété ou représentation d'une observation qu'un modèle d'apprentissage automatique utilise en entrée pour produire une prédiction.	the task and its data, by the developer, before training
Deep learning to large language models	the task	the task, by the person using the model, in a prompt

A large language model is, technically, deep learning. Four things make it a paradigm of its own all the same, rather than a step inside the third:

• One general system instead of a system per task. The line is not absolute, since a model can be fine-tuned fine-tuningaffinage machine learningapprentissage automatique Further training of a pretrained model on new data to adapt it for a particular task, domain, or intended behaviour.Poursuite de l'entraînement d'un modèle préentraîné sur un jeu de données généralement plus restreint et spécialisé, afin de l'adapter à une tâche ou à un domaine particulier. for one task or one context (see also the Fine-tuning chapter, in the LLM lifecycle module) (voir aussi le chapitre Affinage, dans le module Cycle de vie des GML) and dedicated systems are built on top of models, but its capabilities are far broader than those of any earlier system, and a prompt alone reaches most of them.
• A far simpler interface, so far less specialized users. A prompt is ordinary text rather than a program, so the person who describes the job is often the person who used to be a user of someone else’s system. The line between building a system and using one has moved.
• An even larger appetite for data and computation, in place of explicit knowledge. Each earlier shift already traded knowledge written by people for data; this one trades the task description itself for more text and more computation.
• A blurrier line between natural language processing natural language processing (NLP)traitement automatique de la langue (TAL) NLPTAL An interdisciplinary field that develops and studies computational methods for analyzing, processing, and generating human language.Domaine interdisciplinaire qui développe et étudie des méthodes computationnelles pour analyser, traiter et générer le langage humain. and the rest of AI. The model that labels words or extracts terms is the same one that writes code, describes images and acts on your behalf, and language has become the interface to all of it.

A prompt steers a model without changing it, and within limits (see also the In-context learning chapter, in the LLM lifecycle module) (voir aussi le chapitre Apprentissage en contexte, dans le module Cycle de vie des GML).

Still deep learning

Everything that was true of the third paradigm is still true of the fourth:

• the patterns it learned are spread over billions of numbers nobody can read (see also the black box page) (voir aussi la page La boîte noire);
• everything it does comes from its training text, with that text’s gaps and leanings (see also the Critical issues with LLMs module) (voir aussi le module Enjeux critiques des GML);
• the tasks it does well and badly do not follow what a person finds hard, so its abilities have to be tested;
• the dedicated systems have not disappeared: for a task run on whole corpora, fast and the same way every time, a trained tagger or a term extractor is still the usual tool (see also the Comparing term extraction methods page, in the Classical NLP module) (voir aussi la page Comparer les méthodes d'extraction de termes, dans le module TAL classique).

Sources

• Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., et al. (2020). Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems 33 (NeurIPS 2020). https://proceedings.neurips.cc/paper/2020/hash/1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html
• Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/

Un seul modèle, de nombreuses tâches

Chaque système des trois premiers paradigmes était construit pour une tâche : un filtre antipourriel trie les courriels, un étiqueteur attribue à chaque mot sa classe grammaticale, et le système suivant oblige à repartir de zéro, avec de nouvelles règles, de nouveaux attributs ou de nouvelles données étiquetées. Un grand modèle de langue est un réseau de neurones neural network (NN)réseau de neurones (RNA) machine learningapprentissage automatique A machine-learning model composed of interconnected layers of small computational units.Modèle d'apprentissage automatique composé de couches interconnectées de petites unités de calcul. du type que décrit ce chapitre, entraîné à partir d’exemples comme dans les deuxième et troisième paradigmes, à ceci près que les exemples sont du texte brut et que la tâche consiste à prédire le mot suivant (Jurafsky & Martin, 2026). Rien dans cet entraînement ne nomme une tâche, et une fois entraîné, le même modèle traduit, résume, dresse la liste des termes d’un texte ou en étiquette les mots, quand la demande lui est rédigée dans une requête (Brown et al., 2020). La Figure 6figure 6 compare les deux façons de faire.

Une influence humaine qui diminue

Chaque changement a retiré une chose des mains du développeur, comme le montre le tableau ci-dessous, et le dernier a retiré la plus importante : la tâche elle-même, qui passe à la personne qui se sert du modèle.

Changement	N’est plus spécifié par le développeur	Reste spécifié par des personnes
Des règles à l’apprentissage automatique	les régularités	la tâche et les attributs, par le développeur, avant l’entraînement
De l’apprentissage automatique à l’apprentissage profond	les attributs featureattribut machine learningapprentissage automatique A property or representation of an observation that a machine-learning model uses as input when making a prediction.Propriété ou représentation d'une observation qu'un modèle d'apprentissage automatique utilise en entrée pour produire une prédiction.	la tâche et ses données, par le développeur, avant l’entraînement
De l’apprentissage profond aux grands modèles de langue	la tâche	la tâche, par la personne qui se sert du modèle, dans une requête

Un grand modèle de langue relève, techniquement, de l’apprentissage profond. Quatre choses en font pourtant un paradigme à part entière, plutôt qu’une étape à l’intérieur du troisième :

• Un seul système général au lieu d’un système par tâche. La frontière n’est pas absolue, puisqu’un modèle peut être affiné fine-tuningaffinage machine learningapprentissage automatique Further training of a pretrained model on new data to adapt it for a particular task, domain, or intended behaviour.Poursuite de l'entraînement d'un modèle préentraîné sur un jeu de données généralement plus restreint et spécialisé, afin de l'adapter à une tâche ou à un domaine particulier. pour une tâche ou un contexte (see also the Fine-tuning chapter, in the LLM lifecycle module) (voir aussi le chapitre Affinage, dans le module Cycle de vie des GML) et que des systèmes dédiés sont construits à partir de modèles, mais ses capacités sont bien plus larges que celles de tout système antérieur, et une requête suffit à en atteindre la plupart.
• Une interface bien plus simple, donc des utilisateurs bien moins spécialisés. Une requête est du texte ordinaire et non un programme, si bien que la personne qui décrit la tâche est souvent celle qui, auparavant, se servait du système de quelqu’un d’autre. La frontière entre construire un système et s’en servir s’est déplacée.
• Un appétit encore plus grand pour les données et le calcul, au lieu de connaissances explicites. Chaque changement précédent troquait déjà des connaissances écrites par des personnes contre des données ; celui-ci troque la description même de la tâche contre davantage de texte et de calcul.
• Une frontière plus floue entre le traitement automatique de la langue natural language processing (NLP)traitement automatique de la langue (TAL) NLPTAL An interdisciplinary field that develops and studies computational methods for analyzing, processing, and generating human language.Domaine interdisciplinaire qui développe et étudie des méthodes computationnelles pour analyser, traiter et générer le langage humain. et le reste de l’IA. Le modèle qui étiquette des mots ou extrait des termes est le même qui écrit du code, décrit des images et agit en votre nom, et la langue est devenue l’interface de tout cela.

Une requête oriente un modèle sans le modifier, et dans certaines limites (see also the In-context learning chapter, in the LLM lifecycle module) (voir aussi le chapitre Apprentissage en contexte, dans le module Cycle de vie des GML).

Toujours de l’apprentissage profond

Tout ce qui valait pour le troisième paradigme vaut encore pour le quatrième :

• les régularités qu’il a apprises sont réparties sur des milliards de nombres que personne ne sait lire (see also the black box page) (voir aussi la page La boîte noire) ;
• tout ce qu’il fait vient de son texte d’entraînement, avec les lacunes et les penchants de ce texte (see also the Critical issues with LLMs module) (voir aussi le module Enjeux critiques des GML) ;
• les tâches qu’il réussit ou rate ne suivent pas ce qu’une personne trouve difficile, si bien que ses capacités doivent être testées ;
• les systèmes dédiés n’ont pas disparu : pour une tâche appliquée à des corpus entiers, rapidement et toujours de la même façon, un étiqueteur entraîné ou un extracteur de termes reste l’outil habituel (see also the Comparing term extraction methods page, in the Classical NLP module) (voir aussi la page Comparer les méthodes d'extraction de termes, dans le module TAL classique).

Sources

• Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., et al. (2020). Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems 33 (NeurIPS 2020). https://proceedings.neurips.cc/paper/2020/hash/1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html
• Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/