Four paradigmsQuatre paradigmes

TRA2600 S5 · in classS5 · en classe

TRA6008 OptionalFacultatif

Four ways of building a system

Natural language processing as a field has changed a great deal over the past decades. The older approaches are still in use for some tasks, and some of the newer ones existed for a long time before they became popular, but in broad terms four big paradigms can be told apart, by the share of the work that people do and the share the machine learns. Figure 5figure 5 sets them out in the order they arrived, with the change each one brought.

1. Rule-based systems rule-based systemsystème à base de règles AIIA A system whose behaviour is fixed by rules that people wrote, most often of the form "if this condition, then this action", so that every output can be traced to the rule that produced it.Système dont le comportement est fixé par des règles écrites par des personnes, le plus souvent de la forme « si cette condition, alors cette action », de sorte que chaque résultat peut être rapporté à la règle qui l'a produit. , from the start of the field in the 1950s (Jurafsky & Martin, 2026): people specify all the logic and all the knowledge, as rules the system applies (see also the Rule-based systems page) (voir aussi la page Les systèmes à base de règles).
2. Machine learning machine learning (ML)apprentissage automatique machine learningapprentissage automatique An approach to artificial intelligence in which a model is trained on data or experience so that its adjustable parameters come to reflect patterns relevant to a task.Approche de l'intelligence artificielle dans laquelle un modèle est entraîné sur des données ou sur l'expérience, de sorte que ses paramètres ajustables en viennent à refléter des régularités pertinentes pour une tâche. , from the late 1980s on: people specify what to measure, the features, and the system learns the patterns from labelled examples; the paradigm is also called statistical or feature-based (see also the turn to machine learning page) (voir aussi la page Le virage vers l'apprentissage automatique).
3. Deep learning deep learning (DL)apprentissage profond machine learningapprentissage automatique An approach to machine learning based on neural networks with many successive layers of computing units.Approche de l'apprentissage automatique fondée sur des réseaux de neurones comportant de nombreuses couches successives d'unités de calcul. , for language from about 2015 on: still machine learning, but the system learns the features too, directly from raw data, with neural networks neural network (NN)réseau de neurones (RNA) machine learningapprentissage automatique A machine-learning model composed of interconnected layers of small computational units.Modèle d'apprentissage automatique composé de couches interconnectées de petites unités de calcul. of many layers (LeCun et al., 2015) (see also the How a network learns page) (voir aussi la page Comment un réseau apprend).
4. Large language models large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. , shown in 2020 and in general use since the end of 2022: still deep learning, but one model, trained once on vast amounts of text with no task in view, does many tasks it was never built for, and the task is specified at use time, in a prompt, by the person using it (see also the Large language models page) (voir aussi la page Les grands modèles de langue).

Each paradigm is inside the one before it, the way the map of the fields nests them: machine learning is a kind of AI, deep learning a kind of machine learning, a large language model a kind of deep learning (see also the nested fields page) (voir aussi la page Les domaines emboîtés). Each is a paradigm of its own all the same, because the division of the work between people and the machine changed each time: first the patterns were learned, then the features, then the task itself no longer had to be built into the system.

Interpreting the evolution

• Some strategies were available long before they became successful. Language models existed before ChatGPT made them popular (Brown et al., 2020), and neural networks existed long before the data and the computation they need to work well were available (see also the How a network learns page) (voir aussi la page Comment un réseau apprend).
• Each paradigm shift means that a different methodology becomes more popular and more successful on some tasks, but all the previous methodologies remain in use. To this day, there are plenty of tasks for which rule-based methods remain the best solution. And though a new strategy performs better on some tasks, the shift often comes at the cost of control and transparency (Figure 6figure 6) (see also the black box page) (voir aussi la page La boîte noire), and with large requirements in data and computation.

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Updated 5 October 2026

Quatre façons de construire un système

Le traitement automatique de la langue a beaucoup changé au fil des dernières décennies. Les approches les plus anciennes servent encore pour certaines tâches, et certaines des plus récentes ont existé longtemps avant de s’imposer, mais on distingue, à grands traits, quatre grands paradigmes, selon la part du travail que font les personnes et la part qu’apprend la machine. La Figure 5figure 5 les présente dans l’ordre de leur arrivée, avec le changement que chacun a apporté.

1. Les systèmes à base de règles rule-based systemsystème à base de règles AIIA A system whose behaviour is fixed by rules that people wrote, most often of the form "if this condition, then this action", so that every output can be traced to the rule that produced it.Système dont le comportement est fixé par des règles écrites par des personnes, le plus souvent de la forme « si cette condition, alors cette action », de sorte que chaque résultat peut être rapporté à la règle qui l'a produit. , depuis les débuts du domaine dans les années 1950 (Jurafsky & Martin, 2026) : des personnes spécifient toute la logique et toutes les connaissances, sous forme de règles que le système applique (see also the Rule-based systems page) (voir aussi la page Les systèmes à base de règles).
2. L’apprentissage automatique machine learning (ML)apprentissage automatique machine learningapprentissage automatique An approach to artificial intelligence in which a model is trained on data or experience so that its adjustable parameters come to reflect patterns relevant to a task.Approche de l'intelligence artificielle dans laquelle un modèle est entraîné sur des données ou sur l'expérience, de sorte que ses paramètres ajustables en viennent à refléter des régularités pertinentes pour une tâche. , depuis la fin des années 1980 : des personnes spécifient ce qu’il faut mesurer, les attributs, et le système apprend les régularités à partir d’exemples étiquetés ; on parle aussi d’apprentissage statistique ou fondé sur des attributs (see also the turn to machine learning page) (voir aussi la page Le virage vers l'apprentissage automatique).
3. L’apprentissage profond deep learning (DL)apprentissage profond machine learningapprentissage automatique An approach to machine learning based on neural networks with many successive layers of computing units.Approche de l'apprentissage automatique fondée sur des réseaux de neurones comportant de nombreuses couches successives d'unités de calcul. , pour la langue depuis 2015 environ : toujours de l’apprentissage automatique, mais le système apprend aussi les attributs, directement à partir des données brutes, avec des réseaux de neurones neural network (NN)réseau de neurones (RNA) machine learningapprentissage automatique A machine-learning model composed of interconnected layers of small computational units.Modèle d'apprentissage automatique composé de couches interconnectées de petites unités de calcul. à plusieurs couches (LeCun et al., 2015) (see also the How a network learns page) (voir aussi la page Comment un réseau apprend).
4. Les grands modèles de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. , démontrés en 2020 et d’usage courant depuis la fin de 2022 : toujours de l’apprentissage profond, mais un seul modèle, entraîné une fois sur d’immenses quantités de texte sans tâche en vue, accomplit de nombreuses tâches pour lesquelles il n’a jamais été construit, et la tâche est spécifiée au moment de l’utilisation, dans une requête, par la personne qui s’en sert (see also the Large language models page) (voir aussi la page Les grands modèles de langue).

Chaque paradigme s’inscrit dans le précédent, comme s’emboîtent les domaines sur la carte : l’apprentissage automatique est une forme d’IA, l’apprentissage profond une forme d’apprentissage automatique, un grand modèle de langue une forme d’apprentissage profond (see also the nested fields page) (voir aussi la page Les domaines emboîtés). Chacun n’en est pas moins un paradigme à part entière, parce que le partage du travail entre les personnes et la machine a changé à chaque fois : d’abord les régularités ont été apprises, puis les attributs, puis la tâche elle-même n’a plus eu à être construite dans le système.

Interpréter l’évolution

• Certaines stratégies étaient disponibles bien avant de s’imposer. Les modèles de langue existaient avant que ChatGPT ne les rende populaires (Brown et al., 2020), et les réseaux de neurones ont existé longtemps avant que les données et la puissance de calcul dont ils ont besoin pour bien fonctionner ne soient disponibles (see also the How a network learns page) (voir aussi la page Comment un réseau apprend).
• Chaque changement de paradigme signifie qu’une méthodologie différente devient plus populaire et plus performante pour certaines tâches, mais toutes les méthodologies précédentes restent en usage. Aujourd’hui encore, pour bien des tâches, les méthodes à base de règles restent la meilleure solution. Et même si une nouvelle stratégie fait mieux pour certaines tâches, le changement se paie souvent en contrôle et en transparence (Figure 6figure 6) (see also the black box page) (voir aussi la page La boîte noire), et il exige beaucoup de données et de calcul.

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Mise à jour 5 octobre 2026