The black boxLa boîte noire

With a rule-based system rule-based systemsystème à base de règles AIIA A system whose behaviour is fixed by rules that people wrote, most often of the form "if this condition, then this action", so that every output can be traced to the rule that produced it.Système dont le comportement est fixé par des règles écrites par des personnes, le plus souvent de la forme « si cette condition, alors cette action », de sorte que chaque résultat peut être rapporté à la règle qui l'a produit. you can always find out why an output came out as it did: some rule was triggered, and that rule can be read, disagreed with and changed. In a trained neural network there is nothing to read. Its behaviour is stored as millions of numerical connection weights weightpoids machine learningapprentissage automatique A real number attached to one input of a computing unit, learned during training, that sets how much that input counts towards the unit's output.Nombre réel attaché à une entrée d'une unité de calcul, appris pendant l'entraînement, qui détermine l'importance de cette entrée dans la sortie de l'unité. , learnt from data, and no single one of them means anything on its own. The mathematics of every step is known exactly; what the steps collectively do is not stated anywhere in a form a person can check.

Statistical systems are a sort of middle ground: their rules are learnt from data rather than written by hand, but stay more or less readable (see also the Four paradigms page) (voir aussi la page Quatre paradigmes). How readable depends on the algorithm: a decision tree can be printed and followed, while the weights of a support vector machine with a non-linear kernel cannot be read that way.

This is what people mean when they call neural networks black boxes, and it is a property of the approach rather than a defect to be patched later. The power of the method comes from letting the system find regularities too numerous and too diffuse for anyone to write down; a representation humans could read would be a representation humans could have written.

Four consequences follow for anyone who works with these systems:

• Errors cannot be fixed the way a rule is fixed. There is no line to correct. Improving a network means changing its training data training setjeu de données d'entraînement machine learningapprentissage automatique The portion of a dataset used to train a machine-learning model.Portion d'un jeu de données servant à entraîner un modèle d'apprentissage automatique. , training it further, or changing its architecture and training again, and any of these can shift its behaviour elsewhere in ways nobody chose.
• Behaviour is discovered by testing, not by inspection. The only way to know how a system handles legal text, or Québécois French, is to try it on legal text and Québécois French, which is why evaluation is a professional skill in its own right (see also the Evaluating language technology module) (voir aussi le module L'évaluation des technologies langagières).
• The same input need not give the same output. A classifier is deterministic deterministicdéterministe computinginformatique Describes a process, algorithm, or system that, under the same initial conditions and with the same input, always produces the same output.Se dit d'un processus, d'un algorithme ou d'un système qui, dans les mêmes conditions initiales et avec la même entrée, produit toujours la même sortie. : the same email gives the same verdict every time. A system that generates text often is not, because choosing each next word can involve randomness, and one run then differs from the next. A single trial is evidence about that run, not about the system.
• Confidence is not self-knowledge. A network reports probabilities, and they measure how its training data looked, never how much it “knows” (see also the Critical issues with LLMs module) (voir aussi le module Enjeux critiques des GML).

Avec un système à base de règles rule-based systemsystème à base de règles AIIA A system whose behaviour is fixed by rules that people wrote, most often of the form "if this condition, then this action", so that every output can be traced to the rule that produced it.Système dont le comportement est fixé par des règles écrites par des personnes, le plus souvent de la forme « si cette condition, alors cette action », de sorte que chaque résultat peut être rapporté à la règle qui l'a produit. , on peut toujours savoir pourquoi une sortie est celle qu’elle est : une règle a été déclenchée, et cette règle peut être lue, contestée et modifiée. Dans un réseau de neurones entraîné, il n’y a rien à lire. Son comportement est stocké sous forme de millions de poids weightpoids machine learningapprentissage automatique A real number attached to one input of a computing unit, learned during training, that sets how much that input counts towards the unit's output.Nombre réel attaché à une entrée d'une unité de calcul, appris pendant l'entraînement, qui détermine l'importance de cette entrée dans la sortie de l'unité. de connexion numériques, appris des données, et aucun d’eux ne veut rien dire à lui seul. Les mathématiques de chaque étape sont connues exactement ; ce que les étapes font ensemble n’est écrit nulle part sous une forme vérifiable par une personne.

Les systèmes statistiques sont une sorte de moyen terme : leurs règles sont apprises à partir de données plutôt qu’écrites à la main, mais restent plus ou moins lisibles (see also the Four paradigms page) (voir aussi la page Quatre paradigmes). Le degré de lisibilité dépend de l’algorithme : un arbre de décision peut être imprimé et suivi, alors que les poids d’une machine à vecteurs de support à noyau non linéaire ne se lisent pas ainsi.

C’est ce qu’on veut dire en appelant les réseaux de neurones des boîtes noires, et c’est une propriété de l’approche plutôt qu’un défaut à corriger plus tard. La puissance de la méthode vient de ce qu’on laisse le système trouver des régularités trop nombreuses et trop diffuses pour que quiconque les écrive ; une représentation lisible par des humains serait une représentation que des humains auraient pu écrire.

Quatre conséquences en découlent pour qui travaille avec ces systèmes :

• Les erreurs ne se corrigent pas comme on corrige une règle. Il n’y a pas de ligne à reprendre. Améliorer un réseau veut dire changer ses données d’entraînement training setjeu de données d'entraînement machine learningapprentissage automatique The portion of a dataset used to train a machine-learning model.Portion d'un jeu de données servant à entraîner un modèle d'apprentissage automatique. , l’entraîner davantage, ou changer son architecture et l’entraîner de nouveau, et chacune de ces voies peut déplacer son comportement ailleurs d’une façon que personne n’a choisie.
• Le comportement se découvre en testant, pas en inspectant. La seule façon de savoir comment un système traite un texte juridique, ou du français québécois, est de l’essayer sur un texte juridique et sur du français québécois, et c’est pourquoi l’évaluation est une compétence professionnelle à part entière (see also the Evaluating language technology module) (voir aussi le module L'évaluation des technologies langagières).
• La même entrée ne donne pas forcément la même sortie. Un classifieur est déterministe deterministicdéterministe computinginformatique Describes a process, algorithm, or system that, under the same initial conditions and with the same input, always produces the same output.Se dit d'un processus, d'un algorithme ou d'un système qui, dans les mêmes conditions initiales et avec la même entrée, produit toujours la même sortie.  : le même courriel reçoit le même verdict chaque fois. Un système qui génère du texte ne l’est souvent pas, parce que le choix de chaque mot suivant peut comporter une part de hasard, et une exécution diffère alors de la suivante. Un seul essai renseigne sur cet essai, pas sur le système.
• L’assurance n’est pas de la connaissance de soi. Un réseau donne des probabilités, et elles mesurent à quoi ressemblaient ses données d’entraînement, jamais ce qu’il « sait » (see also the Critical issues with LLMs module) (voir aussi le module Enjeux critiques des GML).