Neurons and layersNeurones et couches

The systems behind much of today’s language technology, including almost all machine translation systems and chatbots with which you will interact, are neural networks. The name suggests something brain-like, and the inspiration is real, but loose: there are some similarities between artificial neural networks and natural neural networks like our brain, but this does not go beyond the very basics.

Each unit, called a neuron, is a small mathematical function. It receives numbers from the units connected to it, combines them, and passes a number on. Every connection has a strength, called a weight weightpoids machine learningapprentissage automatique A real number attached to one input of a computing unit, learned during training, that sets how much that input counts towards the unit's output.Nombre réel attaché à une entrée d'une unité de calcul, appris pendant l'entraînement, qui détermine l'importance de cette entrée dans la sortie de l'unité. , and those weights, the network’s parameters parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. , are what training adjusts: a stronger connection means one unit’s output matters more to the next.

The units are organized in layers. An input layer takes in the raw data as numbers; one or more hidden layers transform it, step by step; an output layer produces the answer, for example one value per possible category. When there are many hidden layers, the network is called deep, which is all that the “deep” in deep learning means (LeCun et al., 2015).

Depth is what lets a network build complex patterns out of simple ones. Early layers pick up simple regularities in the raw input; later layers combine those into larger ones. In image recognition, the classic illustration, first edges, then shapes, then faces. For text the same principle applies, with one catch: a network’s input layer takes numbers, so using one for language requires a way to encode language as numbers (see also the Language as numbers module) (voir aussi le module Le langage en nombres).

Les systèmes derrière une bonne partie des technologies langagières d’aujourd’hui, dont la quasi-totalité des systèmes de traduction automatique et des agents conversationnels avec lesquels vous interagirez, sont des réseaux de neurones. Le nom évoque quelque chose de cérébral, et l’inspiration est réelle, mais lâche : il existe certaines ressemblances entre les réseaux de neurones artificiels et les réseaux de neurones naturels comme notre cerveau, mais cela ne va pas au-delà des bases.

Chaque unité, appelée neurone, est une petite fonction mathématique. Elle reçoit des nombres des unités qui lui sont reliées, les combine et transmet un nombre. Chaque connexion a une force, appelée poids weightpoids machine learningapprentissage automatique A real number attached to one input of a computing unit, learned during training, that sets how much that input counts towards the unit's output.Nombre réel attaché à une entrée d'une unité de calcul, appris pendant l'entraînement, qui détermine l'importance de cette entrée dans la sortie de l'unité. , et ces poids, les paramètres parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. du réseau, sont ce que l’entraînement ajuste : une connexion plus forte veut dire que la sortie d’une unité compte davantage pour la suivante.

Les unités sont organisées en couches. Une couche d’entrée reçoit les données brutes sous forme de nombres ; une ou plusieurs couches cachées les transforment, étape par étape ; une couche de sortie produit la réponse, par exemple une valeur par catégorie possible. Quand il y a beaucoup de couches cachées, on dit que le réseau est profond, et c’est tout ce que veut dire le « profond » d’apprentissage profond (LeCun et al., 2015).

C’est la profondeur qui permet à un réseau de construire des motifs complexes à partir de motifs simples. Les premières couches relèvent des régularités simples dans l’entrée brute ; les couches suivantes les combinent en motifs plus grands. En reconnaissance d’images, l’illustration classique, d’abord des contours, puis des formes, puis des visages. Pour le texte, le même principe s’applique, avec une réserve : la couche d’entrée d’un réseau reçoit des nombres, donc utiliser un réseau pour la langue demande une façon d’encoder la langue en nombres (see also the Language as numbers module) (voir aussi le module Le langage en nombres).