Dimensions with meaningDes dimensions qui veulent dire quelque chose

TRA6008 S2 · in classS2 · en classe

Words as coordinates

Suppose you want to place words in a two-dimensional space. You give the horizontal axis one meaning and the vertical axis another, then put each word where it belongs relative to those two meanings. Every word ends up with coordinates, which is to say a vector vectorvecteur machine learningapprentissage automatique An ordered list of numbers.Liste ordonnée de nombres. : here a list of two numbers, one per axis. Those numbers do more than locate the word. They say how it stands on each of the two meanings, and how far it is from every other word in the same space.

Speed and capacity

The idea is worked out for means of transport in Figure 1figure 1. The horizontal axis is passenger capacity and the vertical axis is speed, and most people would agree on roughly where each vehicle goes. A skateboard scores low on both: it does not travel fast and it carries one person. A rocket has maximal speed and more moderate capacity, giving it the vector [0.4, 1.0]. Where a one-hot vector only identified a word, that pair of numbers says something about the thing named, and it fixes how far the rocket stands from every other vehicle in the space.

Placing words this way also makes groups form on their own. Personal transport gathers on the left, public transport on the right, and the rocket sits apart, which is where it belongs. Nobody drew those groups; they follow from the coordinates.

Where the apple goes

So far this looks like a promising way to turn words into lists of numbers that mean something. Then: where would you put an apple in this space? The question makes no sense, because speed and capacity say nothing about an apple.

Two things follow. A space that fits a whole vocabulary needs many more than two dimensions, since it has to suit everything from skateboard to ardour. And once there are hundreds of dimensions and tens of thousands of words, neither the axes nor the positions can be chosen by a person.

Which leaves the question: how can numbers like these be found automatically, for every word in a vocabulary?

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Updated 9 September 2026

Les mots comme coordonnées

Supposons que vous vouliez placer des mots dans un espace à deux dimensions. Vous donnez un sens à l’axe horizontal et un autre à l’axe vertical, puis vous posez chaque mot là où il se situe par rapport à ces deux sens. Chaque mot se retrouve avec des coordonnées, c’est-à-dire un vecteur vectorvecteur machine learningapprentissage automatique An ordered list of numbers.Liste ordonnée de nombres.  : ici une liste de deux nombres, un par axe. Ces nombres font plus que localiser le mot. Ils disent comment il se situe sur chacun des deux sens, et à quelle distance il se trouve de tous les autres mots du même espace.

La vitesse et le nombre de passagers

L’idée est développée pour des moyens de transport dans la Figure 1figure 1. L’axe horizontal est le nombre de passagers et l’axe vertical la vitesse, et la plupart des gens s’entendraient sur la place approximative de chaque véhicule. La planche est basse sur les deux : elle ne va pas vite et elle transporte une personne. La fusée a une vitesse maximale et une capacité plus modeste, ce qui lui donne le vecteur [0,4 ; 1,0]. Là où un vecteur 1 parmi n ne faisait qu’identifier un mot, cette paire de nombres dit quelque chose de la chose nommée, et elle fixe la distance entre la fusée et tous les autres véhicules de l’espace.

Placer les mots de cette façon fait aussi apparaître des groupes d’eux-mêmes. Le transport individuel se rassemble à gauche, le transport collectif à droite, et la fusée reste à part, là où elle a sa place. Personne n’a dessiné ces groupes ; ils découlent des coordonnées.

Où placer la pomme

Jusqu’ici, voilà une manière prometteuse de transformer des mots en listes de nombres qui veulent dire quelque chose. Puis : où placeriez-vous une pomme dans cet espace ? La question n’a aucun sens, parce que la vitesse et le nombre de passagers ne disent rien d’une pomme.

Deux conséquences. Un espace qui accueille un vocabulaire entier a besoin de bien plus de deux dimensions, puisqu’il doit convenir à tout, de planche à ardeur. Et dès qu’il y a des centaines de dimensions et des dizaines de milliers de mots, ni les axes ni les positions ne peuvent être choisis par une personne.

Reste la question : comment trouver automatiquement de tels nombres, pour chaque mot d’un vocabulaire ?

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Mise à jour 9 septembre 2026