All words equally differentTous les mots à égale distance
TRA6008 S2 · in classS2 · en classe
What the last two chapters settled
| The idea | What it gives | What it costs |
|---|---|---|
| A number per word, alphabetically | An identifier | An order and an arithmetic that mean nothing |
| A vector vectorvecteur machine learningapprentissage automatique An ordered list of numbers.Liste ordonnée de nombres. per word | Coordinates in a space, so distances exist | Nothing yet: the space has to be built |
| A one-hot vector | Identity with no false order | Every pair equally distant; 99,999 zeros per word |
What is still missing
- Numbers that say how words relate. So far cat is exactly as far from dog as it is from democracy.
- A representation that stays manageable and still says something. Giving every word its own slot takes tens of thousands of numbers to say one thing, and all but one of them are zero.
- A representation that can change with the sentence. Bank does not mean the same thing in every sentence it appears in, and one fixed set of numbers per word cannot follow that.
This chapter answers the first two. The third takes a chapter of its own (see also the Contextual embeddings chapter) (voir aussi le chapitre Plongements contextuels).
Ce que les deux chapitres précédents ont établi
| L’idée | Ce qu’elle apporte | Ce qu’elle coûte |
|---|---|---|
| Un nombre par mot, par ordre alphabétique | Un identifiant | Un ordre et une arithmétique qui ne veulent rien dire |
| Un vecteur vectorvecteur machine learningapprentissage automatique An ordered list of numbers.Liste ordonnée de nombres. par mot | Des coordonnées dans un espace, donc des distances | Rien encore : l’espace reste à construire |
| Un vecteur 1 parmi n | Une identité sans faux ordre | Toutes les paires à égale distance ; 99 999 zéros par mot |
Ce qui manque encore
- Des nombres qui disent comment les mots se rapportent. Jusqu’ici, chat est exactement aussi loin de chien que de démocratie.
- Une représentation qui reste maniable et qui dit quelque chose. Donner à chaque mot sa propre case demande des dizaines de milliers de nombres pour dire une seule chose, et tous sauf un valent zéro.
- Une représentation qui peut changer avec la phrase. Livres ne veut pas dire la même chose dans toutes les phrases où le mot apparaît, et un seul jeu de nombres fixe par mot ne peut pas suivre.
Ce chapitre répond aux deux premiers points. Le troisième demande un chapitre à lui seul (see also the Contextual embeddings chapter) (voir aussi le chapitre Plongements contextuels).
Sources
- Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Sources
- Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/