The limits of static vectorsLes limites des vecteurs statiques

TRA6008 S2 · in classS2 · en classe

Three limitations

New words get nothing

An embedding model has one vector for each word that occurred in its training text, so a word coined last year, a rare technical term or a typo has no vector and no representation at all. Morphologically rich languages make this worse, since their productive compounds and inflections produce forms no training corpus contains. Modern systems dissolve the problem by working with pieces of words instead (see also the Tokenization chapter) (voir aussi le chapitre Jetonisation).

One vector averages every sense

Bank is a financial institution in I deposited money at the bank and a strip of riverside in we picnicked on the river bank. A single vector for bank has to serve both sentences, so it lands somewhere between finance and geography, a compromise that is wrong everywhere. It is not even a fair compromise: the vector is an average over occurrences, so it sits nearest whichever sense is commonest in the training text, and the rarer sense is served worst. Translation feels this early, since choosing between rive and banque is exactly a decision about which sense is active.

Order is invisible

The dog follows Jean and Jean follows the dog contain the same words and do not describe the same walk, so any representation built by combining fixed word vectors struggles to tell them apart. Meaning depends on arrangement, and per-word vectors have nowhere to put arrangement.

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Updated 2 October 2026

Trois limites

Les mots nouveaux n’obtiennent rien

Un modèle de plongements a un vecteur pour chaque mot rencontré à l’entraînement : un mot forgé l’an dernier, un terme technique rare ou une coquille n’a donc aucun vecteur et aucune représentation. Les langues à morphologie riche aggravent la situation, puisque leurs composés et leurs flexions productives produisent des formes qu’aucune base d’apprentissage ne contient. Les systèmes modernes dissolvent le problème en travaillant sur des morceaux de mots (see also the Tokenization chapter) (voir aussi le chapitre Jetonisation).

Un seul vecteur fait la moyenne de tous les sens

Livres désigne une monnaie dans j’ai changé mille livres et des ouvrages dans j’ai emprunté trois livres. Un vecteur unique pour livres doit servir aux deux phrases : il atterrit donc quelque part entre la finance et la lecture, un compromis qui a tort partout. Ce n’est même pas un compromis équitable : le vecteur est une moyenne sur les occurrences, il se place donc au plus près du sens le plus fréquent dans les textes d’entraînement, et c’est le sens le plus rare qui est le plus mal servi. La traduction s’en aperçoit tôt, puisque choisir entre pounds et books est exactement une décision sur le sens actif.

L’ordre est invisible

Jean suit le chien et le chien suit Jean contiennent les mêmes mots et ne décrivent pas la même promenade ; toute représentation construite en combinant des vecteurs de mots fixes a donc du mal à les distinguer. Le sens dépend de l’agencement, et des vecteurs par mot n’ont nulle part où mettre l’agencement.

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Mise à jour 1er octobre 2026