From text to vectorsDu texte aux vecteurs
TRA6008 S2 · in classS2 · en classe
The tokenizer runs first
When you type a sentence into a chatbot, the tokenizer tokenization²jetonisation² language modelsmodèles de langue The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. runs first. It is not part of the language model language model (LM)modèle de langue language modelsmodèles de langue A machine-learning model that estimates how likely different sequences of language are.Modèle d'apprentissage automatique qui estime la probabilité de différentes séquences de langue. itself, but a completely separate program: trained before use, and from then on only executing the tokenization tokenization²jetonisation² language modelsmodèles de langue The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. , never influenced by the model. The two are still inseparable, because the model keeps one row of numbers for each entry in the tokenizer’s vocabulary vocabularyvocabulaire language modelsmodèles de langue The fixed set of tokens that a tokenizer and language model can recognize and represent.Ensemble fixe des jetons qu'un segmenteur et un modèle de langue peuvent reconnaître et représenter. , so a model and its tokenizer travel together for life. Each token token²jeton textuel² language modelsmodèles de langue A unit of text that a language model processes or generates.Unité de texte qu'un modèle de langue traite ou génère. Un jeton peut correspondre à un mot entier, à une partie de mot, à un signe de ponctuation ou à une séquence plus petite de caractères ou d'octets. is replaced by its number in that vocabulary, and those numbers are the only version of the text the model receives as input.
Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.
Spaces belong to the word that follows
The spaces are inside the tokens. In this tokenizer a space belongs to the word that follows it, which is why two of the boxes carry one and the first does not. The same word is therefore a different token at the start of a line and in the middle of a sentence, and a text already cut on its spaces is counted differently.
One row per token
Each ID number associated with a token can be seen as an address for that token. The model looks it up in that table of rows, and the row it finds there is a vector vectorvecteur machine learningapprentissage automatique An ordered list of numbers.Liste ordonnée de nombres. of the kind the earlier chapters built (see also the Word embeddings chapter) (voir aussi le chapitre Plongements lexicaux). Everything after that works on the vectors.
Le segmenteur passe en premier
Quand vous tapez une phrase dans un agent conversationnel, le segmenteur tokenization²jetonisation² language modelsmodèles de langue The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. passe en premier. Il ne fait pas partie du modèle de langue language model (LM)modèle de langue language modelsmodèles de langue A machine-learning model that estimates how likely different sequences of language are.Modèle d'apprentissage automatique qui estime la probabilité de différentes séquences de langue. lui-même, mais est un programme entièrement distinct : entraîné avant usage, il ne fait ensuite qu’exécuter la jetonisation tokenization²jetonisation² language modelsmodèles de langue The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. , sans jamais être influencé par le modèle. Les deux restent malgré tout inséparables, parce que le modèle garde une rangée de nombres par entrée du vocabulaire vocabularyvocabulaire language modelsmodèles de langue The fixed set of tokens that a tokenizer and language model can recognize and represent.Ensemble fixe des jetons qu'un segmenteur et un modèle de langue peuvent reconnaître et représenter. du segmenteur : un modèle et son segmenteur vont donc ensemble pour la vie. Chaque jeton token²jeton textuel² language modelsmodèles de langue A unit of text that a language model processes or generates.Unité de texte qu'un modèle de langue traite ou génère. Un jeton peut correspondre à un mot entier, à une partie de mot, à un signe de ponctuation ou à une séquence plus petite de caractères ou d'octets. est remplacé par son numéro dans ce vocabulaire, et ces nombres sont la seule version du texte que le modèle reçoit en entrée.
Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.
Les espaces appartiennent au mot qui suit
Les espaces sont à l’intérieur des jetons. Dans ce segmenteur, une espace appartient au mot qui la suit, ce qui explique que deux des cases en portent une et que la première n’en porte pas. Un même mot est donc un jeton différent au début d’une ligne et au milieu d’une phrase, et un texte déjà découpé sur ses espaces se compte autrement.
Une rangée par jeton
Chaque numéro d’identifiant associé à un jeton peut se voir comme une adresse pour ce jeton. Le modèle la consulte dans cette table de rangées, et la rangée qu’il y trouve est un vecteur vectorvecteur machine learningapprentissage automatique An ordered list of numbers.Liste ordonnée de nombres. du genre que les chapitres précédents ont construit (see also the Word embeddings chapter) (voir aussi le chapitre Plongements lexicaux). Tout ce qui suit travaille sur les vecteurs.
Sources
- Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Sources
- Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/