TokenizationJetonisation

Not words, but tokens

Everything so far has said word: a vector for each word, attention between words. That is a simplification.

Take the sentence Tokenization shapes everything. You read three words and a full stop. Systems built to work with language cut it up in their own ways, as Figure 1figure 1 shows: 31 characters for one, five tokens for another, each token an entry in a vocabulary vocabularyvocabulaire language modelsmodèles de langue The fixed set of tokens that a tokenizer and language model can recognize and represent.Ensemble fixe des jetons qu'un segmenteur et un modèle de langue peuvent reconnaître et représenter. with a number attached. This is why careful writing says “next-token prediction next-token predictionprédiction du jeton suivant language modelsmodèles de langue The task of estimating the probabilities of the tokens that could follow a given sequence of tokens.Tâche consistant à estimer les probabilités des jetons qui pourraient suivre une séquence de jetons donnée. ” rather than “next-word prediction”. Words are a human unit.

Frequency decides the cuts

The cuts are statistical. They fall where character sequences were frequent in the text the tokenizer tokenization²jetonisation² language modelsmodèles de langue The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. was built on, which is why Tokenization splits into Token and ization while shapes and everything stay whole. In this example the split happens to align with the linguistic structure of the word. That is not guaranteed at all.

Pas des mots, mais des jetons

Tout ce qui précède a dit mot : un vecteur par mot, de l’attention entre les mots. C’est une simplification.

Prenez la phrase Tokenization shapes everything. Vous y lisez trois mots et un point. Les systèmes construits pour travailler sur la langue la découpent chacun à leur manière, comme le montre la Figure 1figure 1 : 31 caractères pour l’un, cinq jetons pour l’autre, chaque jeton une entrée d’un vocabulaire vocabularyvocabulaire language modelsmodèles de langue The fixed set of tokens that a tokenizer and language model can recognize and represent.Ensemble fixe des jetons qu'un segmenteur et un modèle de langue peuvent reconnaître et représenter. avec un numéro attaché. C’est pourquoi une écriture soignée dit « prédiction du jeton suivant next-token predictionprédiction du jeton suivant language modelsmodèles de langue The task of estimating the probabilities of the tokens that could follow a given sequence of tokens.Tâche consistant à estimer les probabilités des jetons qui pourraient suivre une séquence de jetons donnée.  » plutôt que « prédiction du mot suivant ». Le mot est une unité humaine.

La fréquence décide des coupes

Les coupes sont statistiques. Elles tombent là où des suites de caractères étaient fréquentes dans les textes sur lesquels le segmenteur tokenization²jetonisation² language modelsmodèles de langue The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. a été construit, ce qui explique que Tokenization se découpe en Token et ization alors que shapes et everything restent entiers. Dans cet exemple, le découpage s’aligne par hasard sur la structure linguistique du mot. Ce n’est pas garanti du tout.

The tokenizer runs first

When you type a sentence into a chatbot, the tokenizer tokenization²jetonisation² language modelsmodèles de langue The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. runs first. It is not part of the language model language model (LM)modèle de langue language modelsmodèles de langue A machine-learning model that estimates how likely different sequences of language are.Modèle d'apprentissage automatique qui estime la probabilité de différentes séquences de langue. itself, but a completely separate program: trained before use, and from then on only executing the tokenization tokenization²jetonisation² language modelsmodèles de langue The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. , never influenced by the model. The two are still inseparable, because the model keeps one row of numbers for each entry in the tokenizer’s vocabulary vocabularyvocabulaire language modelsmodèles de langue The fixed set of tokens that a tokenizer and language model can recognize and represent.Ensemble fixe des jetons qu'un segmenteur et un modèle de langue peuvent reconnaître et représenter. , so a model and its tokenizer travel together for life. Each token token²jeton textuel² language modelsmodèles de langue A unit of text that a language model processes or generates.Unité de texte qu'un modèle de langue traite ou génère. Un jeton peut correspondre à un mot entier, à une partie de mot, à un signe de ponctuation ou à une séquence plus petite de caractères ou d'octets. is replaced by its number in that vocabulary, and those numbers are the only version of the text the model receives as input.

Spaces belong to the word that follows

The spaces are inside the tokens. In this tokenizer a space belongs to the word that follows it, which is why two of the boxes carry one and the first does not. The same word is therefore a different token at the start of a line and in the middle of a sentence, and a text already cut on its spaces is counted differently.

One row per token

Each ID number associated with a token can be seen as an address for that token. The model looks it up in that table of rows, and the row it finds there is a vector vectorvecteur machine learningapprentissage automatique An ordered list of numbers.Liste ordonnée de nombres. of the kind the earlier chapters built (see also the Word embeddings chapter) (voir aussi le chapitre Plongements lexicaux). Everything after that works on the vectors.

Le segmenteur passe en premier

Quand vous tapez une phrase dans un agent conversationnel, le segmenteur tokenization²jetonisation² language modelsmodèles de langue The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. passe en premier. Il ne fait pas partie du modèle de langue language model (LM)modèle de langue language modelsmodèles de langue A machine-learning model that estimates how likely different sequences of language are.Modèle d'apprentissage automatique qui estime la probabilité de différentes séquences de langue. lui-même, mais est un programme entièrement distinct : entraîné avant usage, il ne fait ensuite qu’exécuter la jetonisation tokenization²jetonisation² language modelsmodèles de langue The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. , sans jamais être influencé par le modèle. Les deux restent malgré tout inséparables, parce que le modèle garde une rangée de nombres par entrée du vocabulaire vocabularyvocabulaire language modelsmodèles de langue The fixed set of tokens that a tokenizer and language model can recognize and represent.Ensemble fixe des jetons qu'un segmenteur et un modèle de langue peuvent reconnaître et représenter. du segmenteur : un modèle et son segmenteur vont donc ensemble pour la vie. Chaque jeton token²jeton textuel² language modelsmodèles de langue A unit of text that a language model processes or generates.Unité de texte qu'un modèle de langue traite ou génère. Un jeton peut correspondre à un mot entier, à une partie de mot, à un signe de ponctuation ou à une séquence plus petite de caractères ou d'octets. est remplacé par son numéro dans ce vocabulaire, et ces nombres sont la seule version du texte que le modèle reçoit en entrée.

Les espaces appartiennent au mot qui suit

Les espaces sont à l’intérieur des jetons. Dans ce segmenteur, une espace appartient au mot qui la suit, ce qui explique que deux des cases en portent une et que la première n’en porte pas. Un même mot est donc un jeton différent au début d’une ligne et au milieu d’une phrase, et un texte déjà découpé sur ses espaces se compte autrement.

Une rangée par jeton

Chaque numéro d’identifiant associé à un jeton peut se voir comme une adresse pour ce jeton. Le modèle la consulte dans cette table de rangées, et la rangée qu’il y trouve est un vecteur vectorvecteur machine learningapprentissage automatique An ordered list of numbers.Liste ordonnée de nombres. du genre que les chapitres précédents ont construit (see also the Word embeddings chapter) (voir aussi le chapitre Plongements lexicaux). Tout ce qui suit travaille sur les vecteurs.

Vocabulary

Every model has a fixed list of tokens, chosen before training starts and never added to afterwards. Every text it will ever read or write has to be expressed using the tokens in that list, and whatever is not in the list cannot be represented at all.

How long that list should be is the question this page turns on, and the two obvious answers sit at either end.

One number per word?

Each token would then be a unit that means something. But a list of words runs into three walls at once.

• It can never be complete. An average twenty-year-old native speaker of American English knows about 42,000 lemmas lemmalemme linguisticslinguistique The base or dictionary form under which the inflected forms of a word are grouped: go, goes, went and gone share the lemma go.Forme de base, ou forme de dictionnaire, sous laquelle sont regroupées les formes fléchies d'un mot : va, allons, allait et allé partagent le lemme aller. (Brysbaert et al., 2016), and real text piles names, technical terms, foreign words, typos and yesterday’s coinages on top of that. No list contains every word of one language, let alone of all of them, and new words appear faster than any list can be revised.
• Rare entries stay poorly learned. A word seen a handful of times in training gets a vector built from those few occurrences, which is not enough to place it usefully. Enlarging the list adds entries of exactly that kind.
• Every entry costs. The model keeps one row of numbers per entry, and at every step it scores every entry in the list to decide what comes next. A longer list means more memory and more computing, for entries that are mostly rare.

One number per character?

The list would be tiny, a few hundred entries at most, and nothing would ever be missing: any text at all can be spelled out, in any language, typos included. The cost is at the other end. A single character tells you almost nothing, t on its own means nothing, and a page of text becomes a very long run of them, as the character row of Figure 1figure 1 shows. The model would have to rebuild every word from scratch, every time one occurred.

Pieces in between

New words are mostly made of familiar pieces, and that is the way out. You can read antibacterial without having seen it before, because anti-, bacteri and -al are old acquaintances. A vocabulary of pieces, some of them whole words and some fragments, keeps the common words whole and can still spell out anything at all, down to single characters in the worst case.

With the subword strategy, single characters are still part of the vocabulary as well. So when no larger piece matches, any sequence at all can still be covered by the individual characters, and there are no out-of-vocabulary problems left: not for a typo, a surname, a word in a language the tokenizer tokenization²jetonisation² language modelsmodèles de langue The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. barely saw, or a line of pure gibberish. What varies is the number of tokens. A familiar word is one token, and an unfamiliar one takes as many as it takes to spell it (see also the Consequences of tokenization chapter) (voir aussi le chapitre Conséquences de la jetonisation).

Le vocabulaire

Chaque modèle a une liste fixe de jetons, choisie avant le début de l’entraînement et jamais complétée ensuite. Tout texte qu’il lira ou écrira doit s’exprimer avec les jetons de cette liste, et ce qui n’y figure pas ne peut pas être représenté du tout.

Quelle doit être la longueur de cette liste ? C’est la question qui occupe cette page, et les deux réponses évidentes se trouvent aux deux extrémités.

Un numéro par mot ?

Chaque jeton serait alors une unité qui veut dire quelque chose. Mais une liste de mots se heurte à trois murs à la fois.

• Elle ne peut jamais être complète. Une personne moyenne de vingt ans dont l’anglais américain est la langue maternelle connaît environ 42 000 lemmes lemmalemme linguisticslinguistique The base or dictionary form under which the inflected forms of a word are grouped: go, goes, went and gone share the lemma go.Forme de base, ou forme de dictionnaire, sous laquelle sont regroupées les formes fléchies d'un mot : va, allons, allait et allé partagent le lemme aller. (Brysbaert et al., 2016), et les textes réels y ajoutent des noms propres, des termes techniques, des mots étrangers, des coquilles et les néologismes d’hier. Aucune liste ne contient tous les mots d’une seule langue, encore moins de toutes, et les mots nouveaux apparaissent plus vite qu’aucune liste ne peut être révisée.
• Les entrées rares restent mal apprises. Un mot vu une poignée de fois à l’entraînement reçoit un vecteur construit sur ces quelques occurrences, ce qui ne suffit pas à le placer utilement. Agrandir la liste ajoute des entrées exactement de ce genre.
• Chaque entrée coûte. Le modèle garde une rangée de nombres par entrée, et à chaque étape il attribue un score à chaque entrée de la liste pour décider de la suite. Une liste plus longue veut dire plus de mémoire et plus de calcul, pour des entrées le plus souvent rares.

Un numéro par caractère ?

La liste serait minuscule, quelques centaines d’entrées au plus, et rien ne manquerait jamais : n’importe quel texte peut s’épeler, dans n’importe quelle langue, coquilles comprises. Le coût est à l’autre bout. Un caractère isolé ne dit presque rien, t tout seul ne veut rien dire, et une page de texte devient une très longue suite de caractères, comme le montre la rangée des caractères de la Figure 1figure 1. Le modèle devrait reconstruire chaque mot depuis le début, chaque fois qu’il en rencontre un.

Des morceaux entre les deux

Les mots nouveaux sont surtout faits de morceaux familiers, et c’est là que se trouve l’issue. Vous pouvez lire antibactérien sans l’avoir jamais vu, parce que anti-, bactér et -ien sont de vieilles connaissances. Un vocabulaire de morceaux, dont certains sont des mots entiers et d’autres des fragments, garde les mots courants entiers et peut malgré tout épeler n’importe quoi, jusqu’aux caractères isolés dans le pire des cas.

Avec la stratégie sous-lexicale, les caractères isolés font toujours partie du vocabulaire. Donc, quand aucun morceau plus grand ne correspond, n’importe quelle suite peut encore être couverte par les caractères individuels, et il ne reste aucun problème de mot hors vocabulaire : ni pour une coquille, ni pour un patronyme, ni pour un mot dans une langue que le segmenteur tokenization²jetonisation² language modelsmodèles de langue The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. a à peine vue, ni pour une ligne de pur charabia. Ce qui varie, c’est le prix. Un mot familier coûte un jeton, et un mot inconnu en coûte autant qu’il en faut pour l’épeler (see also the Consequences of tokenization chapter) (voir aussi le chapitre Conséquences de la jetonisation).

Learning the pieces by counting

Which pieces should a subword vocabulary contain? Choosing them by hand would be rule-writing all over again. The standard method, byte-pair encoding, learns them from a corpus corpuscorpus corporacorpus A collection of written texts, speech recordings or transcribed language assembled for analysis or use in language technology (plural: corpora).Ensemble de textes écrits, d'enregistrements de parole ou de langue transcrite réuni pour l'analyse ou pour les technologies langagières. with a procedure simple enough to state in three steps (Sennrich et al., 2016):

1. Split the whole corpus into single characters. These are the first tokens.
2. Count every pair of adjacent tokens, and merge the most frequent pair into one new token, everywhere it occurs.
3. Repeat step 2 until the vocabulary reaches the size you chose.

Learned once, applied forever

Frequent words quickly get their own token (the is one of the first) and rarer ones stay in a few pieces. Length counts as well as frequency: every merge joins two neighbours, so a long word needs many of them before it is whole again, and a short word of the same frequency gets there sooner. Frequent endings and stems, -ing, -tion, get a token too, because they recur across thousands of words.

The counting happens once and produces a list of merges. That list is then applied unchanged to every text the model ever reads, including yours.

Apprendre les morceaux en comptant

Quels morceaux un vocabulaire sous-lexical doit-il contenir ? Les choisir à la main reviendrait à écrire des règles, encore une fois. La méthode standard, l’encodage par paires d’octets, les apprend d’un corpus corpuscorpus corporacorpus A collection of written texts, speech recordings or transcribed language assembled for analysis or use in language technology (plural: corpora).Ensemble de textes écrits, d'enregistrements de parole ou de langue transcrite réuni pour l'analyse ou pour les technologies langagières. avec une procédure assez simple pour tenir en trois étapes (Sennrich et al., 2016) :

1. Découper tout le corpus en caractères isolés. Ce sont les premiers jetons.
2. Compter chaque paire de jetons voisins, et fusionner la paire la plus fréquente en un nouveau jeton, partout où elle apparaît.
3. Répéter l’étape 2 jusqu’à ce que le vocabulaire atteigne la taille choisie.

Appris une fois, appliqué pour toujours

Les mots fréquents obtiennent vite leur propre jeton (le est l’un des premiers) et les plus rares restent en quelques morceaux. La longueur compte aussi, en plus de la fréquence : chaque fusion joint deux voisins, un long mot a donc besoin de nombreuses fusions avant d’être entier de nouveau, et un mot court de même fréquence y arrive plus tôt. Les terminaisons et les radicaux fréquents, -ion, -ment, obtiennent aussi un jeton, parce qu’ils reviennent dans des milliers de mots.

Le comptage n’a lieu qu’une fois et produit une liste de fusions. Cette liste est ensuite appliquée sans changement à tous les textes que le modèle lira, y compris les vôtres.

Counting pairs, one merge at a time

Here the whole training corpus is three words: representation, retention, repression. Three steps by hand are enough to see what kind of vocabulary comes out.

Start by splitting everything into characters, nine distinct ones in all:

r e p r e s e n t a t i o n
r e t e n t i o n
r e p r e s s i o n

Count adjacent pairs. The pair r e occurs five times (twice in representation, once in retention, twice in repression), more than any other, so it becomes the first new token:

re p re s e n t a t i o n
re t e n t i o n
re p re s s i o n

Recounting and merging seven more times, io then ion, then the three merges that build repres and the two that make ent, leaves a corpus in which no pair occurs more than once:

repres ent a t ion
re t ent ion
repres s ion

Morphemes by accident

Seven tokens (repres, ent, a, t, ion, re, s) now cover all three words. Counting pairs and nothing else found ion and ent, real English morphemes, and repres, a shared stem. It also produced repres·ent·a·t·ion, which no linguist would propose as a morphological analysis of representation.

The same procedure at real scale

On a real corpus the process is the same at two different scales: millions of documents to start from, and a target vocabulary size that stops the merging while frequent pairs are still left to merge. Common words are rebuilt whole well before that point; the cut-off is what leaves the long tail in pieces. Sennrich et al. (2016), introducing the method for translation, used 59,500 merge operations for one language pair and 89,500 for another. Two of the basic building blocks for current large language models came out of machine translation machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. research: subword tokenization here, and the transformer transformertransformeur deep learningapprentissage profond A neural-network architecture for processing sequences, such as text.Architecture de réseau de neurones pour le traitement des séquences, comme le texte. a year later (see also the Attention & transformers chapter) (voir aussi le chapitre Attention et transformeurs). The tokenizers tokenization²jetonisation² language modelsmodèles de langue The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. of today’s largest models run to a few hundred thousand.

Compter les paires, une fusion à la fois

Ici, tout le corpus d’entraînement tient en trois mots : representation, retention, repression. Trois étapes à la main suffisent à voir quel genre de vocabulaire en sort.

On commence par tout découper en caractères, neuf caractères distincts en tout :

r e p r e s e n t a t i o n
r e t e n t i o n
r e p r e s s i o n

On compte les paires voisines. La paire r e apparaît cinq fois (deux fois dans representation, une fois dans retention, deux fois dans repression), plus que toute autre ; elle devient donc le premier nouveau jeton :

re p re s e n t a t i o n
re t e n t i o n
re p re s s i o n

En recomptant et en fusionnant sept fois de plus, io puis ion, puis les trois fusions qui construisent repres et les deux qui font ent, on obtient un corpus où aucune paire n’apparaît plus d’une fois :

repres ent a t ion
re t ent ion
repres s ion

Des morphèmes par accident

Sept jetons (repres, ent, a, t, ion, re, s) couvrent maintenant les trois mots. Compter les paires et rien d’autre a trouvé ion et ent, de vrais morphèmes de l’anglais, et repres, un radical commun. Cela a aussi produit repres·ent·a·t·ion, qu’aucune linguiste ne proposerait comme analyse morphologique de representation.

La même procédure à l’échelle réelle

Sur un corpus réel, le procédé est le même à deux échelles différentes : des millions de documents au départ, et une taille de vocabulaire visée qui arrête les fusions alors qu’il reste encore des paires fréquentes à fusionner. Les mots courants sont reconstruits entiers bien avant ce point ; c’est le seuil qui laisse la longue traîne en morceaux. Sennrich et al. (2016), en présentant la méthode pour la traduction, ont utilisé 59 500 opérations de fusion pour une paire de langues et 89 500 pour une autre. Deux des briques de base des grands modèles de langue actuels sont sorties de la recherche en traduction automatique machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source.  : la segmentation sous-lexicale ici, et le transformeur transformertransformeur deep learningapprentissage profond A neural-network architecture for processing sequences, such as text.Architecture de réseau de neurones pour le traitement des séquences, comme le texte. un an plus tard (see also the Attention & transformers chapter) (voir aussi le chapitre Attention et transformeurs). Les segmenteurs tokenization²jetonisation² language modelsmodèles de langue The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. des plus grands modèles d’aujourd’hui vont jusqu’à quelques centaines de milliers.

Paste and look

What you should see

• Common English words are one token each, because the merges that build them ran often enough.
• Rare words and typos shatter. Tokenization itself comes out in two or three pieces, and htis in more.
• Other languages cost more tokens for the same sentence, and the further a language is from the training text, the more it costs.

One vocabulary per model

Coller un texte et regarder

Ce que vous devriez voir

• Les mots anglais courants font un jeton chacun, parce que les fusions qui les construisent ont tourné assez souvent.
• Les mots rares et les coquilles éclatent. Tokenization lui-même ressort en deux ou trois morceaux, et htis en davantage.
• Les autres langues coûtent plus de jetons pour la même phrase, et plus une langue est éloignée des textes d’entraînement, plus elle coûte cher.

Un vocabulaire par modèle