Byte-pair encoding · Tokenization · Ayla's learning materials

Learning the pieces by counting

Which pieces should a subword vocabulary contain? Choosing them by hand would be rule-writing all over again. The standard method, byte-pair encoding, learns them from a corpus with a procedure simple enough to state in three steps (Sennrich et al., 2016):

Split the whole corpus into single characters. These are the first tokens.
Count every pair of adjacent tokens, and merge the most frequent pair into one new token, everywhere it occurs.
Repeat step 2 until the vocabulary reaches the size you chose.

language modelsmodèles de langue DefinitionDéfinition · byte-pair encoding (BPE)encodage par paires d'octets · fr: encodage par paires d'octets· en : byte-pair encoding

A subword tokenization method that learns a vocabulary from training text by repeatedly joining frequently occurring adjacent characters or bytes.Méthode de segmentation sous-lexicale qui apprend un vocabulaire à partir d'un texte d'entraînement en fusionnant de façon répétée les caractères ou octets adjacents fréquents. (Jurafsky & Martin, 2026, pp. 42–43)

NotesRemarques It then applies the learned combinations to new text, allowing common words or sequences to become single tokens while representing rarer or unfamiliar words as several smaller tokens.Elle applique ensuite les combinaisons apprises au nouveau texte : les mots ou séquences courants deviennent des jetons uniques, tandis que les mots plus rares ou inconnus sont représentés par plusieurs jetons plus petits.

Learned once, applied forever

Frequent words quickly get their own token (the is one of the first) and rarer ones stay in a few pieces. Length counts as well as frequency: every merge joins two neighbours, so a long word needs many of them before it is whole again, and a short word of the same frequency gets there sooner. Frequent endings and stems, -ing, -tion, get a token too, because they recur across thousands of words.

The counting happens once and produces a list of merges. That list is then applied unchanged to every text the model ever reads, including yours.

Figure 6. Byte-pair encoding runs twice over in two different senses: once as learning, on a corpus, and then as a lookup applied unchanged to everything the model reads.

language modelsmodèles de langue DefinitionDéfinition · tokenization²jetonisation² · fr: jetonisation²· en : tokenization²

The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. (Jurafsky & Martin, 2026, pp. 42–43)

NotesRemarques A tokenizer applies a model-specific vocabulary and segmentation procedure to the text. In modern language models, commonly used methods such as byte-pair encoding learn frequently occurring units from training data: common words or expressions may consequently be represented by single tokens, while rarer or unfamiliar words are divided into smaller subword, character or byte-based units. Because tokenizers and their vocabularies differ, the same text may require different numbers of tokens in different models or languages.Un segmenteur applique au texte un vocabulaire et une procédure de découpage propres au modèle. Dans les modèles de langue modernes, des méthodes courantes comme l'encodage par paires d'octets apprennent des unités fréquentes à partir des données d'entraînement : des mots ou expressions courants peuvent ainsi être représentés par un seul jeton, tandis que des mots plus rares ou inconnus sont divisés en unités sous-lexicales, en caractères ou en octets. Comme les segmenteurs et leurs vocabulaires diffèrent, le même texte peut exiger un nombre de jetons différent selon les modèles ou les langues.

Other attested French terms: segmentation en jetons textuels, conversion en jetonsAutres termes français attestés : segmentation en jetons textuels, conversion en jetons

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Updated 9 September 2026

Apprendre les morceaux en comptant

Quels morceaux un vocabulaire sous-lexical doit-il contenir ? Les choisir à la main reviendrait à écrire des règles, encore une fois. La méthode standard, l’encodage par paires d’octets, les apprend d’un corpus avec une procédure assez simple pour tenir en trois étapes (Sennrich et al., 2016) :

Découper tout le corpus en caractères isolés. Ce sont les premiers jetons.
Compter chaque paire de jetons voisins, et fusionner la paire la plus fréquente en un nouveau jeton, partout où elle apparaît.
Répéter l’étape 2 jusqu’à ce que le vocabulaire atteigne la taille choisie.

language modelsmodèles de langue DefinitionDéfinition · byte-pair encoding (BPE)encodage par paires d'octets · fr: encodage par paires d'octets· en : byte-pair encoding

A subword tokenization method that learns a vocabulary from training text by repeatedly joining frequently occurring adjacent characters or bytes.Méthode de segmentation sous-lexicale qui apprend un vocabulaire à partir d'un texte d'entraînement en fusionnant de façon répétée les caractères ou octets adjacents fréquents. (Jurafsky & Martin, 2026, pp. 42–43)

NotesRemarques It then applies the learned combinations to new text, allowing common words or sequences to become single tokens while representing rarer or unfamiliar words as several smaller tokens.Elle applique ensuite les combinaisons apprises au nouveau texte : les mots ou séquences courants deviennent des jetons uniques, tandis que les mots plus rares ou inconnus sont représentés par plusieurs jetons plus petits.

Appris une fois, appliqué pour toujours

Les mots fréquents obtiennent vite leur propre jeton (le est l’un des premiers) et les plus rares restent en quelques morceaux. La longueur compte aussi, en plus de la fréquence : chaque fusion joint deux voisins, un long mot a donc besoin de nombreuses fusions avant d’être entier de nouveau, et un mot court de même fréquence y arrive plus tôt. Les terminaisons et les radicaux fréquents, -ion, -ment, obtiennent aussi un jeton, parce qu’ils reviennent dans des milliers de mots.

Le comptage n’a lieu qu’une fois et produit une liste de fusions. Cette liste est ensuite appliquée sans changement à tous les textes que le modèle lira, y compris les vôtres.

Deux panneaux. À gauche, intitulé une fois, avant l'entraînement du modèle : un très grand corpus alimente l'encodage par paires d'octets, qui produit une liste de fusions numérotée, r plus e, puis i plus o, puis io plus n, puis re plus p, avec la note que la liste est apprise par comptage puis figée, et que le modèle est entraîné dessus. À droite, intitulé chaque fois, sur n'importe quel texte : votre phrase entre, la même liste est appliquée dans l'ordre, et les jetons Token, ization et shapes en sortent avec leurs identifiants. Une flèche en pointillé va de la liste de fusions à l'étape d'application, et une note dit que la liste n'est jamais réapprise, si bien que le découpage qu'un modèle reçoit est décidé avant qu'il existe. — Figure 6. L'encodage par paires d'octets tourne deux fois en deux sens différents : une fois comme apprentissage, sur un corpus, puis comme consultation appliquée sans changement à tout ce que le modèle lit.

language modelsmodèles de langue DefinitionDéfinition · tokenization²jetonisation² · fr: jetonisation²· en : tokenization²

The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. (Jurafsky & Martin, 2026, pp. 42–43)

NotesRemarques A tokenizer applies a model-specific vocabulary and segmentation procedure to the text. In modern language models, commonly used methods such as byte-pair encoding learn frequently occurring units from training data: common words or expressions may consequently be represented by single tokens, while rarer or unfamiliar words are divided into smaller subword, character or byte-based units. Because tokenizers and their vocabularies differ, the same text may require different numbers of tokens in different models or languages.Un segmenteur applique au texte un vocabulaire et une procédure de découpage propres au modèle. Dans les modèles de langue modernes, des méthodes courantes comme l'encodage par paires d'octets apprennent des unités fréquentes à partir des données d'entraînement : des mots ou expressions courants peuvent ainsi être représentés par un seul jeton, tandis que des mots plus rares ou inconnus sont divisés en unités sous-lexicales, en caractères ou en octets. Comme les segmenteurs et leurs vocabulaires diffèrent, le même texte peut exiger un nombre de jetons différent selon les modèles ou les langues.

Other attested French terms: segmentation en jetons textuels, conversion en jetonsAutres termes français attestés : segmentation en jetons textuels, conversion en jetons

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Mise à jour 10 septembre 2026

Sources

Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Sennrich, R., Haddow, B., & Birch, A. (2016). Neural Machine Translation of Rare Words with Subword Units. Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). https://doi.org/10.18653/v1/P16-1162

Sources

Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Sennrich, R., Haddow, B., & Birch, A. (2016). Neural Machine Translation of Rare Words with Subword Units. Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). https://doi.org/10.18653/v1/P16-1162

Byte-pair encodingL'encodage par paires d'octets

Learning the pieces by counting

Learned once, applied forever

Apprendre les morceaux en comptant

Appris une fois, appliqué pour toujours

Sources

Sources

Spotted an error? Une erreur ?