BPE by handL'encodage par paires d'octets à la main
TRA6008 S2 · in classS2 · en classe
Counting pairs, one merge at a time
Here the whole training corpus is three words: representation, retention, repression. Three steps by hand are enough to see what kind of vocabulary comes out.
Start by splitting everything into characters, nine distinct ones in all:
r e p r e s e n t a t i o n
r e t e n t i o n
r e p r e s s i o nCount adjacent pairs. The pair r e occurs five times (twice in
representation, once in retention, twice in repression), more than any
other, so it becomes the first new token:
re p re s e n t a t i o n
re t e n t i o n
re p re s s i o nRecounting and merging seven more times, io then ion, then the three
merges that build repres and the two that make ent, leaves a corpus in
which no pair occurs more than once:
repres ent a t ion
re t ent ion
repres s ionClick the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.
Morphemes by accident
Seven tokens (repres, ent, a, t, ion, re, s) now cover all three
words. Counting pairs and nothing else found ion and ent, real English
morphemes, and repres, a shared stem. It also produced
repres·ent·a·t·ion, which no linguist would propose as a morphological
analysis of representation.
The same procedure at real scale
On a real corpus the process is the same at two different scales: millions of documents to start from, and a target vocabulary size that stops the merging while frequent pairs are still left to merge. Common words are rebuilt whole well before that point; the cut-off is what leaves the long tail in pieces. Sennrich et al. (2016), introducing the method for translation, used 59,500 merge operations for one language pair and 89,500 for another. Two of the basic building blocks for current large language models came out of machine translation machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. research: subword tokenization here, and the transformer transformertransformeur deep learningapprentissage profond A neural-network architecture for processing sequences, such as text.Architecture de réseau de neurones pour le traitement des séquences, comme le texte. a year later (see also the Attention & transformers chapter) (voir aussi le chapitre Attention et transformeurs). The tokenizers tokenization²jetonisation² language modelsmodèles de langue The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. of today’s largest models run to a few hundred thousand.
Compter les paires, une fusion à la fois
Ici, tout le corpus d’entraînement tient en trois mots : representation, retention, repression. Trois étapes à la main suffisent à voir quel genre de vocabulaire en sort.
On commence par tout découper en caractères, neuf caractères distincts en tout :
r e p r e s e n t a t i o n
r e t e n t i o n
r e p r e s s i o nOn compte les paires voisines. La paire r e apparaît cinq fois (deux fois
dans representation, une fois dans retention, deux fois dans
repression), plus que toute autre ; elle devient donc le premier nouveau
jeton :
re p re s e n t a t i o n
re t e n t i o n
re p re s s i o nEn recomptant et en fusionnant sept fois de plus, io puis ion, puis les
trois fusions qui construisent repres et les deux qui font ent, on obtient
un corpus où aucune paire n’apparaît plus d’une fois :
repres ent a t ion
re t ent ion
repres s ionClick the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.
Des morphèmes par accident
Sept jetons (repres, ent, a, t, ion, re, s) couvrent maintenant
les trois mots. Compter les paires et rien d’autre a trouvé ion et ent, de
vrais morphèmes de l’anglais, et repres, un radical commun. Cela a aussi
produit repres·ent·a·t·ion, qu’aucune linguiste ne proposerait comme analyse
morphologique de representation.
La même procédure à l’échelle réelle
Sur un corpus réel, le procédé est le même à deux échelles différentes : des millions de documents au départ, et une taille de vocabulaire visée qui arrête les fusions alors qu’il reste encore des paires fréquentes à fusionner. Les mots courants sont reconstruits entiers bien avant ce point ; c’est le seuil qui laisse la longue traîne en morceaux. Sennrich et al. (2016), en présentant la méthode pour la traduction, ont utilisé 59 500 opérations de fusion pour une paire de langues et 89 500 pour une autre. Deux des briques de base des grands modèles de langue actuels sont sorties de la recherche en traduction automatique machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. : la segmentation sous-lexicale ici, et le transformeur transformertransformeur deep learningapprentissage profond A neural-network architecture for processing sequences, such as text.Architecture de réseau de neurones pour le traitement des séquences, comme le texte. un an plus tard (see also the Attention & transformers chapter) (voir aussi le chapitre Attention et transformeurs). Les segmenteurs tokenization²jetonisation² language modelsmodèles de langue The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. des plus grands modèles d’aujourd’hui vont jusqu’à quelques centaines de milliers.
Sources
- Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
- Sennrich, R., Haddow, B., & Birch, A. (2016). Neural Machine Translation of Rare Words with Subword Units. Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). https://doi.org/10.18653/v1/P16-1162
Sources
- Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
- Sennrich, R., Haddow, B., & Birch, A. (2016). Neural Machine Translation of Rare Words with Subword Units. Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). https://doi.org/10.18653/v1/P16-1162