Key points L'essentiel
A model never sees your words. The text is cut into tokens first: pieces usually smaller than a word and bigger than a letter.
Where the cuts fall comes from what was frequent in the text the tokenizer was built on, not from the grammar of the language.
Not words, but tokens
Everything so far has said word : a vector for each word, attention between
words. That is a simplification.
Take the sentence Tokenization shapes everything. You read three words and a
full stop. Systems built to work with language cut it up in their own ways, as
Figure 1 figure 1 shows:
31 characters for one, five tokens for another, each token an entry in a
vocabulary vocabulary vocabulaire language models modèles de langue The fixed set of tokens that a tokenizer and language model can recognize and represent. Ensemble fixe des jetons qu'un segmenteur et un modèle de langue peuvent reconnaître et représenter. with a number attached.
This is why careful writing says “next-token prediction next-token prediction prédiction du jeton suivant language models modèles de langue The task of estimating the probabilities of the tokens that could follow a given sequence of tokens. Tâche consistant à estimer les probabilités des jetons qui pourraient suivre une séquence de jetons donnée. ”
rather than “next-word prediction”. Words are a human unit.
what a person sees
3 words
Tokenization
shapes
everything.
what a character-level system sees
31 characters
T
o
k
e
n
i
z
a
t
i
o
n
␣
s
h
a
p
e
s
␣
e
v
e
r
y
t
h
i
n
g
.
what the model sees (o200k_base)
5 tokens
Token
4421
ization
2860
␣shapes
29447
␣everything
5519
.
13
␣ marks a space kept inside the token · the numbers are the vocabulary IDs the model actually receives
Click the drawing, or a line below, to build it up stage by stage.Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.
Three words and a full stop, as a person reads it. Thirty-one characters, one cell each. Five tokens, each with its number in the vocabulary. Figure 1. The same sentence read three ways. The token split and IDs are the real output of OpenAI's o200k_base tokenizer (checked 29 August 2026 ).
language models modèles de langue Definition Définition · token² jeton textuel² · fr: jeton textuel² · en : token²
A unit of text that a language model processes or generates. Unité de texte qu'un modèle de langue traite ou génère. Un jeton peut correspondre à un mot entier, à une partie de mot, à un signe de ponctuation ou à une séquence plus petite de caractères ou d'octets. (Jurafsky & Martin, 2026, pp. 6, 23, 42–43 )
Notes Remarques A token may correspond to an entire word, part of a word, a punctuation mark, or a smaller character- or byte-based sequence. Each token belongs to the model's vocabulary and is represented by a numerical identifier. Tokens are therefore not the same as words: one word may be represented by a single token or divided into several tokens, and different models may divide the same text differently. Chaque jeton appartient au vocabulaire du modèle et est représenté par un identifiant numérique. Les jetons ne coïncident donc pas avec les mots : un mot peut être représenté par un seul jeton ou divisé en plusieurs, et des modèles différents peuvent découper le même texte différemment.
Other attested French terms: jeton Autres termes français attestés : jeton
Tokens fall between characters and words: a common word gets a token of its
own, while a rare or invented one is split into pieces.
Frequency decides the cuts
The cuts are statistical. They fall where character sequences were frequent in
the text the tokenizer tokenization² jetonisation² language models modèles de langue The process of converting text into an ordered sequence of tokens that a language model can process. Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. was built on, which is why
Tokenization splits into Token and ization while shapes and
everything stay whole. In this example the split happens to align with the
linguistic structure of the word. That is not guaranteed at all.
Two tokenizations, two goals
Classical NLP splits text too, and calls that tokenization as
well (see also the Tokenization (including an example of the rule-based approach) chapter, in the Classical NLP module) (voir aussi le chapitre La segmentation en unités lexicales (y compris un exemple d'approche à base de règles) , dans le module TAL classique ) . There the
pieces are meant to be linguistic units, words and
punctuation token¹ occurrence de mot linguistics linguistique An individual occurrence of a word or another countable element in a text. Apparition individuelle d'un mot ou d'un autre élément dénombrable dans un texte. as a linguist would count them, because what follows is
linguistic processing of the text.
Tokenization for a language model language model (LM) modèle de langue language models modèles de langue A machine-learning model that estimates how likely different sequences of language are. Modèle d'apprentissage automatique qui estime la probabilité de différentes séquences de langue. has nothing
to do with linguistics. Its job is to cut a text into pieces that can be
handled efficiently. Whole words are possible, and so are single characters.
The models you know, ChatGPT, Claude and Gemini among them,
all use subword tokenization subword tokenization segmentation au niveau sous-lexical language models modèles de langue A data-driven method of dividing text into tokens that are often smaller than words, such as frequent word parts, characters, or byte sequences. Méthode de découpage du texte, apprise des données, en jetons souvent plus petits que les mots, comme des parties de mots fréquentes, des caractères ou des séquences d'octets. : pieces in
between, chosen by frequency, which is why a piece sometimes matches a
morpheme and often does not.
Written in English. The French version was automatically generated
and I have not revised it.
Rédigé en anglais. La version française a été
générée automatiquement et je ne l'ai pas révisée.
Updated 9 September 2026
Key points L'essentiel
Un modèle ne voit jamais vos mots. Le texte est d’abord découpé en jetons : des morceaux généralement plus petits qu’un mot et plus grands qu’une lettre.
L’endroit où tombent les coupes vient de ce qui était fréquent dans les textes sur lesquels le segmenteur a été construit, non de la grammaire de la langue.
Pas des mots, mais des jetons
Tout ce qui précède a dit mot : un vecteur par mot, de l’attention entre les
mots. C’est une simplification.
Prenez la phrase Tokenization shapes everything. Vous y lisez trois mots et
un point. Les systèmes construits pour travailler sur la langue la découpent
chacun à leur manière, comme le montre la
Figure 1 figure 1 :
31 caractères pour l’un, cinq jetons pour l’autre, chaque jeton une entrée d’un
vocabulaire vocabulary vocabulaire language models modèles de langue The fixed set of tokens that a tokenizer and language model can recognize and represent. Ensemble fixe des jetons qu'un segmenteur et un modèle de langue peuvent reconnaître et représenter. avec un numéro attaché.
C’est pourquoi une écriture soignée dit « prédiction du jeton suivant next-token prediction prédiction du jeton suivant language models modèles de langue The task of estimating the probabilities of the tokens that could follow a given sequence of tokens. Tâche consistant à estimer les probabilités des jetons qui pourraient suivre une séquence de jetons donnée. »
plutôt que « prédiction du mot suivant ». Le mot est une unité humaine.
ce que voit une personne
3 mots
Tokenization
shapes
everything.
ce que voit un système par caractères
31 caractères
T
o
k
e
n
i
z
a
t
i
o
n
␣
s
h
a
p
e
s
␣
e
v
e
r
y
t
h
i
n
g
.
ce que voit le modèle (o200k_base)
5 jetons
Token
4421
ization
2860
␣shapes
29447
␣everything
5519
.
13
␣ marque une espace gardée dans le jeton · les nombres sont les identifiants du vocabulaire
Click the drawing, or a line below, to build it up stage by stage.Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.
Trois mots et un point, comme une personne les lit. Trente et un caractères, une case chacun. Cinq jetons, chacun avec son numéro dans le vocabulaire. Figure 1. La même phrase lue de trois façons. Le découpage en jetons et les identifiants sont la sortie réelle du segmenteur o200k_base d'OpenAI (vérifiée le 29 août 2026 ).
language models modèles de langue Definition Définition · token² jeton textuel² · fr: jeton textuel² · en : token²
A unit of text that a language model processes or generates. Unité de texte qu'un modèle de langue traite ou génère. Un jeton peut correspondre à un mot entier, à une partie de mot, à un signe de ponctuation ou à une séquence plus petite de caractères ou d'octets. (Jurafsky & Martin, 2026, pp. 6, 23, 42–43 )
Notes Remarques A token may correspond to an entire word, part of a word, a punctuation mark, or a smaller character- or byte-based sequence. Each token belongs to the model's vocabulary and is represented by a numerical identifier. Tokens are therefore not the same as words: one word may be represented by a single token or divided into several tokens, and different models may divide the same text differently. Chaque jeton appartient au vocabulaire du modèle et est représenté par un identifiant numérique. Les jetons ne coïncident donc pas avec les mots : un mot peut être représenté par un seul jeton ou divisé en plusieurs, et des modèles différents peuvent découper le même texte différemment.
Other attested French terms: jeton Autres termes français attestés : jeton
Les jetons se situent entre les caractères et les mots : un mot courant
reçoit son propre jeton, tandis qu’un mot rare ou inventé est découpé en
morceaux.
La fréquence décide des coupes
Les coupes sont statistiques. Elles tombent là où des suites de caractères
étaient fréquentes dans les textes sur lesquels le
segmenteur tokenization² jetonisation² language models modèles de langue The process of converting text into an ordered sequence of tokens that a language model can process. Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. a été construit, ce qui explique que
Tokenization se découpe en Token et ization alors que shapes et
everything restent entiers. Dans cet exemple, le découpage s’aligne par
hasard sur la structure linguistique du mot. Ce n’est pas garanti du tout.
Deux jetonisations, deux objectifs
Le TAL classique découpe aussi les textes, et appelle cela de la jetonisation
également (see also the Tokenization (including an example of the rule-based approach) chapter, in the Classical NLP module) (voir aussi le chapitre La segmentation en unités lexicales (y compris un exemple d'approche à base de règles) , dans le module TAL classique ) . Là, les
morceaux sont censés être des unités linguistiques, des
mots et des signes de ponctuation token¹ occurrence de mot linguistics linguistique An individual occurrence of a word or another countable element in a text. Apparition individuelle d'un mot ou d'un autre élément dénombrable dans un texte. tels
qu’une linguiste les compterait, parce que ce qui suit est un traitement
linguistique du texte.
La jetonisation pour un modèle de langue language model (LM) modèle de langue language models modèles de langue A machine-learning model that estimates how likely different sequences of language are. Modèle d'apprentissage automatique qui estime la probabilité de différentes séquences de langue. n’a
rien à voir avec la linguistique. Son travail est de découper un texte en
morceaux qui se manipulent efficacement. Des mots entiers sont possibles, et
des caractères isolés aussi. Les modèles que vous connaissez, ChatGPT, Claude
et Gemini parmi eux, utilisent tous la
segmentation au niveau sous-lexical subword tokenization segmentation au niveau sous-lexical language models modèles de langue A data-driven method of dividing text into tokens that are often smaller than words, such as frequent word parts, characters, or byte sequences. Méthode de découpage du texte, apprise des données, en jetons souvent plus petits que les mots, comme des parties de mots fréquentes, des caractères ou des séquences d'octets. :
des morceaux entre les deux, choisis par fréquence, ce qui explique qu’un
morceau corresponde parfois à un morphème et souvent pas.
Written in English. The French version was automatically generated
and I have not revised it.
Rédigé en anglais. La version française a été
générée automatiquement et je ne l'ai pas révisée.
Mise à jour 9 septembre 2026