Counting in tokensCompter en jetons
TRA6008 OptionalFacultatif
The unit of everything
Once you know what a token is, the practical vocabulary around language models becomes readable. When a provider advertises a context window context windowfenêtre contextuelle language modelsmodèles de langue "The amount of input (like text) that an AI system can process at one time during a task. Think of it as a model's short-term memory. A model can only consider so much text when generating its next response, and once the conversation exceeds its context window, the model starts 'forgetting' prior responses." (Stanford HAI).Quantité d'entrée (du texte, par exemple) qu'un système d'IA peut traiter à la fois pendant une tâche ; en quelque sorte, la mémoire à court terme du modèle. Un modèle ne peut considérer qu'une quantité limitée de texte pour générer sa prochaine réponse et, quand la conversation dépasse sa fenêtre contextuelle, il commence à « oublier » les réponses antérieures (d'après Stanford HAI, traduction libre). of a million tokens, the unit is the one you have seen cut out of a sentence. When a price list gives an amount per million tokens, with input and output counted separately, those are the same tokens. Nothing is priced or measured in words, pages or characters, because the model’s own work scales with the tokens it processes.
From words to tokens
Converting in your head takes one rule of thumb per language. In English prose a token is about four fifths of a word, so a 3,000-word English text comes to roughly 3,700 tokens. The other languages you work in have their own ratio, and the same sentences measured for the token gap give these (see also the token gap between languages page) (voir aussi la page L'écart de jetons entre les langues):Measured on 11 September 2026 on the 1,012 sentences of the FLORES-200 test set test setjeu de données de test machine learningapprentissage automatique A portion of a dataset held back from both model training and model selection and used to evaluate the final model.Portion d'un jeu de données tenue à l'écart tant de l'entraînement que de la sélection du modèle et servant à évaluer le modèle final. Son but est d'estimer la performance du modèle achevé sur de nouvelles données issues de la tâche ou de la population visée. (NLLB Team et al., 2024) under OpenAI’s o200k_base tokenizer tokenization²jetonisation² language modelsmodèles de langue The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. , the same run as the table on the token gap page; words are counted on spaces, and the last column rounds to the nearest hundred.
| Language | Words per token | Tokens per word | 3,000 words come to about |
|---|---|---|---|
| English | 0.81 | 1.23 | 3,700 tokens |
| Spanish | 0.74 | 1.36 | 4,100 tokens |
| Portuguese | 0.71 | 1.41 | 4,200 tokens |
| French | 0.70 | 1.44 | 4,300 tokens |
| Dutch | 0.69 | 1.46 | 4,400 tokens |
| German | 0.62 | 1.62 | 4,900 tokens |
| Italian | 0.62 | 1.62 | 4,900 tokens |
The ratio depends on the type of text, so this one sample cannot be generalized too much, but the overall pattern is clear.
L’unité de tout
Une fois que vous savez ce qu’est un jeton, le vocabulaire pratique qui entoure les modèles de langue devient lisible. Quand un fournisseur annonce une fenêtre contextuelle context windowfenêtre contextuelle language modelsmodèles de langue "The amount of input (like text) that an AI system can process at one time during a task. Think of it as a model's short-term memory. A model can only consider so much text when generating its next response, and once the conversation exceeds its context window, the model starts 'forgetting' prior responses." (Stanford HAI).Quantité d'entrée (du texte, par exemple) qu'un système d'IA peut traiter à la fois pendant une tâche ; en quelque sorte, la mémoire à court terme du modèle. Un modèle ne peut considérer qu'une quantité limitée de texte pour générer sa prochaine réponse et, quand la conversation dépasse sa fenêtre contextuelle, il commence à « oublier » les réponses antérieures (d'après Stanford HAI, traduction libre). d’un million de jetons, l’unité est celle que vous avez vue découpée dans une phrase. Quand une grille tarifaire donne un montant par million de jetons, entrée et sortie comptées séparément, ce sont les mêmes jetons. Rien n’est facturé ni mesuré en mots, en pages ou en caractères, parce que le travail du modèle lui-même croît avec les jetons qu’il traite.
Des mots aux jetons
Convertir de tête demande une règle approximative par langue. En prose anglaise, un jeton vaut environ quatre cinquièmes de mot, de sorte qu’un texte anglais de 3 000 mots fait à peu près 3 700 jetons. Les autres langues dans lesquelles vous travaillez ont chacune leur ratio, et les mêmes phrases mesurées pour l’écart de jetons donnent ceux-ci (see also the token gap between languages page) (voir aussi la page L'écart de jetons entre les langues) :Mesuré le 11 septembre 2026 sur les 1 012 phrases du jeu de test test setjeu de données de test machine learningapprentissage automatique A portion of a dataset held back from both model training and model selection and used to evaluate the final model.Portion d'un jeu de données tenue à l'écart tant de l'entraînement que de la sélection du modèle et servant à évaluer le modèle final. Son but est d'estimer la performance du modèle achevé sur de nouvelles données issues de la tâche ou de la population visée. FLORES-200 (NLLB Team et al., 2024) sous le segmenteur tokenization²jetonisation² language modelsmodèles de langue The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. o200k_base d’OpenAI, la même exécution que le tableau de la page sur l’écart de jetons ; les mots sont comptés sur les espaces, et la dernière colonne est arrondie à la centaine.
| Langue | Mots par jeton | Jetons par mot | 3 000 mots font environ |
|---|---|---|---|
| Anglais | 0,81 | 1,23 | 3 700 jetons |
| Espagnol | 0,74 | 1,36 | 4 100 jetons |
| Portugais | 0,71 | 1,41 | 4 200 jetons |
| Français | 0,70 | 1,44 | 4 300 jetons |
| Néerlandais | 0,69 | 1,46 | 4 400 jetons |
| Allemand | 0,62 | 1,62 | 4 900 jetons |
| Italien | 0,62 | 1,62 | 4 900 jetons |
Le ratio dépend du type de texte, si bien que cet échantillon unique ne peut pas être trop généralisé, mais la tendance d’ensemble est claire.
Sources
- NLLB Team, Costa-jussà, M. R., Cross, J., Çelebi, O., Elbayad, M., et al. (2024). Scaling neural machine translation to 200 languages. Nature, 630, 841–846. https://doi.org/10.1038/s41586-024-07335-x
Sources
- NLLB Team, Costa-jussà, M. R., Cross, J., Çelebi, O., Elbayad, M., et al. (2024). Scaling neural machine translation to 200 languages. Nature, 630, 841–846. https://doi.org/10.1038/s41586-024-07335-x