Hard cases for tokenizationLes cas difficiles de la segmentation
TRA2600 S5 · in classS5 · en classe
The cases a rule set has to cover
The table below lists common cases where splitting at spaces and punctuation is not enough, with what makes each one hard.
| Case | Examples | What breaks |
|---|---|---|
| Dates | 01/01/25, 01-01-2025, 1er janvier 2025 | Slashes and hyphens are punctuation elsewhere; the same date has many forms |
| Amounts and units | 3 €, €3, 3€, 10 km, 10km | A space, or none, between number and symbol; the symbol before or after |
| Phone numbers | (514) 343-6111, 00.11.22.33.44 | Brackets, hyphens, spaces and full stops inside one unit |
| Abbreviations | Dr., etc., p. ex., M. | The full stop belongs to the word and does not end the sentence |
| Compounds and multiword units | peut-être, chef-d’œuvre, pomme de terre, disque dur | One unit written with a hyphen, an apostrophe or spaces |
| Names | New York, Jean-Pierre, l’Université de Montréal | Several words, or a hyphen, or an elision, in one name |
| Clitics and contractions | l’opéra, doesn’t, du (de le) | A piece that cannot stand alone, attached to the next or previous word: one written word, two grammatical ones |
| Words cut at a line end | segmen- at the end of one line, tation at the start of the next | A hyphen that is not part of the word |
| Social media | #TAL, @umontreal, :), <3 | Symbols that are part of a word or are a word |
| Mixed forms | C++, rock ‘n’ roll, f*ck | Punctuation inside a word |
| Bullets and numbering | 1., a), • | A full stop or bracket that is not punctuation in the usual sense |
Every row needs its own rule, and the rules interact: a full stop may end a sentence, mark an abbreviation, appear inside a number or inside an address, and the tokenizer has to tell which from the characters around it (see also the Segmenting a text into sentences page) (voir aussi la page Segmenter un texte en phrases).
Writing systems without spaces
Chinese, Japanese and Thai do not separate words with spaces, so there is no first rule to start from. For Chinese, one option is to treat each character as a unit, which works quite well because a character generally stands for a meaningful unit of its own; for Japanese and Thai, where the individual character is too small a unit, the words have to be found by other means (Jurafsky & Martin, 2026). A rule set written for a language with spaces has nothing to say about these languages at all.
Every tool has its own conventions
Since every one of these cases is a decision, two tokenizers seldom make all of them the same way, and the same text comes out with different counts in different tools. The difference shows wherever words are counted or matched: in a word count, in a frequency list, in a search for an exact phrase, in the comparison of two word lists. Knowing that the cuts differ lets you check a count instead of trusting it. Some conventions are published as standards: the Penn Treebank convention for English, for instance, splits doesn’t into does and n’t and keeps hyphenated words together (Jurafsky & Martin, 2026).
Les cas qu’un ensemble de règles doit couvrir
Le tableau ci-dessous présente des cas courants où couper aux espaces et à la ponctuation ne suffit pas, avec ce qui rend chacun difficile.
| Cas | Exemples | Ce qui pose problème |
|---|---|---|
| Dates | 01/01/25, 01-01-2025, 1er janvier 2025 | Barres obliques et traits d’union sont de la ponctuation ailleurs ; une même date s’écrit de plusieurs façons |
| Montants et unités | 3 €, €3, 3€, 10 km, 10km | Une espace, ou aucune, entre le nombre et le symbole ; le symbole avant ou après |
| Numéros de téléphone | (514) 343-6111, 00.11.22.33.44 | Parenthèses, traits d’union, espaces et points dans une même unité |
| Abréviations | M., etc., p. ex., Dr. | Le point appartient au mot et ne termine pas la phrase |
| Mots composés et unités de plusieurs mots | peut-être, chef-d’œuvre, pomme de terre, disque dur | Une seule unité écrite avec un trait d’union, une apostrophe ou des espaces |
| Noms propres | New York, Jean-Pierre, l’Université de Montréal | Plusieurs mots, un trait d’union ou une élision dans un seul nom |
| Clitiques et contractions | l’opéra, doesn’t, du (de le) | Un élément qui ne s’emploie pas seul, attaché au mot suivant ou précédent : un mot écrit, deux mots grammaticaux |
| Mots coupés en fin de ligne | segmen- en fin de ligne, tation au début de la suivante | Un trait d’union qui ne fait pas partie du mot |
| Réseaux sociaux | #TAL, @umontreal, :), <3 | Des symboles qui font partie d’un mot ou qui sont un mot |
| Formes mixtes | C++, rock ‘n’ roll, f*ck | De la ponctuation à l’intérieur d’un mot |
| Puces et numérotation | 1., a), • | Un point ou une parenthèse qui n’est pas de la ponctuation au sens habituel |
Chaque ligne demande sa propre règle, et les règles interagissent : un point peut terminer une phrase, marquer une abréviation, apparaître dans un nombre ou dans une adresse, et le segmenteur doit déterminer lequel d’après les caractères qui l’entourent (see also the Segmenting a text into sentences page) (voir aussi la page Segmenter un texte en phrases).
Les écritures sans espaces
Le chinois, le japonais et le thaï ne séparent pas les mots par des espaces : il n’y a donc pas de première règle par laquelle commencer. Pour le chinois, une solution consiste à traiter chaque caractère comme une unité, ce qui fonctionne assez bien parce qu’un caractère correspond en général à une unité de sens ; pour le japonais et le thaï, où le caractère isolé est une unité trop petite, il faut trouver les mots autrement (Jurafsky & Martin, 2026). Un ensemble de règles écrit pour une langue à espaces n’a rien à dire sur ces langues.
Chaque outil a ses conventions
Puisque chacun de ces cas est une décision, deux segmenteurs les tranchent rarement tous de la même façon, et un même texte donne des comptes différents dans des outils différents. La différence apparaît partout où l’on compte ou compare des mots : dans un nombre de mots, dans une liste de fréquences, dans une recherche d’expression exacte, dans la comparaison de deux listes de mots. Savoir que les coupes diffèrent permet de vérifier un compte au lieu de s’y fier. Certaines conventions sont publiées comme des normes : la convention du Penn Treebank pour l’anglais, par exemple, coupe doesn’t en does et n’t et garde entiers les mots à trait d’union (Jurafsky & Martin, 2026).
Sources
- Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Sources
- Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/