Why language is hardPourquoi le langage est difficile
PrintedImprimé le·aylart.github.io/learn·
CC BY-NC 4.0
Written in English. The French version was automatically generated
and I have not revised it.
Rédigé en anglais. La version française a été
générée automatiquement et je ne l'ai pas révisée.
What computers computeCe que les ordinateurs calculent
When you read the word happiness, you may think of many things. You may think
of related words, like joy or contentment. You may think about the
translation in another language, like bonheur or geluk. You may think about
a different form of the word: happy. Depending on your musical preferences,
you may think of a song by Taylor Swift, Pharrell Williams, or “if you’re happy
and you know it clap your hands”.
When a computer program “reads” the word happiness, it only gets a series of
bits: the numbers associated to the characters of that exact word. The only
easy connections to compute would be to other sequences of similar bits. For
instance, the word happening has many of the same letters and exactly the
same length.
Figure 1. What the word brings a reader, and what reaches the computer. The codes point at nothing, and they separate happiness from happening by two characters.
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Quand vous lisez le mot bonheur, vous pouvez penser à bien des choses. Vous
pouvez penser à des mots apparentés, comme joie ou contentement. Vous
pouvez penser à sa traduction dans une autre langue, comme happiness ou
geluk. Vous pouvez penser à une autre forme du mot : heureux. Selon vos
goûts musicaux, vous pouvez penser à une chanson de Taylor Swift, de Pharrell
Williams ou à « si tu aimes le soleil, tape des mains ».
Quand un programme informatique « lit » le mot bonheur, il ne reçoit qu’une
suite de bits : les nombres associés aux caractères de ce mot précis. Les
seules mises en relation faciles à calculer seraient avec d’autres suites de
bits semblables. Le mot honneur, par exemple, a exactement la même longueur
et cinq de ses sept lettres à la même place.
Figure 1. Ce que le mot apporte à qui le lit, et ce qui parvient à l'ordinateur. Les codes ne pointent vers rien, et ils ne séparent bonheur de honneur que par deux caractères.
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
AmbiguityAmbiguïté
Il est encore là means he is still there, when you have been waiting for him
to leave. It means he is there again, when he also came yesterday. Same four
words, and English has no one word that covers both: the translation has to
commit to still or to again. You make that choice from context, instantly
and usually without registering that a choice existed.
Ambiguity like this runs through language at every level:
Structure. Groucho Marx, in Animal Crackers: “One morning I shot an
elephant in my pajamas. How he got in my pajamas, I don’t know.” The joke is
the second sentence taking the reading you did not. In my pajamas can hang
from shot or from elephant, both are grammatical, and nothing but your
sense of what is likely picked one.
Figure 2. Illustration of “One morning I shot an elephant in my pajamas. How he got in my pajamas, I don’t know.” Image generated withImage générée avec ChatGPT 5.6 Sol.
The promptLa requête
I want to generate an image to illustrate Groucho Marx's joke "One morning I shot an elephant in my pajamas. How he got into my pajamas I'll never know." Can you generate an image of a moustached person with big eyebrows and a cigar, shooting a picture of an elephant wearing pajamas? Make it resemble a watercolour picture.
Reference. In the animal didn’t cross the street because it was too
tired, the word it points at the animal; make the ending too wide and
the same word points at the street. Nothing in the grammar decides; what
streets and animals can be does.
Figure 3. One word at the end changes, and the pronoun points at the other noun. The grammar is identical in both.
The same property makes this hard for machines and invisible to people.
Resolving it was too wide takes knowledge about streets; resolving encore
takes the surrounding sentences. You bring that knowledge for free. A
computer has to be given it, in a form it can compute with.
Your professional reflex, it depends on the context, is the requirement
that word-by-word approaches to language technology could not satisfy.
Sources
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Il est encore là veut dire qu’il n’est pas encore parti, quand vous
attendiez qu’il parte. Cela veut dire qu’il est revenu, quand il était déjà venu
la veille. Les quatre mêmes mots, et l’anglais n’a aucun mot qui couvre les deux
sens : la traduction doit trancher entre still et again. Vous faites ce
choix à partir du contexte, immédiatement et sans même remarquer qu’un choix
se présentait.
Une ambiguïté de ce genre traverse la langue à tous les niveaux :
La structure. Groucho Marx, dans Animal Crackers : « One morning I
shot an elephant in my pajamas. How he got in my pajamas, I don’t know. »
La blague tient à la deuxième phrase, qui prend le sens que vous n’aviez pas
retenu. In my pajamas peut se rattacher à shot ou à elephant, les deux
sont grammaticaux, et rien d’autre que votre idée du vraisemblable n’en a
choisi un.
Figure 2. Illustration de « One morning I shot an elephant in my pajamas. How he got in my pajamas, I don’t know. » Image generated withImage générée avec ChatGPT 5.6 Sol.
The promptLa requête
I want to generate an image to illustrate Groucho Marx's joke "One morning I shot an elephant in my pajamas. How he got into my pajamas I'll never know." Can you generate an image of a moustached person with big eyebrows and a cigar, shooting a picture of an elephant wearing pajamas? Make it resemble a watercolour picture.
La référence. Dans le camion n’a pas franchi le pont parce qu’il était
trop lourd, le mot il désigne le camion ; mettez trop étroit à la fin et
le même mot désigne le pont. Les deux noms sont masculins, donc la grammaire
ne tranche pas ; ce sont les propriétés des camions et des ponts qui le
font.
Figure 3. Un mot change à la fin, et le pronom désigne l'autre nom. La grammaire est identique dans les deux cas.
C’est la même propriété qui rend la chose difficile pour une machine et
invisible pour une personne. Résoudre trop étroit demande de savoir ce
qu’est un pont ; résoudre encore demande les phrases autour. Vous apportez
ce savoir gratuitement. Il faut le donner à un ordinateur, sous une forme
avec laquelle il peut calculer.
Votre réflexe professionnel, cela dépend du contexte, est l’exigence à
laquelle les approches mot à mot de la technologie langagière n’ont pas pu
répondre.
Sources
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Variation and exceptionsVariation et exceptions
Language never stands still or stays uniform. The French of a Montréal
contract, a Paris news site and a group chat differ in vocabulary, spelling
and syntax while all being French. New words arrive continuously (selfie,
deepfake and a steady stream of borrowed tech vocabulary; covid did not
exist in 2019 and was unavoidable a year later), old words shift sense, and
real text is full of typos, abbreviations and creative usage that no
dictionary anticipated.
And where language does follow rules, as the expression goes, the exception
proves the rule. French plurals add -s, except -al words taking -aux,
except bals and festivals; English past tenses add -ed, except a few
hundred of the most frequent verbs. Writing the rule is quick. The real
challenge is writing the exceptions, the exceptions to the exceptions, and
the way the rules interact with one another: each addition fixes some cases
and breaks others, and the effort of maintaining the set grows with its size.
Figure 4. Writing the rule is quick. The real challenge is its exceptions, their exceptions, and how they interact with the rest of the system.
This is the concrete experience behind the move to learning from
data (see also the Four paradigms page, in the Foundations of AI & NLP module) (voir aussi la page Quatre paradigmes, dans le module Fondements de l'IA et du TAL). A statistical system does
not need the exception list written out. Given enough text, the exceptions
are in the data, with their frequencies attached.
The catch is the phrase given enough text. A system that learns language
from data inherits the language of that data, its regions, registers and
blind spots included, and that inheritance can be measured directly on the
languages a model handles worst (see also the Consequences of tokenization chapter) (voir aussi le chapitre Conséquences de la jetonisation).
Sources
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
La langue ne s’arrête jamais et ne reste jamais uniforme. Le français d’un
contrat montréalais, d’un site d’information parisien et d’un fil de
clavardage diffère par le vocabulaire, l’orthographe et la syntaxe tout en
restant du français. De nouveaux mots arrivent continuellement (égoportrait,
hypertrucage et un flux constant de vocabulaire technique emprunté ;
covid n’existait pas en 2019 et était incontournable un an plus tard), des
mots anciens changent de sens, et les textes réels sont pleins de fautes de
frappe, d’abréviations et d’usages inventifs qu’aucun dictionnaire n’avait
prévus.
Et là où la langue suit bel et bien des règles, comme dit l’expression,
l’exception confirme la règle. Le pluriel français ajoute -s, sauf les mots
en -al qui prennent -aux, sauf bals et festivals ; le prétérit anglais
ajoute -ed, sauf quelques centaines des verbes les plus fréquents. Écrire la
règle est rapide. La vraie difficulté est d’écrire les exceptions, les
exceptions aux exceptions et la façon dont les règles interagissent entre
elles : chaque ajout corrige des cas et en casse d’autres, et l’effort
d’entretien croît avec la taille du jeu de règles.
Figure 4. Écrire la règle est rapide. La vraie difficulté, ce sont ses exceptions, les exceptions de celles-ci, et la façon dont elles interagissent avec le reste du système.
C’est l’expérience concrète qui explique le passage à l’apprentissage à partir
de données (see also the Four paradigms page, in the Foundations of AI & NLP module) (voir aussi la page Quatre paradigmes, dans le module Fondements de l'IA et du TAL). Un système statistique
n’a pas besoin qu’on lui écrive la liste des exceptions. Avec assez de texte,
les exceptions sont dans les données, avec leurs fréquences.
Le piège tient dans l’expression avec assez de texte. Un système qui
apprend la langue à partir de données hérite de la langue de ces
données, avec ses régions, ses registres et ses angles morts, et cet héritage
se mesure directement sur les langues qu’un modèle traite le plus
mal (see also the Consequences of tokenization chapter) (voir aussi le chapitre Conséquences de la jetonisation).
Sources
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
