PrintedImprimé le·aylart.github.io/learn·
CC BY-NC 4.0
What machine translation isQu'est-ce que la traduction automatique
Written in English. The French version was automatically generated
and I have not revised it.
Rédigé en anglais. La version française a été
générée automatiquement et je ne l'ai pas révisée.
What a translation system has to doCe qu'un système de traduction doit faire
A memory and a translation system
When you open a segment in a CAT tool and see a pre-filled suggestion for a
translation, that translation has either been retrieved from a translation
memory or been generated by a machine translation system
(Figure 1figure 1).
Figure 1. The same sentence sent to a translation memory and to a machine translation system.
a translation of any text, including text nobody ever translated
Strength
consistency, for content that was translated before
an answer for every segment, old or new
Weakness
nothing for new text
quality is not guaranteed, and the output gives no sign of how reliable it is
A translation memory and a machine translation system compared.
The second of the two, the machine translation system, is the subject of
this module, and the term is defined widely enough to cover every system of
the kind.
If translation were replacing each word with its equivalent, a bilingual
dictionary would be a translation system. Figure 2figure 2 shows two of the ways that fails.
Figure 2. Word for word, an English sentence into French, and the same sentence in English and in Japanese. The Japanese example is from Jurafsky and Martin (2026).
Eight kinds of difference between languages and cultures defeat the
dictionary.
Difference
Example
Consequence for a system
Word order
English He wrote a letter to a friend; Japanese tomodachi ni tegami-o kaita, word for word friend to letter wrote
the words have to be moved, and sometimes the whole sentence rebuilt
One word, several words
English bass is Spanish lubina (the fish) or bajo (the instrument); German has Wand (inside) and Mauer (outside) for wall
a sense has to be chosen from the context
What is left unsaid
Spanish Mostró su hallazgo a un descifrador ambulante has no subject; English needs He showed his find to a wandering decoder
a word the target grammar requires has to be supplied, and one it does without dropped
A different construction
English I am hungry, with an adjective; French j’ai faim, with a noun. English I like coffee; Spanish me gusta el café, where the coffee is the subject and pleases me
the same idea has to be rebuilt with the part of speech and the construction the target language uses
A word with no equivalent
Dutch gezellig, for a warm, convivial atmosphere; Mandarin xiào, for which English makes do with filial piety (Jurafsky & Martin, 2026)
a phrase, a near-equivalent or a loan has to stand in for the missing word
Figurative language and idioms
English it’s raining cats and dogs; French il pleut des cordes
the literal wording has to give way to the image the target language uses
Cultural knowledge
a Quebec text mentions le cégep; an English one mentions Grade 11 or Thanksgiving, which falls in October in Canada and in November in the United States
an explanation or an equivalent has to be added for readers who do not share the reference
Text-type conventions
an English manual says Press the button (imperative), a French one Appuyer sur le bouton (infinitive); a Japanese novel repeats a word where an English one would vary it
the text has to be reshaped to the conventions of its genre in the target culture, beyond the sentence
Eight differences between languages and cultures that defeat word-for-word replacement. The first three rows follow Jurafsky and Martin (2026); the others are mine, with one example borrowed from them.
Some of these, though not all and not to the same degree, are the
difficulties translators face when they learn to translate well.
The second difference is drawn in Figure 3figure 3.
Figure 3. English leg, foot and paw against their French translations. Example from Jurafsky and Martin (2026).
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Une mémoire et un système de traduction
Quand vous ouvrez un segment dans un outil de TAO et que vous y trouvez une
proposition de traduction déjà remplie, cette traduction a été soit retrouvée
dans une mémoire de traduction, soit générée par un système de traduction
automatique
(Figure 1figure 1).
Figure 1. La même phrase envoyée à une mémoire de traduction et à un système de traduction automatique.
une traduction de n’importe quel texte, y compris un texte que personne n’a jamais traduit
Force
la cohérence, pour les contenus déjà traduits
une réponse pour chaque segment, ancien ou nouveau
Faiblesse
rien pour un texte nouveau
la qualité n’est pas garantie, et le résultat n’indique en rien s’il est fiable
Une mémoire de traduction et un système de traduction automatique comparés.
Le second des deux, le système de traduction automatique, est le sujet de ce
module, et le terme est défini assez largement pour couvrir tous les systèmes
du genre.
Si traduire consistait à remplacer chaque mot par son équivalent, un
dictionnaire bilingue serait un système de traduction. La Figure 2figure 2 montre deux des façons dont cela échoue.
Figure 2. Mot à mot, une phrase anglaise vers le français, et la même phrase en anglais et en japonais. L'exemple japonais vient de Jurafsky et Martin (2026).
Huit types de différences entre langues et entre cultures mettent le
dictionnaire en échec.
Différence
Exemple
Conséquence pour un système
L’ordre des mots
anglais He wrote a letter to a friend ; japonais tomodachi ni tegami-o kaita, mot à mot ami à lettre a écrit
il faut déplacer les mots, et parfois reconstruire toute la phrase
Un mot, plusieurs mots
l’anglais bass se dit en espagnol lubina (le poisson) ou bajo (l’instrument) ; l’allemand a Wand (à l’intérieur) et Mauer (à l’extérieur) pour mur
il faut choisir un sens d’après le contexte
Ce qui reste implicite
l’espagnol Mostró su hallazgo a un descifrador ambulante n’a pas de sujet ; l’anglais exige He showed his find to a wandering decoder
il faut ajouter un mot que la grammaire cible exige, et retirer celui dont elle se passe
Une autre construction
l’anglais I am hungry, avec un adjectif ; le français j’ai faim, avec un nom. L’anglais I like coffee ; l’espagnol me gusta el café, où le café est le sujet et me plaît
la même idée doit être reconstruite avec la partie du discours et la construction qu’emploie la langue cible
Un mot sans équivalent
le néerlandais gezellig, pour une atmosphère chaleureuse et conviviale ; le mandarin xiào, que l’anglais rend tant bien que mal par filial piety (Jurafsky & Martin, 2026)
une périphrase, un quasi-équivalent ou un emprunt doit remplacer le mot manquant
Le langage figuré et les expressions idiomatiques
l’anglais it’s raining cats and dogs ; le français il pleut des cordes
la formulation littérale doit céder la place à l’image qu’emploie la langue cible
Les connaissances culturelles
un texte québécois mentionne le cégep ; un texte anglais mentionne Grade 11 ou Thanksgiving, qui tombe en octobre au Canada et en novembre aux États-Unis
il faut ajouter une explication ou un équivalent pour les lecteurs qui ne partagent pas la référence
Les conventions du type de texte
un manuel anglais dit Press the button (impératif), un manuel français Appuyer sur le bouton (infinitif) ; un roman japonais répète un mot là où un roman anglais le varierait
le texte doit être remodelé selon les conventions de son genre dans la culture cible, au-delà de la phrase
Huit différences entre langues et entre cultures qui mettent en échec le remplacement mot à mot. Les trois premières lignes suivent Jurafsky et Martin (2026) ; les autres sont de moi, avec un exemple qui leur est emprunté.
Certaines de ces difficultés, pas toutes et pas au même degré, sont celles
que les traducteurs affrontent quand ils apprennent à bien traduire.
La deuxième différence est dessinée à la Figure 3figure 3.
Figure 3. Les mots anglais leg, foot et paw et leurs traductions françaises. Exemple tiré de Jurafsky et Martin (2026).
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Figure 4. The four generations of machine translation. The dates mark when each approach arrived.
The dates of the four generations
The dates come from Jurafsky and Martin (2026), except the last; the detail of 1954 and 1966 from Hutchins (2003, 2004).
Late 1940s. Machine translation is proposed, soon after the first
computers.
1954. The first public demonstration of a prototype, the
Georgetown-IBM experiment, is widely reported: about sixty Russian
sentences are translated into English with a vocabulary of 250 words and
six rules. Russian was chosen for political reasons: with the Cold War
under way, the United States wanted above all to read what was being
written in the Soviet Union (Hutchins, 2004).
1966. The ALPAC report, commissioned by the agencies funding the
research in the United States, finds high-quality translation out of reach
and leads to a sharp cut in that funding for about twenty years
(Hutchins, 2003).ALPAC is the Automatic Language Processing Advisory Committee, set up in 1964 and chaired by John R. Pierce of Bell Telephone Laboratories; its only concern was the US government’s need to read Russian documents. The report itself is Language and Machines (National Research Council, 1966, doi:10.17226/9547); it concluded that “there is no immediate or predictable prospect of useful machine translation” and recommended machine aids for translators and better evaluation instead (Hutchins, 2003).
Some systems are built anyway, among them Météo, which translates Canadian
weather forecasts from English into French from the 1970s, and Systran.
Around 1990. Statistical methods arrive, made possible by large
bilingual corpora such as the Hansard, the proceedings of the Canadian
Parliament in both languages.
2023. WMT, the Conference on Machine Translation, includes large
language models among the systems of its yearly comparison for the first
time (Kocmi et al., 2023) (see also the WMT shared task chapter) (voir aussi le chapitre La tâche partagée WMT).
Older generations survive where the translated text a neural system needs
does not exist: a narrow domain, or a language pair with little of it.
Sources
Hutchins, J. (2003). ALPAC: The (In)Famous Report. In S. Nirenburg, H. L. Somers & Y. A. Wilks (Eds.), Readings in Machine Translation (pp. 131–136). The MIT Press. https://doi.org/10.7551/mitpress/5779.003.0014
Hutchins, W. J. (2004). The Georgetown-IBM experiment demonstrated in January 1954. Proceedings of the 6th Conference of the Association for Machine Translation in the Americas: Technical Papers, 102–114. https://aclanthology.org/2004.amta-papers.12/
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Kocmi, T., Avramidis, E., Bawden, R., Bojar, O., Dvorkovich, A., Federmann, C., et al. (2023). Findings of the 2023 Conference on Machine Translation (WMT23): LLMs Are Here but Not Quite There Yet. Proceedings of the Eighth Conference on Machine Translation (WMT 2023), Singapore, 1–42. https://doi.org/10.18653/v1/2023.wmt-1.1
Figure 4. Les quatre générations de la traduction automatique. Les dates marquent l'arrivée de chaque approche.
Les dates des quatre générations
Les dates viennent de Jurafsky et Martin (2026), sauf la dernière ; le détail de 1954 et de 1966 vient de Hutchins (2003, 2004).
Fin des années 1940. La traduction automatique est proposée, peu après
les premiers ordinateurs.
1954. La première démonstration publique d’un prototype, l’expérience
Georgetown-IBM, est largement rapportée : une soixantaine de phrases russes
sont traduites en anglais avec un vocabulaire de 250 mots et six règles. Le
russe a été choisi pour des raisons politiques : en pleine guerre froide,
les États-Unis voulaient avant tout lire ce qui s’écrivait en Union
soviétique (Hutchins, 2004).
1966. Le rapport ALPAC, commandé par les organismes qui finançaient la
recherche aux États-Unis, conclut qu’une traduction de haute qualité est
hors de portée et entraîne une forte réduction de ce financement pendant
une vingtaine d’années
(Hutchins, 2003).ALPAC est l’Automatic Language Processing Advisory Committee, créé en 1964 et présidé par John R. Pierce, des Bell Telephone Laboratories ; sa seule préoccupation était le besoin du gouvernement américain de lire des documents russes. Le rapport lui-même est Language and Machines (National Research Council, 1966, doi:10.17226/9547) ; il concluait que « there is no immediate or predictable prospect of useful machine translation » [ma traduction : « il n’y a aucune perspective immédiate ou prévisible de traduction automatique utile »] et recommandait plutôt des aides informatiques pour les traducteurs et une meilleure évaluation (Hutchins, 2003).
Quelques systèmes sont tout de même construits, dont Météo, qui traduit les
bulletins météorologiques canadiens de l’anglais vers le français à partir
des années 1970, et Systran.
Vers 1990. Les méthodes statistiques arrivent, rendues possibles par de
grands corpus bilingues comme le Hansard, les débats du Parlement canadien
dans les deux langues.
2023. WMT, la Conference on Machine Translation, inclut pour la première
fois des grands modèles de langue parmi les systèmes de sa comparaison
annuelle (Kocmi et al., 2023) (see also the WMT shared task chapter) (voir aussi le chapitre La tâche partagée WMT).
Les générations plus anciennes survivent là où les textes traduits qu’exige
un système neuronal n’existent pas : un domaine étroit, ou une paire de
langues qui en compte peu.
Sources
Hutchins, J. (2003). ALPAC: The (In)Famous Report. In S. Nirenburg, H. L. Somers & Y. A. Wilks (Eds.), Readings in Machine Translation (pp. 131–136). The MIT Press. https://doi.org/10.7551/mitpress/5779.003.0014
Hutchins, W. J. (2004). The Georgetown-IBM experiment demonstrated in January 1954. Proceedings of the 6th Conference of the Association for Machine Translation in the Americas: Technical Papers, 102–114. https://aclanthology.org/2004.amta-papers.12/
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Kocmi, T., Avramidis, E., Bawden, R., Bojar, O., Dvorkovich, A., Federmann, C., et al. (2023). Findings of the 2023 Conference on Machine Translation (WMT23): LLMs Are Here but Not Quite There Yet. Proceedings of the Eighth Conference on Machine Translation (WMT 2023), Singapore, 1–42. https://doi.org/10.18653/v1/2023.wmt-1.1
Machine translation in a translator's workLa traduction automatique dans le travail du traducteur
CAT tool, translation service or chatbot
Machine translation is requested from three kinds of place.
In a CAT tool. The tool divides the document into segments because its
translation memory works segment by segment, and the machine translation
connection sends those same segments, one at a time, so the system is given
one sentence with nothing before or after it. Only professional translators
work this way (see also the Wordfast: tags and machine translation chapter, in the CAT tools module) (voir aussi le chapitre Wordfast : balises et traduction automatique, dans le module Outils de TAO).
On a translation service, a website or an app, anyone pastes a sentence,
a paragraph or an entire file.
In a chatbot, the whole text goes in with an instruction.
The generation of the system decides how much of the surrounding text it
uses. Statistical and neural systems translate one sentence at a time
whatever they are given: a document pasted into a service
of that generation is cut into sentences, and each is translated in isolation,
as it would be in a CAT tool (see also the Neural translation page) (voir aussi la page La traduction neuronale).
A large language model can take the whole text as its unit, so the
surrounding sentences are in view, and the errors change with it. Figure 5figure 5 shows the two extremes.
Figure 5. The same document translated segment by segment in a CAT tool and all at once in a chatbot.
a gender, a pronoun or a sense that the next sentence would have settled
a sentence or a paragraph dropped on the way; a passage smoothed into saying something slightly different
The two extremes compared: the input each gives the system and the errors each produces.
The pair of sentences below shows the first kind of error. A system that is
given only the first sentence has no way to settle the engineer’s gender,
which French needs in order to write ingénieur or ingénieure; the second
sentence settles it.
I spoke to the engineer this morning. She will send the drawings on Friday.
Läubli et al. (2018) found that raters comparing whole documents preferred
the human translation more clearly than raters comparing isolated sentences:
some errors of a fluent system only show once the surrounding sentences are
in view.
Post-editing
A person who corrects the draft a system produced is post-editing it.
For some uses the raw output is good enough: a text read once for its gist,
or a site where the reader is told that the translation was generated. In
the many cases where a wrong sentence has a cost, the output is a draft
whatever produced it, a neural system or a chatbot, and it has to be checked
against the source, because a fluent sentence does not show where it is
wrong (see also the Checking the answer page, in the Using LLMs module) (voir aussi la page Vérifier la réponse, dans le module Utiliser les GML).
The errors to expect depend on the generation that produced the draft: a term rendered by its most
common equivalent rather than the client’s, a calque of the source idiom, a
number or a name silently changed, a pronoun resolved the wrong way.
Unless you run a local translation system, any machine translation system
you use means that the texts you send for translation leave your computer and
go to the provider’s servers. The provider’s terms, the plan and your
settings decide what happens to them there (see also the Training, retention and privacy settings page, in the Using LLMs module) (voir aussi la page Entraînement, conservation et paramètres de confidentialité, dans le module Utiliser les GML).
Decide where the text goes before a client’s confidential document is pasted
anywhere.
Sources
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Läubli, S., Sennrich, R., & Volk, M. (2018). Has machine translation achieved human parity? A case for document-level evaluation. Proceedings of EMNLP 2018, 4791–4796. https://aclanthology.org/D18-1512/
Moslem, Y., Haque, R., Kelleher, J. D., & Way, A. (2023). Adaptive Machine Translation with Large Language Models. Proceedings of the 24th Annual Conference of the European Association for Machine Translation (EAMT 2023), 227–237. https://aclanthology.org/2023.eamt-1.22/
Outil de TAO, service de traduction ou agent conversationnel
La traduction automatique est demandée depuis trois sortes d’endroits.
Dans un outil de TAO. L’outil découpe le document en segments parce que
sa mémoire de traduction fonctionne segment par segment, et la connexion de
traduction automatique envoie ces mêmes segments, un à la fois : le système
reçoit donc une phrase, sans rien avant ni après. Seuls les traducteurs
professionnels travaillent ainsi (see also the Wordfast: tags and machine translation chapter, in the CAT tools module) (voir aussi le chapitre Wordfast : balises et traduction automatique, dans le module Outils de TAO).
Sur un service de traduction, un site web ou une application, n’importe
qui colle une phrase, un paragraphe ou un fichier entier.
Dans un agent conversationnel, le texte entier entre avec une consigne.
La génération du système décide de la part du texte environnant qu’il
utilise. Les systèmes statistiques et neuronaux traduisent une phrase à la
fois, quoi qu’on leur donne : un document collé dans un service de cette
génération est découpé en phrases, et chacune est traduite isolément, comme
elle le serait dans un outil de TAO (see also the Neural translation page) (voir aussi la page La traduction neuronale).
Un grand modèle de langue peut prendre le texte entier pour unité ; les
phrases voisines sont alors en vue, et les erreurs changent avec elles. La Figure 5figure 5 montre les deux extrêmes.
Figure 5. Le même document traduit segment par segment dans un outil de TAO et d'un seul coup dans un agent conversationnel.
un genre, un pronom ou un sens que la phrase suivante aurait tranché
une phrase ou un paragraphe perdu en route ; un passage lissé jusqu’à dire quelque chose de légèrement différent
Les deux extrêmes comparés : ce que chacun donne au système et les erreurs que chacun produit.
La paire de phrases ci-dessous montre le premier type d’erreur. Un système
qui ne reçoit que la première phrase n’a aucun moyen de trancher le genre de
la personne, que le français doit pourtant marquer pour écrire ingénieur ou
ingénieure ; la deuxième phrase le tranche.
I spoke to the engineer this morning. She will send the drawings on Friday.
Läubli et al. (2018) ont constaté que les évaluateurs qui comparaient des
documents entiers préféraient la traduction humaine plus nettement que ceux
qui comparaient des phrases isolées : certaines erreurs d’un système fluide
n’apparaissent que lorsque les phrases voisines sont en vue.
La postédition
Une personne qui corrige le brouillon produit par un système fait de la postédition.
Pour certains usages, le résultat brut suffit : un texte lu une fois pour en
saisir l’essentiel, ou un site où le lecteur est averti que la traduction a
été générée. Dans les nombreux cas où une phrase erronée a un coût, le
résultat est un brouillon, quel que soit le système qui l’a produit,
système neuronal ou agent conversationnel, et il doit être vérifié par
rapport à la source, parce qu’une phrase fluide ne montre pas où elle est
fausse (see also the Checking the answer page, in the Using LLMs module) (voir aussi la page Vérifier la réponse, dans le module Utiliser les GML).
Les erreurs à prévoir dépendent de la génération qui a produit le
brouillon : un terme rendu par son équivalent le plus courant plutôt que par
celui du client, un calque de l’expression idiomatique de la source, un
nombre ou un nom changé sans avertissement, un pronom résolu dans le mauvais
sens.
À moins d’utiliser un système de traduction local, tout système de traduction
automatique que vous employez implique que les textes que vous envoyez à
traduire quittent votre ordinateur pour les serveurs du fournisseur. Les
conditions du fournisseur, le forfait et vos réglages décident de ce qu’il en
advient (see also the Training, retention and privacy settings page, in the Using LLMs module) (voir aussi la page Entraînement, conservation et paramètres de confidentialité, dans le module Utiliser les GML).
Décidez où le texte va avant de coller le document confidentiel d’un client
où que ce soit.
Sources
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Läubli, S., Sennrich, R., & Volk, M. (2018). Has machine translation achieved human parity? A case for document-level evaluation. Proceedings of EMNLP 2018, 4791–4796. https://aclanthology.org/D18-1512/
Moslem, Y., Haque, R., Kelleher, J. D., & Way, A. (2023). Adaptive Machine Translation with Large Language Models. Proceedings of the 24th Annual Conference of the European Association for Machine Translation (EAMT 2023), 227–237. https://aclanthology.org/2023.eamt-1.22/
Before neural networks: rules and statisticsAvant les réseaux de neurones : règles et statistiques
Written in English. The French version was automatically generated
and I have not revised it.
Rédigé en anglais. La version française a été
générée automatiquement et je ne l'ai pas révisée.
Rule-based translationLa traduction à base de règles
Dictionaries and rules
The first generation of systems translated the way a beginner with a
dictionary and a grammar might. For the green witch arrived, an
English-to-French system of this kind works through a list:
look each word up in its bilingual dictionary: the → la, green →
vert, witch → sorcière, arrived → est arrivée;
apply the rule that a French adjective follows its noun: sorcière vert;
apply the rule that it agrees in gender and number: sorcière verte;
assemble the sentence: la sorcière verte est arrivée.
Jurafsky and Martin (2026) describe three designs, which differ in how much
of the source sentence is analyzed before anything is produced (Figure 1figure 1).
Figure 1. The Vauquois triangle, as given by Jurafsky and Martin (2026), who attribute it to Vauquois.
Design
Analysis before anything is written
Written for each language pair
Direct
nothing: the sentence is worked through word by word
a large bilingual dictionary whose every entry is a small program, translating one word and handling its reordering
Transfer
the grammatical structure of the source sentence
rules that turn a source structure into a target structure, then a generator, the part that writes the target sentence from that structure
Interlingua
the meaning, into a representation independent of both languages
in principle nothing specific to the pair: one analyzer per source language, one generator per target language
The three designs of rule-based translation.
Going up the triangle means more analysis on both sides and less knowledge
specific to the pair in the middle.
Strengths and limits
Strengths
Limits
Control. A wrong translation is traced to a rule or a dictionary entry, and corrected there.
Transparency. The path from the source to the output can be read, rule by rule.
Slow and expensive to build. In a direct or transfer system, each language pair and each direction needs its own dictionary and rules, written by linguists.
Hard to maintain. Rules interact, and a rule added for one case can break another.
The approach lost ground once enough translated text existed to learn from,
and it survives mainly for language pairs where that text does not exist.
Sources
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Des dictionnaires et des règles
La première génération de systèmes traduisait comme le ferait un débutant
muni d’un dictionnaire et d’une grammaire. Pour the green witch arrived, un
système de ce type qui traduit de l’anglais vers le français suit une liste
d’étapes :
chercher chaque mot dans son dictionnaire bilingue : the → la,
green → vert, witch → sorcière, arrived → est arrivée ;
appliquer la règle selon laquelle l’adjectif français suit le nom :
sorcière vert ;
appliquer la règle d’accord en genre et en nombre : sorcière verte ;
assembler la phrase : la sorcière verte est arrivée.
Jurafsky et Martin (2026) décrivent trois architectures, qui diffèrent par la
part de la phrase source analysée avant que quoi que ce soit soit produit
(Figure 1figure 1).
Figure 1. Le triangle de Vauquois, tel que le présentent Jurafsky et Martin (2026), qui l'attribuent à Vauquois.
Architecture
Analyse avant toute écriture
Ce qu’il faut écrire pour chaque paire de langues
Directe
aucune : la phrase est traitée mot par mot
un grand dictionnaire bilingue dont chaque entrée est un petit programme, qui traduit un mot et gère son déplacement dans la phrase
Transfert
la structure grammaticale de la phrase source
des règles qui transforment une structure source en structure cible, puis un générateur, la partie qui écrit la phrase cible à partir de cette structure
Interlangue
le sens, dans une représentation indépendante des deux langues
en principe rien de propre à la paire : un analyseur par langue source, un générateur par langue cible
Les trois architectures de la traduction à base de règles.
Plus on monte dans le triangle, plus l’analyse est poussée des deux côtés, et
moins il faut de connaissances propres à la paire de langues au milieu.
Forces et limites
Forces
Limites
Contrôle. Une traduction erronée se ramène à une règle ou à une entrée du dictionnaire, et se corrige à cet endroit.
Transparence. Le chemin de la phrase source au résultat se lit règle par règle.
Long et coûteux à construire. Dans un système direct ou à transfert, chaque paire de langues et chaque direction exigent leurs propres dictionnaire et règles, écrits par des linguistes.
Difficile à maintenir. Les règles interagissent, et une règle ajoutée pour un cas peut en défaire un autre.
Forces et limites de la traduction à base de règles.
L’approche a perdu du terrain dès que les textes traduits ont été assez
nombreux pour qu’on puisse en apprendre, et elle survit surtout pour les
paires de langues où ces textes n’existent pas.
Sources
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
The parts of a statistical system are shown in Figure 2figure 2 (Jurafsky & Martin, 2026).
Figure 2. The three components of a statistical translation system. The phrase table and its probabilities are illustrative.
The translation model contains the bilingual knowledge: for each source
word or phrase, the target words or phrases paired with it in the corpus,
each with a probability. In the phrase-based systems that became
standard in the 2000s, this is a table of phrase pairs, the phrase table.
The decoder combines the two: it takes every phrase pair that matches
the source sentence and searches for the combination and order whose
probability is highest under both models together.
The reference textbook of this generation is Koehn (2010).
You can try the reasoning yourself on a menu in a language you do not read,
for example the four dishes in the table below. If you read Chinese, the
steps work the same way for a menu in any language you do not know.
On the menu
In English
虾仁炒饭
Shrimp fried rice
牛肉炒饭
Beef fried rice
牛肉面
Beef noodles
炒面
Fried noodles
Four dishes from a Chinese menu, with their English translations.
Two dishes are fried rice, and the only signs they have in common are
炒饭, so 炒饭 probably means fried rice.
Two dishes contain beef, and they have 牛肉 in common, so 牛肉 means
beef: two signs for one English word.
In 牛肉面, once 牛肉 is beef, the one sign left, 面, must be noodles.
In 炒面, once 面 is noodles, 炒 must be fried, which leaves 饭 in
炒饭 for rice.
In the first dish, 虾仁 is then the only candidate left for shrimp.
You have matched every sign to an English word without reading the menu,
only by comparing which signs and which English words occur together. Real
translations are less tidy: the same menu could translate 炒面 as chow
mein, and that dish would then tell you nothing about fried or noodles.
What the system does
A statistical system applies the same idea to millions of sentence pairs,
with counts in place of reasoning.
At the start, the system has no information about either language. Every word
of a source sentence is equally likely to translate every word of its
target sentence (Brown et al., 1993).
The system counts and recalculates, many times over. Words that keep
occurring in the same sentence pairs gain probability; once a word’s
translation is clear, the other words of the pair are left to share the
rest. The effect is close to the elimination you did on the menu. The
result is a word alignment: in each sentence pair, each word is paired
with its probable translation (Brown et al., 1993).
The system then collects phrase pairs, sequences of words that are
aligned only with each other, such as 炒面 and fried noodles (Koehn et
al., 2003).
The probability in the phrase table is a share. Of all the times a
source phrase was paired with something, it is the share of times it was
paired with this translation (Koehn et al., 2003). If 炒面 occurred
1 000 times, 700 times with fried noodles, 250 times with chow mein and
50 times with noodles, the three probabilities would be 0.70, 0.25 and
0.05 (illustrative numbers).
Whether the model produces text. In a statistical system the language
model does not produce any text of its own: the phrase table proposes the
candidates and the language model only scores them. An LLM produces the
text itself, one token at a time, by choosing among the tokens it gives a high
probability (see also the LLMs as next-word predictors chapter, in the LLM lifecycle module) (voir aussi le chapitre Les GML, prédicteurs du mot suivant, dans le module Cycle de vie des GML).
Dependence on the training data
The quality of a statistical system depends mainly on its training data:
the more translated words a system was trained on, the more reliable its
counts;
the closer the training data is to the text to translate, in domain and in
style, the better the output: a system trained on parliamentary proceedings
translates proceedings well and a product manual less well;
languages and domains with little parallel text are served badly, a problem
the neural generation inherited (see also the Remaining failures page) (voir aussi la page Les échecs qui subsistent).
Sources
Brown, P. F., Della Pietra, S. A., Della Pietra, V. J., & Mercer, R. L. (1993). The Mathematics of Statistical Machine Translation: Parameter Estimation. Computational Linguistics, 19(2), 263–311. https://aclanthology.org/J93-2003/
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Koehn, P., Och, F. J., & Marcu, D. (2003). Statistical Phrase-Based Translation. Proceedings of the 2003 Human Language Technology Conference of the North American Chapter of the Association for Computational Linguistics, 127–133. https://aclanthology.org/N03-1017/
Tiedemann, J. (2012). Parallel Data, Tools and Interfaces in OPUS. Proceedings of the Eighth International Conference on Language Resources and Evaluation (LREC'12), Istanbul, 2214–2218. https://aclanthology.org/L12-1246/
Ziemski, M., Junczys-Dowmunt, M., & Pouliquen, B. (2016). The United Nations Parallel Corpus v1.0. Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), Portorož, 3530–3534. https://aclanthology.org/L16-1561/
Modèle de traduction, modèle de langue et décodeur
La Figure 2figure 2 présente les composantes d’un système statistique (Jurafsky & Martin, 2026).
Figure 2. Les trois composantes d'un système de traduction statistique. La table de traduction et ses probabilités sont fictives.
Le modèle de traduction contient les connaissances bilingues : pour
chaque mot ou segment source, les mots ou segments cibles qui lui sont
appariés dans le corpus, chacun avec une probabilité. Dans les systèmes
fondés sur les segments, devenus la norme dans les années 2000, il s’agit
d’une table de paires de segments, la table de traduction (angl. phrase
table).
Le décodeur combine les deux : il prend toutes les paires de segments qui
correspondent à la phrase source et cherche la combinaison et l’ordre dont la
probabilité est la plus élevée selon les deux modèles réunis.
L’ouvrage de référence de cette génération est celui de Koehn (2010).
Vous pouvez essayer ce raisonnement vous-même sur un menu dans une langue que
vous ne lisez pas, par exemple les quatre plats du tableau ci-dessous. Si vous
lisez le chinois, les étapes fonctionnent de la même façon avec un menu dans
n’importe quelle langue que vous ne connaissez pas.
Sur le menu
En français
虾仁炒饭
Riz sauté aux crevettes
牛肉炒饭
Riz sauté au bœuf
牛肉面
Nouilles au bœuf
炒面
Nouilles sautées
Quatre plats d'un menu chinois, avec leur traduction française.
Deux plats sont du riz sauté, et les seuls signes qu’ils ont en commun
sont 炒饭 : 炒饭 veut donc probablement dire riz sauté.
Deux plats contiennent du bœuf, et ils ont 牛肉 en commun : 牛肉 veut donc
dire bœuf, deux signes pour un seul mot français.
Dans 牛肉面, une fois 牛肉 identifié comme bœuf, le seul signe qui reste,
面, doit vouloir dire nouilles.
Dans 炒面, une fois 面 identifié comme nouilles, 炒 doit vouloir dire
sautées, ce qui laisse 饭, dans 炒饭, pour riz.
Dans le premier plat, 虾仁 est alors le seul candidat qui reste pour
crevettes.
Vous avez associé chaque signe à un mot français sans lire le menu,
uniquement en comparant quels signes et quels mots français apparaissent
ensemble. Les traductions réelles sont moins nettes : le même menu pourrait
traduire 炒面 par chow mein, et ce plat ne vous apprendrait alors rien sur
sautées ni sur nouilles.
Ce que fait le système
Un système statistique applique la même idée à des millions de paires de
phrases, avec des comptages à la place du raisonnement.
Au départ, le système ne dispose d’aucune information sur l’une ou l’autre langue. Chaque mot d’une
phrase source a autant de chances de traduire n’importe quel mot de sa
phrase cible (Brown et al., 1993).
Le système compte et recalcule, un grand nombre de fois. Les mots qui
reviennent sans cesse dans les mêmes paires de phrases gagnent en
probabilité ; une fois la traduction d’un mot établie, les autres mots de la
paire se partagent le reste. L’effet est proche de l’élimination que vous
avez faite sur le menu. Le résultat est un alignement des mots : dans
chaque paire de phrases, chaque mot est apparié à sa traduction probable
(Brown et al., 1993).
Le système recueille ensuite des paires de segments, des suites de mots
qui ne sont alignées qu’entre elles, comme 炒面 et nouilles sautées (Koehn
et al., 2003).
La probabilité dans la table de traduction est une proportion. Sur
toutes les fois où un segment source a été apparié à quelque chose, c’est la
proportion des fois où il a été apparié à cette traduction (Koehn et al.,
2003). Si 炒面 apparaissait 1 000 fois, dont 700 fois avec nouilles
sautées, 250 fois avec chow mein et 50 fois avec nouilles, les trois
probabilités seraient 0,70, 0,25 et 0,05 (chiffres fictifs).
Le modèle de langue et les grands modèles de langue
Si le modèle produit du texte. Dans un système statistique, le modèle de
langue ne produit aucun texte de lui-même : la table de traduction propose
les candidats, et le modèle de langue se contente de les noter. Un GML
produit lui-même le texte, un jeton à la fois, en choisissant parmi les
jetons auxquels il attribue une forte probabilité (see also the LLMs as next-word predictors chapter, in the LLM lifecycle module) (voir aussi le chapitre Les GML, prédicteurs du mot suivant, dans le module Cycle de vie des GML).
La dépendance aux données d’entraînement
La qualité d’un système statistique dépend surtout de ses données
d’entraînement :
plus le système a été entraîné sur un grand nombre de mots traduits, plus
ses comptages sont fiables ;
plus les données d’entraînement sont proches du texte à traduire, par le
domaine et par le style, meilleur est le résultat : un système entraîné sur
des débats parlementaires traduit bien des débats et moins bien un manuel de
produit ;
les langues et les domaines qui disposent de peu de textes parallèles sont
mal servis, un problème dont la génération neuronale a hérité (see also the Remaining failures page) (voir aussi la page Les échecs qui subsistent).
Sources
Brown, P. F., Della Pietra, S. A., Della Pietra, V. J., & Mercer, R. L. (1993). The Mathematics of Statistical Machine Translation: Parameter Estimation. Computational Linguistics, 19(2), 263–311. https://aclanthology.org/J93-2003/
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Koehn, P., Och, F. J., & Marcu, D. (2003). Statistical Phrase-Based Translation. Proceedings of the 2003 Human Language Technology Conference of the North American Chapter of the Association for Computational Linguistics, 127–133. https://aclanthology.org/N03-1017/
Tiedemann, J. (2012). Parallel Data, Tools and Interfaces in OPUS. Proceedings of the Eighth International Conference on Language Resources and Evaluation (LREC'12), Istanbul, 2214–2218. https://aclanthology.org/L12-1246/
Ziemski, M., Junczys-Dowmunt, M., & Pouliquen, B. (2016). The United Nations Parallel Corpus v1.0. Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), Portorož, 3530–3534. https://aclanthology.org/L16-1561/
Neural translation and large language modelsLa traduction neuronale et les grands modèles de langue
Written in English. The French version was automatically generated
and I have not revised it.
Rédigé en anglais. La version française a été
générée automatiquement et je ne l'ai pas révisée.
Figure 1. The three separate components of a statistical system and the single network of a neural one.
A decoder remains, but the word now names a different thing. In a statistical
system the decoder was the search that combined phrase pairs; in a neural
system it is the half of the network that writes the translation. The other
half, the encoder, reads the source sentence, and the design takes its name
from these two halves:
An encoder-decoder model turns one sequence of words into another. Models that
do this form a wider family, with a name of its own:
Translation is the typical case: the output is in another language, and often
differs from the source in length and word order.
Figure 2figure 2 follows one such sentence through a
transformer encoder-decoder, the design of today’s translation
systems (see also the Encoders and decoders page, in the Language as numbers module) (voir aussi la page Encodeurs et décodeurs, dans le module Le langage en nombres).
The source has six words and the translation five, a suivi becomes the
single word followed, and noir comes after chien where black comes
before dog.
Click the drawing, or a line below, to build it up stage by stage.Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.
Figure 2. A transformer encoder-decoder translating one sentence, from the start signal to the fourth word.
In Figure 4figure 4, greedy decoding is stuck with the
literal have, while beam search also keeps am and finds I am hungry.
Click the drawing, or a line below, to build it up stage by stage.Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.
Figure 4. Greedy decoding against beam search on one short sentence. The probabilities are illustrative.
Translation systems typically keep 5 to 10 candidate sentences open at once
(the beam width) and extend them in parallel (Jurafsky & Martin, 2026), so the
token that looked best at the first step can still lose to a candidate that
began with a less probable one. Beam search does not guarantee the best
sentence either: a candidate dropped early cannot come back.
Bahdanau, D., Cho, K., & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. Third International Conference on Learning Representations (ICLR 2015), oral presentation; arXiv:1409.0473. https://arxiv.org/abs/1409.0473
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Figure 1. Les trois composantes séparées d'un système statistique et le réseau unique d'un système neuronal.
Un décodeur demeure, mais le mot désigne maintenant autre chose. Dans un
système statistique, le décodeur était la recherche qui combinait les paires
de segments ; dans un système neuronal, c’est la moitié du réseau qui écrit la
traduction. L’autre moitié, l’encodeur, lit la phrase source, et
l’architecture tire son nom de ces deux moitiés :
Un modèle encodeur-décodeur transforme une séquence de mots en une autre. Les
modèles qui font cela forment une famille plus large, qui a son propre nom :
La traduction en est le cas typique : le résultat est dans une autre langue,
et diffère souvent de la source par sa longueur et l’ordre des mots.
La Figure 2figure 2 suit une telle phrase à travers un
encodeur-décodeur à transformeur, l’architecture des systèmes de traduction
actuels (see also the Encoders and decoders page, in the Language as numbers module) (voir aussi la page Encodeurs et décodeurs, dans le module Le langage en nombres).
La source compte six mots et la traduction cinq, a suivi devient le seul mot
followed, et noir vient après chien alors que black vient avant dog.
Click the drawing, or a line below, to build it up stage by stage.Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.
Figure 2. Un encodeur-décodeur à transformeur qui traduit une phrase, du signal de début au quatrième mot.
Dans la Figure 4figure 4, le décodage glouton reste prisonnier du
littéral have, alors que la recherche en faisceau garde aussi am et trouve
I am hungry.
Click the drawing, or a line below, to build it up stage by stage.Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.
Figure 4. Le décodage glouton et la recherche en faisceau sur une courte phrase. Les probabilités sont fictives.
Les systèmes de traduction gardent généralement de 5 à 10 phrases candidates
ouvertes à la fois (la largeur du faisceau) et les prolongent en parallèle
(Jurafsky & Martin, 2026), si bien que le jeton qui semblait le meilleur à la
première étape peut perdre face à une candidate qui a commencé par un jeton
moins probable. La recherche en faisceau ne garantit pas non plus la
meilleure phrase : une candidate écartée tôt ne peut plus revenir.
Bahdanau, D., Cho, K., & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. Third International Conference on Learning Representations (ICLR 2015), oral presentation; arXiv:1409.0473. https://arxiv.org/abs/1409.0473
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Fluent errors. A wrong word no longer announces itself, so an error is found mainly by comparing with the source. Läubli et al. (2018) found, on the neural systems of 2017, that evaluators preferred human translations more clearly when judging whole documents than isolated sentences.
Strengths and limits of neural translation compared with statistical translation.
Training data and domain
A neural system learns from the data it was trained on, so the same system
trained on different data gives different translations. The table below shows
a passage of a novel, David Diop’s Frère d’âme
(Figure 5figure 5),
in the published translation by Anna Moschovakis and as translated by two
general translation services and three versions of the European Commission’s
eTranslation service: the general one and two trained for a domain.
… je sais, j’ai compris, je n’aurais pas dû. Moi, Alfa Ndiaye, fils du très vieil homme, j’ai compris, je n’aurais pas dû.
Published translation (Moschovakis)
… I know, I understand, I shouldn’t have done it. I, Alfa Ndiaye, son of the old, old man, I understand, I shouldn’t have.
Google Translate
… I know, I understood, I shouldn’t have. I, Alfa Ndiaye, son of the very old man, I understood, I shouldn’t have.
DeepL
… I know, I get it, I shouldn’t have. I, Alfa Ndiaye, son of the very old man, I get it, I shouldn’t have.
eTranslation, general
… I know, I understood, I shouldn’t have. I, Alfa Ndiaye, son of the very old man, understood, I should not have.
eTranslation, Court of Justice case law
… I understand that I should not have done so. I, Alfa Ndiaye, son of the youngest man, have understood, I should not have done so.
eTranslation, finance
… I know, I understood, I would not have had to. I, Alfa Ndiaye, a son of a man’s life, I understood, I shouldn’t have had to do so.
One passage through two general translation services and three versions of eTranslation, all translated on 13 October 2026 with the free versions, eTranslation without its AI enhancement option.
The passage is not hard to translate: whatever its literary qualities, it
contains no rare word and no difficult structure. The three general systems
all translate it well. You may prefer the published translation, which is
a little less literal: the present tense (I understand), I shouldn’t have
done it, and the old, old man, which repeats old where the others say
very old. That is a matter of taste, though: the general systems’ versions
are perfectly adequate and contain no real error. The two
specialized versions of eTranslation make strange mistakes on the same
phrase, fils du très vieil homme, which becomes the youngest man in one and
a man’s life in the other: the prose of a novel is unlike the legal or
financial text they are presumably trained on. So for a well-resourced
language pair such as French and English, general systems translate
ordinary text well, but the training data still has to resemble the text to
translate (see also the Remaining failures page) (voir aussi la page Les échecs qui subsistent).
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Läubli, S., Sennrich, R., & Volk, M. (2018). Has machine translation achieved human parity? A case for document-level evaluation. Proceedings of EMNLP 2018, 4791–4796. https://aclanthology.org/D18-1512/
Maruf, S., Saleh, F., & Haffari, G. (2021). A survey on document-level neural machine translation: Methods and evaluation. ACM Computing Surveys, 54(2), article 45. https://doi.org/10.1145/3441691
Voita, E., Sennrich, R., & Titov, I. (2019). When a good translation is wrong in context: Context-aware machine translation improves on deixis, ellipsis, and lexical cohesion. Proceedings of the 57th Annual Meeting of the ACL, 1198–1212. https://aclanthology.org/P19-1116/
Des erreurs fluides. Un mot erroné ne se signale plus de lui-même, et une erreur se repère surtout en comparant avec la source. Läubli et al. (2018) ont constaté, sur les systèmes neuronaux de 2017, que les évaluateurs préféraient plus nettement les traductions humaines quand ils jugeaient des documents entiers que des phrases isolées.
Forces et limites de la traduction neuronale par rapport à la traduction statistique.
Données d’entraînement et domaine
Un système neuronal apprend des données sur lesquelles il a été entraîné, si
bien que le même système, entraîné sur d’autres données, donne d’autres
traductions. Le tableau ci-dessous montre un passage d’un roman,
Frère d’âme de David Diop
(Figure 5figure 5),
dans la traduction publiée d’Anna Moschovakis et tel que l’ont traduit deux
services de traduction généraux et trois versions du service eTranslation de la
Commission européenne : la version générale et deux versions entraînées pour
un domaine.
… je sais, j’ai compris, je n’aurais pas dû. Moi, Alfa Ndiaye, fils du très vieil homme, j’ai compris, je n’aurais pas dû.
Traduction publiée (Moschovakis)
… I know, I understand, I shouldn’t have done it. I, Alfa Ndiaye, son of the old, old man, I understand, I shouldn’t have.
Google Traduction
… I know, I understood, I shouldn’t have. I, Alfa Ndiaye, son of the very old man, I understood, I shouldn’t have.
DeepL
… I know, I get it, I shouldn’t have. I, Alfa Ndiaye, son of the very old man, I get it, I shouldn’t have.
eTranslation, général
… I know, I understood, I shouldn’t have. I, Alfa Ndiaye, son of the very old man, understood, I should not have.
eTranslation, jurisprudence de la Cour de justice
… I understand that I should not have done so. I, Alfa Ndiaye, son of the youngest man, have understood, I should not have done so.
eTranslation, finance
… I know, I understood, I would not have had to. I, Alfa Ndiaye, a son of a man’s life, I understood, I shouldn’t have had to do so.
Un passage traduit par deux services de traduction généraux et par trois versions d'eTranslation, le 13 octobre 2026, avec les versions gratuites, et sans l'option d'amélioration par IA d'eTranslation.
Le passage n’est pas difficile à traduire : quelles que soient ses
qualités littéraires, il ne contient aucun mot rare ni aucune structure
difficile. Les trois systèmes généraux le traduisent tous bien. On peut préférer la
traduction publiée, un peu moins littérale : le présent (I understand),
I shouldn’t have done it, et the old, old man, qui répète old là où les
autres disent very old. C’est toutefois une affaire de goût : les
traductions des systèmes généraux sont tout à fait adéquates et ne contiennent
aucune véritable erreur. Les deux versions spécialisées d’eTranslation font des
erreurs étranges sur la même expression, fils du très vieil homme, qui
devient the youngest man (le plus jeune) dans l’une et a man’s life (une
vie d’homme) dans l’autre : la prose d’un roman ne ressemble pas aux textes
juridiques ou financiers sur lesquels elles ont vraisemblablement été
entraînées. Pour une paire de langues bien dotée comme le français et
l’anglais, les systèmes généraux traduisent donc bien un texte ordinaire,
mais les données d’entraînement doivent toujours ressembler au texte à
traduire (see also the Remaining failures page) (voir aussi la page Les échecs qui subsistent).
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Läubli, S., Sennrich, R., & Volk, M. (2018). Has machine translation achieved human parity? A case for document-level evaluation. Proceedings of EMNLP 2018, 4791–4796. https://aclanthology.org/D18-1512/
Maruf, S., Saleh, F., & Haffari, G. (2021). A survey on document-level neural machine translation: Methods and evaluation. ACM Computing Surveys, 54(2), article 45. https://doi.org/10.1145/3441691
Voita, E., Sennrich, R., & Titov, I. (2019). When a good translation is wrong in context: Context-aware machine translation improves on deixis, ellipsis, and lexical cohesion. Proceedings of the 57th Annual Meeting of the ACL, 1198–1212. https://aclanthology.org/P19-1116/
Large language models as translatorsLes grands modèles de langue comme traducteurs
a network built for translation only, trained on parallel corpora
systems such as NLLB; the online services, evaluated anonymously, do not say which kind they are
General large language model
a model built for many tasks, prompted to translate
Gemini 2.5 Pro, GPT-4.1, Claude 4
Specialized large language model
a large language model fine-tuned on translation data, sometimes with retrieved examples, a dictionary or a choice among several candidate translations
Three kinds of translation system, with examples from WMT 2025.
Most teams that took part in 2025 fine-tuned a large language model rather
than building an encoder-decoder from scratch (Kocmi et al., 2025).
Some everyday services moved the same way: DeepL describes its model as a
large language model specialized for translation, and Google Translate has
used Gemini for some languages since December
2025.DeepL Help Center, “About DeepL’s language model”, read 8 October 2026. Google, “Google Translate gets new Gemini AI translation models”, 12 December 2025, read 8 October 2026. Microsoft’s translation service still uses standard neural machine translation by default (Microsoft Learn, read 8 October 2026).
A translation service and a chatbot can now differ mainly in specialization:
one system built and tuned for translation alone, against a general model
that you prompt.
When I present machine translation systems, I want to show where they still
fail now that they have become good, and they often fail on specialized
terms. So I wrote a short message of my own, full of dressage vocabulary,
and I translate it again each time I update my examples. Over the years this
has become a timeline of one text through several generations of systems.
The first message is in Dutch, from when I worked mostly with Dutch-speaking
audiences; I added an English message, to translate into French, when I
started at a French-speaking university. I translated both myself as the
reference.
The timeline is anecdotal: one message in each direction, a few runs of each
system, judged by me. It still shows how the systems changed, and how
differently each one handles text of this kind. In 2023 all three services
were neural translation systems (see also the Neural translation page) (voir aussi la page La traduction neuronale). DeepL and Google Translate have since added large
language models, as described above, so their later outputs, made with the
free versions, may or may not come from one.DeepL, “DeepL’s next-gen LLM”, last updated 16 July 2024, read 13 October 2026: Pro users “can switch between the next-gen LLM and ‘classic’ model”. Google, “Google Translate gets new Gemini AI translation models”, 12 December 2025, read 8 October 2026. eTranslation, the
European Commission’s service, was used without its AI enhancement option.
It is a good system, but it is trained on the translations of the EU
institutions, where dressage rarely comes up, so a message like this one is
far from the text it learned from (see also the Strengths and limits of neural translation page) (voir aussi la page Forces et limites de la traduction neuronale).European Commission, “eTranslation”: “a neural machine translation tool trained on EU professional translation data”, read 13 October 2026.
Each term in the outputs is marked correct (correctcorrect),
acceptable or partly right (acceptable or partly rightacceptable ou en partie juste) or
wrong (wrongfaux).
Dutch into English
The Dutch message is Ik zal haar eerst aan de longe nemen om te leren
lichtrijden op het buitenbeen. Zorg dat ze een tok heeft en ik doe alvast
getten om. Heb jij nog een sjabrak? It contains aan de longe nemen (to
lunge; here, to give a riding lesson on a horse on the lunge), lichtrijden op het buitenbeen
(to post the trot on the correct diagonal), tok (a riding hat), getten
(protective boots for the horse’s legs) and sjabrak (a saddle pad).
System
Date
longe
lichtrijden
op het buitenbeen
tok
getten
sjabrak
Reference
lunge
post (the trot)
on the correct diagonal
riding hat
boots
saddle pad
Google Translate
2023
take her on (acceptable or partly rightacceptable ou en partie juste) the lunge (correctcorrect)
ride light (wrongfaux)
on the outside leg (acceptable or partly rightacceptable ou en partie juste)
tok (wrongfaux)
getten (wrongfaux)
shabrack (acceptable or partly rightacceptable ou en partie juste)
2025
lunging (correctcorrect)
ride lightly (wrongfaux)
on the outside leg (acceptable or partly rightacceptable ou en partie juste)
riding helmet (correctcorrect)
saddle pads (wrongfaux)
saddle pad (correctcorrect)
2026‑10
lunge (correctcorrect)
rise (correctcorrect)
to the outside leg (acceptable or partly rightacceptable ou en partie juste)
helmet (correctcorrect)
brushing boots (correctcorrect)
saddle pad (correctcorrect)
DeepL
2023
take her on (acceptable or partly rightacceptable ou en partie juste) the lunge (correctcorrect)
ride lightly (wrongfaux)
on the outside leg (acceptable or partly rightacceptable ou en partie juste)
tok (wrongfaux)
getten (wrongfaux)
shawl (wrongfaux)
2025
take her on (acceptable or partly rightacceptable ou en partie juste) the lunge (correctcorrect)
ride lightly (wrongfaux)
on the outside leg (acceptable or partly rightacceptable ou en partie juste)
bridle (wrongfaux)
stirrups (wrongfaux)
saddlecloth (correctcorrect)
2026‑10
lunging (correctcorrect)
move lightly (wrongfaux)
on the outside leg (acceptable or partly rightacceptable ou en partie juste)
halter (wrongfaux)
girth (wrongfaux)
saddle pad (correctcorrect)
eTranslation
2023
take her to (wrongfaux) the lung (wrongfaux)
ride light (wrongfaux)
on the outside leg (acceptable or partly rightacceptable ou en partie juste)
tok (wrongfaux)
I’m going to get it (wrongfaux)
shabrak (acceptable or partly rightacceptable ou en partie juste)
2025
take her to (wrongfaux) the lungs (wrongfaux)
ride lightly (wrongfaux)
on the outer leg (acceptable or partly rightacceptable ou en partie juste)
tok (wrongfaux)
I’ll get the hell out of here (wrongfaux)
shabrak (acceptable or partly rightacceptable ou en partie juste)
2026‑10
take her on (acceptable or partly rightacceptable ou en partie juste) the lunge (correctcorrect)
light riding (wrongfaux)
on the outer leg (acceptable or partly rightacceptable ou en partie juste)
tok (wrongfaux)
I’ll get bitten on (wrongfaux)
shabrak (acceptable or partly rightacceptable ou en partie juste)
ChatGPT
2023‑02
take her on (acceptable or partly rightacceptable ou en partie juste) a lunge line (correctcorrect)
ride light (wrongfaux)
on the outside leg (acceptable or partly rightacceptable ou en partie juste)
martingale (wrongfaux)
getting ready (wrongfaux)
saddle pad (correctcorrect)
2023‑03
lunge (correctcorrect)
ride with (wrongfaux)
the correct diagonal (correctcorrect)on the outside leg (acceptable or partly rightacceptable ou en partie juste)
helmet (correctcorrect)
leg wraps (correctcorrect)
saddle pad (correctcorrect)
2023‑03 (GPT-4)
lunge (correctcorrect)
post (correctcorrect)
on the outside leg (acceptable or partly rightacceptable ou en partie juste)
cup (wrongfaux)
gaiters (wrongfaux)
saddle pad (correctcorrect)
2024‑03
take her on (acceptable or partly rightacceptable ou en partie juste) the lunge (correctcorrect)
post (correctcorrect)
on the outside leg (acceptable or partly rightacceptable ou en partie juste)
jockstrap (wrongfaux)
gaiters (wrongfaux)
saddle pad (correctcorrect)
2024‑05
lunge (correctcorrect)
post (correctcorrect)
on the outside leg (acceptable or partly rightacceptable ou en partie juste)
helmet (correctcorrect)
protective boots (correctcorrect)
saddle pad (correctcorrect)
2025‑09
lunge (correctcorrect)
post (correctcorrect)
on the outside diagonal (correctcorrect)
helmet (correctcorrect)
boots (correctcorrect)
saddle pad (correctcorrect)
2026‑01
lunge (correctcorrect)
rising trot (correctcorrect)
on the outside leg (acceptable or partly rightacceptable ou en partie juste)
riding helmet (correctcorrect)
my gaiters (wrongfaux)
saddle pad (correctcorrect)
2026‑01, second run
lunge (correctcorrect)
rise (correctcorrect)
on the outside foreleg (acceptable or partly rightacceptable ou en partie juste)
riding hat (correctcorrect)
my half chaps (wrongfaux)
saddle pad (correctcorrect)
2026‑10
lunge line (correctcorrect)
post (correctcorrect)
on the outside diagonal (correctcorrect)
riding helmet (correctcorrect)
brushing boots (correctcorrect)
saddle pad (correctcorrect)
The terms of the Dutch message in each output.
The complete outputs
System
Date
Output
Source
Ik zal haar eerst aan de longe nemen om te leren lichtrijden op het buitenbeen. Zorg dat ze een tok heeft en ik doe alvast getten om. Heb jij nog een sjabrak?
Reference
I will start by teaching her on the lunge how to post (the trot) on the correct diagonal. Make sure she has a riding hat, and I will already put the boots on. Do you have another saddle pad?
Google Translate
2023
I will first take her on (acceptable or partly rightacceptable ou en partie juste) the lunge (correctcorrect) to learn how to ride light (wrongfaux)on the outside leg (acceptable or partly rightacceptable ou en partie juste). Make sure she has a tok (wrongfaux) and I’ll put on getten (wrongfaux). Do you still have a shabrack (acceptable or partly rightacceptable ou en partie juste)?
2025
I’ll start by lunging (correctcorrect) her to learn how to ride lightly (wrongfaux)on the outside leg (acceptable or partly rightacceptable ou en partie juste). Make sure she has a riding helmet (correctcorrect), and I’ll put on the saddle pads (wrongfaux). Do you still have a saddle pad (correctcorrect)?
2026‑10
I’ll put her on the lunge (correctcorrect) first so she can learn to rise (correctcorrect)to the outside leg (acceptable or partly rightacceptable ou en partie juste). Make sure she has a helmet (correctcorrect), and I’ll put on her brushing boots (correctcorrect). Do you have a saddle pad (correctcorrect)?
DeepL
2023
I will take her on (acceptable or partly rightacceptable ou en partie juste) the lunge (correctcorrect) first to learn to ride lightly (wrongfaux)on the outside leg (acceptable or partly rightacceptable ou en partie juste). Make sure she has a tok (wrongfaux) and I’ll put on getten (wrongfaux) in advance. Do you still have a shawl (wrongfaux)?
2025
I will first take her on (acceptable or partly rightacceptable ou en partie juste) the lunge (correctcorrect) to teach her to ride lightly (wrongfaux)on the outside leg (acceptable or partly rightacceptable ou en partie juste). Make sure she has a bridle (wrongfaux) and I will put on the stirrups (wrongfaux). Do you have a saddlecloth (correctcorrect)?
2026‑10
I’ll start by lunging (correctcorrect) her to teach her to move lightly (wrongfaux)on the outside leg (acceptable or partly rightacceptable ou en partie juste). Make sure she has a halter (wrongfaux) on, and I’ll go ahead and put the girth (wrongfaux) on. Do you have a saddle pad (correctcorrect)?
eTranslation
2023
I’ll take her to (wrongfaux) the lung (wrongfaux) first to learn how to ride light (wrongfaux)on the outside leg (acceptable or partly rightacceptable ou en partie juste). Make sure she’s got a tok (wrongfaux), and I’m going to get it (wrongfaux). Do you have another shabrak (acceptable or partly rightacceptable ou en partie juste)?
2025
I’ll take her to (wrongfaux) the lungs (wrongfaux) first to learn how to ride lightly (wrongfaux)on the outer leg (acceptable or partly rightacceptable ou en partie juste). Make sure she’s got a tok (wrongfaux), and I’ll get the hell out of here (wrongfaux). Do you have another shabrak (acceptable or partly rightacceptable ou en partie juste)?
2026‑10
I’ll take her on (acceptable or partly rightacceptable ou en partie juste) the lunge (correctcorrect) first to learn light riding (wrongfaux)on the outer leg (acceptable or partly rightacceptable ou en partie juste). Make sure she has a tok (wrongfaux) and I’ll get bitten on (wrongfaux). Do you have another shabrak (acceptable or partly rightacceptable ou en partie juste)?
ChatGPT
2023‑02
I will first take her on (acceptable or partly rightacceptable ou en partie juste) a lunge line (correctcorrect) to teach her to ride light (wrongfaux)on the outside leg (acceptable or partly rightacceptable ou en partie juste). Make sure she has a martingale (wrongfaux) and I’ll start getting ready (wrongfaux). Do you have a saddle pad (correctcorrect)?
2023‑03
I will first lunge (correctcorrect) her to teach her how to ride with (wrongfaux)the correct diagonal (correctcorrect)on the outside leg (acceptable or partly rightacceptable ou en partie juste). Make sure she has a helmet (correctcorrect) and I will put on leg wraps (correctcorrect). Do you have a saddle pad (correctcorrect)?
2023‑03 (GPT-4)
I will first lunge (correctcorrect) her to teach her to post (correctcorrect)on the outside leg (acceptable or partly rightacceptable ou en partie juste). Make sure she has a cup (wrongfaux), and I will put on the gaiters (wrongfaux) already. Do you have an extra saddle pad (correctcorrect)?
2024‑03
I will first take her on (acceptable or partly rightacceptable ou en partie juste) the lunge (correctcorrect) to learn to post (correctcorrect)on the outside leg (acceptable or partly rightacceptable ou en partie juste). Make sure she has a jockstrap (wrongfaux), and I will already put on gaiters (wrongfaux). Do you have another saddle pad (correctcorrect)?
2024‑05
I will lunge (correctcorrect) her first to teach her to post (correctcorrect)on the outside leg (acceptable or partly rightacceptable ou en partie juste). Make sure she has a helmet (correctcorrect), and I will put on the protective boots (correctcorrect). Do you still have a saddle pad (correctcorrect)?
2025‑09
I’ll lunge (correctcorrect) her first to teach her to post on the outside diagonal (correctcorrect). Make sure she’s got a helmet (correctcorrect), and I’ll go ahead and put on the boots (correctcorrect). Do you have a saddle pad (correctcorrect)?
2026‑01
I’ll put her on the lunge (correctcorrect) first so she can learn to ride rising trot (correctcorrect)on the outside leg (acceptable or partly rightacceptable ou en partie juste). Make sure she has a riding helmet (correctcorrect) on, and I’ll put my gaiters (wrongfaux) on already. Do you still have a saddle pad (correctcorrect)?
2026‑01, second run
I’ll lunge (correctcorrect) her first so she can learn to rise (correctcorrect)on the outside foreleg (acceptable or partly rightacceptable ou en partie juste). Make sure she’s wearing her riding hat (correctcorrect), and I’ll put my half chaps (wrongfaux) on. Do you have a saddle pad (correctcorrect) as well?
2026‑10
I’ll put her on the lunge line (correctcorrect) first so she can learn to post on the outside diagonal (correctcorrect). Make sure she has a riding helmet (correctcorrect), and I’ll put the brushing boots (correctcorrect) on in the meantime. Do you have another saddle pad (correctcorrect)?
One Dutch message translated by three online translation services in 2023, 2025 and 2026-10, with their free versions, and by ChatGPT between 2023 and 2026, each time with the latest model offered by the basic paid subscription at the time and the prompt *translate into English:* followed by the message; the 2026-10 output with the medium effort setting, in a temporary chat.
Riding words that do not belong. Several outputs replaced a term with
riding vocabulary that has nothing to do with the message, as if any word
from the domain would do: a martingale (ChatGPT, 2023), a bridle and
stirrups (DeepL, 2025), a halter and a girth (DeepL, 2026).
Word for word, or not at all. In 2023 all three services left tok
and getten untranslated or turned them into something else
(eTranslation’s I’m going to get it). Every service output but Google
Translate’s of 2026 rendered lichtrijden as ride light, ride lightly,
move lightly or light riding.
The services moved apart. By 2026-10 Google Translate had almost
every term right, DeepL’s output had changed without improving, and
eTranslation had found only the lunge.
ChatGPT improved, but not steadily. In 2023-02 it produced a
martingale and getting ready; a month later it already had the helmet, the leg wraps
and the correct diagonal, while GPT-4, released that month, gave the rider a
cup. Most terms were right by 2024-05 and all of them by 2025-09. Neither
output of 2026-01 had the correct diagonal, and both turned getten into
something the speaker wears; in 2026-10 every term was right again. A
newer system can get a term wrong that an older one got right.
English into French
The English message is I’ll start her on the lunge line to learn to post
the trot on the correct diagonal. When you take her to him, make sure to
explain his cribbing and to clean his feathers and treat his frogs to avoid
thrush. How are your lead changes going? Are you doing flying changes yet?
It has a dressage term in every clause.
System
Date
lunge line
post the trot on the correct diagonal
cribbing
feathers
frogs
thrush
flying changes
Reference
à la longe
le trot enlevé sur le bon diagonal
fait un tic à l’appui
fanons
fourchettes
pourriture de la fourchette
changements de pied en l’air
Google Translate
2025
à la longe (correctcorrect)
placer le trot sur la bonne diagonale (wrongfaux)
s’accroupit (wrongfaux)
plumes (wrongfaux)
fourchettes (correctcorrect)
grives (wrongfaux)
changements de pied en vol (wrongfaux)
2026‑10
à la longe (correctcorrect)
trotter enlevé (correctcorrect)sur la bonne diagonale (wrongfaux)
tic d’appui (acceptable or partly rightacceptable ou en partie juste)
fanons (correctcorrect)
fourchettes (correctcorrect)
pourrissement (acceptable or partly rightacceptable ou en partie juste)
au galop (acceptable or partly rightacceptable ou en partie juste)
DeepL
2025
à la longe (correctcorrect)
prendre le trot dans la bonne diagonale (wrongfaux)
fait des crèches (wrongfaux)
plumes (wrongfaux)
grenouilles (wrongfaux)
muguet (wrongfaux)
changements en vol (wrongfaux)
2026‑10
à la longe (correctcorrect)
se lever au trot (acceptable or partly rightacceptable ou en partie juste)sur la bonne diagonale (wrongfaux)
problème de mordillage (wrongfaux)
crins (acceptable or partly rightacceptable ou en partie juste)
sabots (acceptable or partly rightacceptable ou en partie juste)
pourriture de la fourchette (correctcorrect)
changements au galop (acceptable or partly rightacceptable ou en partie juste)
eTranslation
2026‑10
ligne de fente (wrongfaux)
poser le trot sur la bonne diagonale (wrongfaux)
cribbing (wrongfaux)
plumes (wrongfaux)
grenouilles (wrongfaux)
muguet (wrongfaux)
changements de vol (wrongfaux)
ChatGPT
2025‑01 (GPT-4o)
sur la longe (acceptable or partly rightacceptable ou en partie juste)
trotter en levée (acceptable or partly rightacceptable ou en partie juste)sur la bonne diagonale (wrongfaux)
tic à l’appui (cribbing) (correctcorrect)
fanons (correctcorrect)
fourchettes (correctcorrect)
pourriture (correctcorrect)
changements de pied au vol (wrongfaux)
2026‑02 (GPT-5.2)
à la longe (correctcorrect)
trotter enlevé sur le bon diagonal (correctcorrect)
tic à l’appui (correctcorrect)
fanons (correctcorrect)
fourchettes (correctcorrect)
pourriture de fourchette (correctcorrect)
changements de pied (correctcorrect)au temps (wrongfaux) (en l’air (correctcorrect))
2026‑10
à la longe (correctcorrect)
trotter enlevé sur le bon diagonal (correctcorrect)
tique à l’appui (correctcorrect)
fanons (correctcorrect)
fourchettes (correctcorrect)
pourriture de la fourchette (correctcorrect)
changements de pied en l’air (correctcorrect)
The terms of the English message in each French output. *Lead changes* is left out: every output has *changements de pied*, except eTranslation's *changements de leads*.
The complete outputs
System
Date
Output
Source
I’ll start her on the lunge line to learn to post the trot on the correct diagonal. When you take her to him, make sure to explain his cribbing and to clean his feathers and treat his frogs to avoid thrush. How are your lead changes going? Are you doing flying changes yet?
Reference
Je vais commencer par la travailler à la longe pour qu’elle apprenne le trot enlevé sur le bon diagonal. Quand tu l’emmèneras vers lui, n’oublie pas de préciser qu’il fait un tic à l’appui et de bien nettoyer ses fanons, puis de traiter ses fourchettes afin d’éviter la pourriture de la fourchette. Comment avancent tes changements de pied ? Est-ce que tu fais déjà des changements de pied en l’air ?
Google Translate
2025
Je vais la démarrer à la longe (correctcorrect) pour lui apprendre à placer le trot sur la bonne diagonale (wrongfaux). Lorsque vous l’amènerez chez lui, assurez-vous de lui expliquer comment il s’accroupit (wrongfaux), de nettoyer ses plumes (wrongfaux) et de traiter ses fourchettes (correctcorrect) pour éviter les grives (wrongfaux). Comment se passent vos changements de pied (correctcorrect) ? Faites-vous déjà des changements de pied en vol (wrongfaux) ?
2026‑10
Je vais commencer à la travailler à la longe (correctcorrect) pour qu’elle apprenne à trotter enlevé (correctcorrect)sur la bonne diagonale (wrongfaux). Lorsque tu l’emmèneras vers lui, n’oublie pas d’expliquer son tic d’appui (acceptable or partly rightacceptable ou en partie juste), de nettoyer ses fanons (correctcorrect) et de soigner ses fourchettes (correctcorrect) pour éviter le pourrissement (acceptable or partly rightacceptable ou en partie juste). Comment se passent les changements de pied (correctcorrect) ? En faites-vous déjà au galop (acceptable or partly rightacceptable ou en partie juste) ?
DeepL
2025
Je la mettrai à la longe (correctcorrect) pour qu’elle apprenne à prendre le trot dans la bonne diagonale (wrongfaux). Lorsque vous l’emmènerez chez lui, n’oubliez pas de lui expliquer qu’il fait des crèches (wrongfaux), de nettoyer ses plumes (wrongfaux) et de traiter ses grenouilles (wrongfaux) pour éviter le muguet (wrongfaux). Comment se passent les changements de pied (correctcorrect) ? Faites-vous déjà des changements en vol (wrongfaux) ?
2026‑10
Je vais commencer par la travailler à la longe (correctcorrect) pour qu’elle apprenne à se lever au trot (acceptable or partly rightacceptable ou en partie juste)sur la bonne diagonale (wrongfaux). Quand tu l’emmèneras chez lui, n’oublie pas de lui expliquer son problème de mordillage (wrongfaux), de nettoyer ses crins (acceptable or partly rightacceptable ou en partie juste) et de soigner ses sabots (acceptable or partly rightacceptable ou en partie juste) pour éviter la pourriture de la fourchette (correctcorrect). Comment se passent tes changements de pied (correctcorrect) ? Tu fais déjà des changements au galop (acceptable or partly rightacceptable ou en partie juste) ?
eTranslation
2026‑10
Je la mettrai sur la ligne de fente (wrongfaux) pour apprendre à poser le trot sur la bonne diagonale (wrongfaux). Lorsque vous l’emmenez chez lui, assurez-vous d’expliquer son cribbing (wrongfaux) et de nettoyer ses plumes (wrongfaux) et de traiter ses grenouilles (wrongfaux) pour éviter le muguet (wrongfaux). Comment vont vos changements de leads (wrongfaux) ? Êtes-vous en train de faire des changements de vol (wrongfaux) encore ?
ChatGPT
2025‑01 (GPT-4o)
Je vais commencer par la mettre sur la longe (acceptable or partly rightacceptable ou en partie juste) pour qu’elle apprenne à trotter en levée (acceptable or partly rightacceptable ou en partie juste)sur la bonne diagonale (wrongfaux). Quand tu l’emmènes chez lui, assure-toi d’expliquer son tic à l’appui (cribbing) (correctcorrect) et de nettoyer ses fanons (correctcorrect) ainsi que de traiter ses fourchettes (correctcorrect) pour éviter la pourriture (correctcorrect). Comment se passent tes changements de pied (correctcorrect) ? Fais-tu déjà des changements de pied au vol (wrongfaux) ?
2026‑02 (GPT-5.2)
Je vais d’abord la mettre à la longe (correctcorrect) pour qu’elle apprenne à trotter enlevé sur le bon diagonal (correctcorrect). Quand tu l’emmèneras chez lui, assure-toi de lui expliquer qu’il tic à l’appui (correctcorrect) et de nettoyer ses fanons (correctcorrect), puis de soigner ses fourchettes (correctcorrect) pour éviter la pourriture de fourchette (correctcorrect). Comment vont tes changements de pied (correctcorrect) ? Tu fais déjà des changements de pied (correctcorrect)au temps (wrongfaux) (en l’air (correctcorrect)) ?
2026‑10
Je vais commencer par la faire travailler à la longe (correctcorrect) pour qu’elle apprenne à trotter enlevé sur le bon diagonal (correctcorrect). Quand tu l’emmèneras chez lui, assure-toi de bien lui expliquer qu’il tique à l’appui (correctcorrect), de nettoyer ses fanons (correctcorrect) et de traiter ses fourchettes (correctcorrect) pour éviter la pourriture de la fourchette (correctcorrect). Comment ça se passe, tes changements de pied (correctcorrect) ? Tu fais déjà des changements de pied en l’air (correctcorrect) ?
One English message translated into French by three online translation services in 2025 and 2026-10, with their free versions, and by ChatGPT in 2025 and 2026, with the prompt *translate into French:* followed by the message; the 2026-10 output with the medium effort setting, in a temporary chat.
In 2025 the services translated the words. Both rendered post the
trot word for word and flying changes as en vol. Google Translate
turned feathers into plumes and thrush into grives, the bird; DeepL
turned frogs into grenouilles, the animal, and thrush into muguet,
the yeast infection of the human mouth that English also calls thrush.
By 2026-10 the services had moved apart. Google Translate had most of
the riding terms, apart from la bonne diagonale, where riders say le bon
diagonal, and two forms close to the term without being it, tic d’appui
and pourrissement. DeepL found the lunge and the thrush, but turned
cribbing into mordillage, feathers into crins, horsehair in
general, and frogs into sabots, the whole hoof. eTranslation still
translated the words: a ligne de fente for the lunge line, plumes,
grenouilles and muguet, and cribbing left as it was.
ChatGPT had most of the riding terms without being told the domain.
In 2025-01, ChatGPT-4o already had tic à l’appui, fanons and
fourchettes, but not the trot or the flying changes. In 2026-02,
ChatGPT-5.2 had every term right except au temps, which names a different
flying change, and in 2026-10 every term was right (see also the Prompting an LLM for translation page) (voir aussi la page Rédiger une requête de traduction pour un GML).
Sources
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Kocmi, T., Artemova, E., Avramidis, E., Bawden, R., Bojar, O., Dranch, K., et al. (2025). Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 355–413. https://doi.org/10.18653/v1/2025.wmt-1.22
Kocmi, T., Avramidis, E., Bawden, R., Bojar, O., Dvorkovich, A., Federmann, C., et al. (2024b). Findings of the WMT24 General Machine Translation Shared Task: The LLM Era Is Here but MT Is Not Solved Yet. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1–46. https://doi.org/10.18653/v1/2024.wmt-1.1
un réseau conçu uniquement pour la traduction, entraîné sur des corpus parallèles
des systèmes comme NLLB ; les services en ligne, évalués de façon anonyme, ne disent pas de quel type ils sont
Grand modèle de langue général
un modèle conçu pour de nombreuses tâches, à qui la requête demande de traduire
Gemini 2.5 Pro, GPT-4.1, Claude 4
Grand modèle de langue spécialisé
un grand modèle de langue affiné sur des données de traduction, parfois avec des exemples retrouvés, un dictionnaire ou un choix parmi plusieurs traductions candidates
Trois types de systèmes de traduction, avec des exemples tirés de WMT 2025.
La plupart des équipes participantes de 2025 ont affiné un grand modèle de
langue plutôt que de construire entièrement un système encodeur-décodeur
(Kocmi et al., 2025).
Certains services courants ont pris la même direction : DeepL décrit son
modèle comme un grand modèle de langue spécialisé en traduction, et Google
Traduction utilise Gemini pour certaines langues depuis décembre
2025.Centre d’aide de DeepL, « About DeepL’s language model », consulté le 8 octobre 2026. Google, « Google Translate gets new Gemini AI translation models », 12 décembre 2025, consulté le 8 octobre 2026. Le service de traduction de Microsoft utilise encore par défaut une traduction automatique neuronale classique (Microsoft Learn, consulté le 8 octobre 2026).
Un service de traduction et un agent conversationnel peuvent donc désormais
différer surtout par leur spécialisation : un système conçu et réglé pour
la seule traduction, face à un modèle général à qui l’on adresse une
requête.
Quand je présente les systèmes de traduction automatique, je veux montrer où
ils échouent encore maintenant qu’ils sont devenus bons, et ils échouent
souvent sur les termes spécialisés. J’ai donc écrit un court message, rempli de
vocabulaire du dressage, que je fais traduire de nouveau chaque fois que je
mets mes exemples à jour. Au fil des ans, cela donne une chronologie d’un même
texte à travers plusieurs générations de systèmes. Le premier message est en
néerlandais, de l’époque où je travaillais surtout avec un public
néerlandophone ; j’ai ajouté un message en anglais, à traduire en français,
quand j’ai commencé à enseigner dans une université francophone. J’ai traduit
les deux moi-même pour obtenir les références.
Cette chronologie est anecdotique : un message dans chaque sens, quelques
essais de chaque système, jugés par moi. Elle montre tout de même comment les
systèmes ont évolué, et à quel point chacun traite différemment un texte de ce
genre. En 2023, les trois services étaient des systèmes de traduction
neuronale (see also the Neural translation page) (voir aussi la page La traduction neuronale). DeepL et Google Traduction ont depuis ajouté des
grands modèles de langue, comme on l’a vu plus haut, si bien que leurs
résultats plus récents, obtenus avec les versions gratuites, viennent
peut-être d’un tel modèle, peut-être pas.DeepL, « DeepL’s next-gen LLM », dernière mise à jour le 16 juillet 2024, consulté le 13 octobre 2026 : les utilisateurs de la version Pro « can switch between the next-gen LLM and ‘classic’ model » [ma traduction : « peuvent passer du grand modèle de langue de nouvelle génération au modèle “classique” »]. Google, « Google Translate gets new Gemini AI translation models », 12 décembre 2025, consulté le 8 octobre 2026. eTranslation, le service de la
Commission européenne, a été utilisé sans son option d’amélioration par IA.
C’est un bon système, mais il est entraîné sur les traductions des
institutions de l’UE, où il est rarement question de dressage, si bien qu’un
message comme celui-ci est loin des textes dont il a
appris (see also the Strengths and limits of neural translation page) (voir aussi la page Forces et limites de la traduction neuronale).Commission européenne, « eTranslation » : « a neural machine translation tool trained on EU professional translation data » [ma traduction : « un outil de traduction automatique neuronale entraîné sur des données de traduction professionnelle de l’UE »], consulté le 13 octobre 2026.
Chaque terme des résultats est marqué comme correct (correctcorrect),
acceptable ou en partie juste (acceptable or partly rightacceptable ou en partie juste) ou
faux (wrongfaux).
Du néerlandais vers l’anglais
Le message néerlandais est Ik zal haar eerst aan de longe nemen om te
leren lichtrijden op het buitenbeen. Zorg dat ze een tok heeft en ik doe
alvast getten om. Heb jij nog een sjabrak? Il contient aan de longe nemen
(travailler à la longe ; ici, donner une leçon à une cavalière sur un
cheval tenu à la longe),
lichtrijden op het buitenbeen (trotter enlevé sur le bon diagonal), tok
(une bombe d’équitation), getten (des guêtres, qui protègent les membres du
cheval) et sjabrak (un tapis de selle).
Système
Date
longe
lichtrijden
op het buitenbeen
tok
getten
sjabrak
Référence
lunge
post (the trot)
on the correct diagonal
riding hat
boots
saddle pad
Google Traduction
2023
take her on (acceptable or partly rightacceptable ou en partie juste) the lunge (correctcorrect)
ride light (wrongfaux)
on the outside leg (acceptable or partly rightacceptable ou en partie juste)
tok (wrongfaux)
getten (wrongfaux)
shabrack (acceptable or partly rightacceptable ou en partie juste)
2025
lunging (correctcorrect)
ride lightly (wrongfaux)
on the outside leg (acceptable or partly rightacceptable ou en partie juste)
riding helmet (correctcorrect)
saddle pads (wrongfaux)
saddle pad (correctcorrect)
2026‑10
lunge (correctcorrect)
rise (correctcorrect)
to the outside leg (acceptable or partly rightacceptable ou en partie juste)
helmet (correctcorrect)
brushing boots (correctcorrect)
saddle pad (correctcorrect)
DeepL
2023
take her on (acceptable or partly rightacceptable ou en partie juste) the lunge (correctcorrect)
ride lightly (wrongfaux)
on the outside leg (acceptable or partly rightacceptable ou en partie juste)
tok (wrongfaux)
getten (wrongfaux)
shawl (wrongfaux)
2025
take her on (acceptable or partly rightacceptable ou en partie juste) the lunge (correctcorrect)
ride lightly (wrongfaux)
on the outside leg (acceptable or partly rightacceptable ou en partie juste)
bridle (wrongfaux)
stirrups (wrongfaux)
saddlecloth (correctcorrect)
2026‑10
lunging (correctcorrect)
move lightly (wrongfaux)
on the outside leg (acceptable or partly rightacceptable ou en partie juste)
halter (wrongfaux)
girth (wrongfaux)
saddle pad (correctcorrect)
eTranslation
2023
take her to (wrongfaux) the lung (wrongfaux)
ride light (wrongfaux)
on the outside leg (acceptable or partly rightacceptable ou en partie juste)
tok (wrongfaux)
I’m going to get it (wrongfaux)
shabrak (acceptable or partly rightacceptable ou en partie juste)
2025
take her to (wrongfaux) the lungs (wrongfaux)
ride lightly (wrongfaux)
on the outer leg (acceptable or partly rightacceptable ou en partie juste)
tok (wrongfaux)
I’ll get the hell out of here (wrongfaux)
shabrak (acceptable or partly rightacceptable ou en partie juste)
2026‑10
take her on (acceptable or partly rightacceptable ou en partie juste) the lunge (correctcorrect)
light riding (wrongfaux)
on the outer leg (acceptable or partly rightacceptable ou en partie juste)
tok (wrongfaux)
I’ll get bitten on (wrongfaux)
shabrak (acceptable or partly rightacceptable ou en partie juste)
ChatGPT
2023‑02
take her on (acceptable or partly rightacceptable ou en partie juste) a lunge line (correctcorrect)
ride light (wrongfaux)
on the outside leg (acceptable or partly rightacceptable ou en partie juste)
martingale (wrongfaux)
getting ready (wrongfaux)
saddle pad (correctcorrect)
2023‑03
lunge (correctcorrect)
ride with (wrongfaux)
the correct diagonal (correctcorrect)on the outside leg (acceptable or partly rightacceptable ou en partie juste)
helmet (correctcorrect)
leg wraps (correctcorrect)
saddle pad (correctcorrect)
2023‑03 (GPT-4)
lunge (correctcorrect)
post (correctcorrect)
on the outside leg (acceptable or partly rightacceptable ou en partie juste)
cup (wrongfaux)
gaiters (wrongfaux)
saddle pad (correctcorrect)
2024‑03
take her on (acceptable or partly rightacceptable ou en partie juste) the lunge (correctcorrect)
post (correctcorrect)
on the outside leg (acceptable or partly rightacceptable ou en partie juste)
jockstrap (wrongfaux)
gaiters (wrongfaux)
saddle pad (correctcorrect)
2024‑05
lunge (correctcorrect)
post (correctcorrect)
on the outside leg (acceptable or partly rightacceptable ou en partie juste)
helmet (correctcorrect)
protective boots (correctcorrect)
saddle pad (correctcorrect)
2025‑09
lunge (correctcorrect)
post (correctcorrect)
on the outside diagonal (correctcorrect)
helmet (correctcorrect)
boots (correctcorrect)
saddle pad (correctcorrect)
2026‑01
lunge (correctcorrect)
rising trot (correctcorrect)
on the outside leg (acceptable or partly rightacceptable ou en partie juste)
riding helmet (correctcorrect)
my gaiters (wrongfaux)
saddle pad (correctcorrect)
2026‑01, deuxième essai
lunge (correctcorrect)
rise (correctcorrect)
on the outside foreleg (acceptable or partly rightacceptable ou en partie juste)
riding hat (correctcorrect)
my half chaps (wrongfaux)
saddle pad (correctcorrect)
2026‑10
lunge line (correctcorrect)
post (correctcorrect)
on the outside diagonal (correctcorrect)
riding helmet (correctcorrect)
brushing boots (correctcorrect)
saddle pad (correctcorrect)
Les termes du message néerlandais dans chaque résultat.
Les résultats complets
Système
Date
Résultat
Source
Ik zal haar eerst aan de longe nemen om te leren lichtrijden op het buitenbeen. Zorg dat ze een tok heeft en ik doe alvast getten om. Heb jij nog een sjabrak?
Référence
I will start by teaching her on the lunge how to post (the trot) on the correct diagonal. Make sure she has a riding hat, and I will already put the boots on. Do you have another saddle pad?
Google Traduction
2023
I will first take her on (acceptable or partly rightacceptable ou en partie juste) the lunge (correctcorrect) to learn how to ride light (wrongfaux)on the outside leg (acceptable or partly rightacceptable ou en partie juste). Make sure she has a tok (wrongfaux) and I’ll put on getten (wrongfaux). Do you still have a shabrack (acceptable or partly rightacceptable ou en partie juste)?
2025
I’ll start by lunging (correctcorrect) her to learn how to ride lightly (wrongfaux)on the outside leg (acceptable or partly rightacceptable ou en partie juste). Make sure she has a riding helmet (correctcorrect), and I’ll put on the saddle pads (wrongfaux). Do you still have a saddle pad (correctcorrect)?
2026‑10
I’ll put her on the lunge (correctcorrect) first so she can learn to rise (correctcorrect)to the outside leg (acceptable or partly rightacceptable ou en partie juste). Make sure she has a helmet (correctcorrect), and I’ll put on her brushing boots (correctcorrect). Do you have a saddle pad (correctcorrect)?
DeepL
2023
I will take her on (acceptable or partly rightacceptable ou en partie juste) the lunge (correctcorrect) first to learn to ride lightly (wrongfaux)on the outside leg (acceptable or partly rightacceptable ou en partie juste). Make sure she has a tok (wrongfaux) and I’ll put on getten (wrongfaux) in advance. Do you still have a shawl (wrongfaux)?
2025
I will first take her on (acceptable or partly rightacceptable ou en partie juste) the lunge (correctcorrect) to teach her to ride lightly (wrongfaux)on the outside leg (acceptable or partly rightacceptable ou en partie juste). Make sure she has a bridle (wrongfaux) and I will put on the stirrups (wrongfaux). Do you have a saddlecloth (correctcorrect)?
2026‑10
I’ll start by lunging (correctcorrect) her to teach her to move lightly (wrongfaux)on the outside leg (acceptable or partly rightacceptable ou en partie juste). Make sure she has a halter (wrongfaux) on, and I’ll go ahead and put the girth (wrongfaux) on. Do you have a saddle pad (correctcorrect)?
eTranslation
2023
I’ll take her to (wrongfaux) the lung (wrongfaux) first to learn how to ride light (wrongfaux)on the outside leg (acceptable or partly rightacceptable ou en partie juste). Make sure she’s got a tok (wrongfaux), and I’m going to get it (wrongfaux). Do you have another shabrak (acceptable or partly rightacceptable ou en partie juste)?
2025
I’ll take her to (wrongfaux) the lungs (wrongfaux) first to learn how to ride lightly (wrongfaux)on the outer leg (acceptable or partly rightacceptable ou en partie juste). Make sure she’s got a tok (wrongfaux), and I’ll get the hell out of here (wrongfaux). Do you have another shabrak (acceptable or partly rightacceptable ou en partie juste)?
2026‑10
I’ll take her on (acceptable or partly rightacceptable ou en partie juste) the lunge (correctcorrect) first to learn light riding (wrongfaux)on the outer leg (acceptable or partly rightacceptable ou en partie juste). Make sure she has a tok (wrongfaux) and I’ll get bitten on (wrongfaux). Do you have another shabrak (acceptable or partly rightacceptable ou en partie juste)?
ChatGPT
2023‑02
I will first take her on (acceptable or partly rightacceptable ou en partie juste) a lunge line (correctcorrect) to teach her to ride light (wrongfaux)on the outside leg (acceptable or partly rightacceptable ou en partie juste). Make sure she has a martingale (wrongfaux) and I’ll start getting ready (wrongfaux). Do you have a saddle pad (correctcorrect)?
2023‑03
I will first lunge (correctcorrect) her to teach her how to ride with (wrongfaux)the correct diagonal (correctcorrect)on the outside leg (acceptable or partly rightacceptable ou en partie juste). Make sure she has a helmet (correctcorrect) and I will put on leg wraps (correctcorrect). Do you have a saddle pad (correctcorrect)?
2023‑03 (GPT-4)
I will first lunge (correctcorrect) her to teach her to post (correctcorrect)on the outside leg (acceptable or partly rightacceptable ou en partie juste). Make sure she has a cup (wrongfaux), and I will put on the gaiters (wrongfaux) already. Do you have an extra saddle pad (correctcorrect)?
2024‑03
I will first take her on (acceptable or partly rightacceptable ou en partie juste) the lunge (correctcorrect) to learn to post (correctcorrect)on the outside leg (acceptable or partly rightacceptable ou en partie juste). Make sure she has a jockstrap (wrongfaux), and I will already put on gaiters (wrongfaux). Do you have another saddle pad (correctcorrect)?
2024‑05
I will lunge (correctcorrect) her first to teach her to post (correctcorrect)on the outside leg (acceptable or partly rightacceptable ou en partie juste). Make sure she has a helmet (correctcorrect), and I will put on the protective boots (correctcorrect). Do you still have a saddle pad (correctcorrect)?
2025‑09
I’ll lunge (correctcorrect) her first to teach her to post on the outside diagonal (correctcorrect). Make sure she’s got a helmet (correctcorrect), and I’ll go ahead and put on the boots (correctcorrect). Do you have a saddle pad (correctcorrect)?
2026‑01
I’ll put her on the lunge (correctcorrect) first so she can learn to ride rising trot (correctcorrect)on the outside leg (acceptable or partly rightacceptable ou en partie juste). Make sure she has a riding helmet (correctcorrect) on, and I’ll put my gaiters (wrongfaux) on already. Do you still have a saddle pad (correctcorrect)?
2026‑01, deuxième essai
I’ll lunge (correctcorrect) her first so she can learn to rise (correctcorrect)on the outside foreleg (acceptable or partly rightacceptable ou en partie juste). Make sure she’s wearing her riding hat (correctcorrect), and I’ll put my half chaps (wrongfaux) on. Do you have a saddle pad (correctcorrect) as well?
2026‑10
I’ll put her on the lunge line (correctcorrect) first so she can learn to post on the outside diagonal (correctcorrect). Make sure she has a riding helmet (correctcorrect), and I’ll put the brushing boots (correctcorrect) on in the meantime. Do you have another saddle pad (correctcorrect)?
Un message néerlandais traduit par trois services de traduction en ligne en 2023, en 2025 et en 2026-10, avec leurs versions gratuites, et par ChatGPT entre 2023 et 2026, chaque fois avec le modèle le plus récent qu'offrait l'abonnement payant de base à ce moment-là et la requête *translate into English:* suivie du message ; le résultat de 2026-10 avec le réglage d'effort moyen, dans une conversation temporaire.
Des mots d’équitation hors de propos. Plusieurs résultats ont remplacé
un terme par du vocabulaire d’équitation sans rapport avec le message, comme
si n’importe quel mot du domaine faisait l’affaire : une martingale
(ChatGPT, 2023), une bride et des étriers (DeepL, 2025), un licol et une
sangle (DeepL, 2026).
Mot à mot, ou pas du tout. En 2023, les trois services ont laissé tok
et getten non traduits ou en ont fait autre chose (le I’m going to get
it d’eTranslation). Tous les résultats des services, sauf celui de Google
Traduction de 2026, ont rendu lichtrijden par ride light, ride
lightly, move lightly ou light riding.
Les services se sont éloignés les uns des autres. En 2026-10, Google
Traduction avait presque tous les termes justes, le résultat de DeepL avait
changé sans s’améliorer, et eTranslation n’avait trouvé que la longe.
ChatGPT a progressé, mais pas de façon régulière. En 2023-02, il a
produit une martingale et getting ready ; un mois plus tard, il avait déjà le
casque, les bandes et le bon diagonal, tandis que GPT-4, sorti le même
mois, équipait la cavalière d’une coquille (cup). La plupart des termes
étaient justes en 2024-05 et tous en 2025-09. Aucun des deux résultats de
2026-01 n’avait le bon diagonal, et tous deux faisaient de getten quelque
chose que porte la personne qui parle ; en 2026-10, tous les termes
étaient de nouveau justes. Un système plus récent peut se tromper sur un
terme qu’un système plus ancien traduisait correctement.
De l’anglais vers le français
Le message anglais est I’ll start her on the lunge line to learn to post
the trot on the correct diagonal. When you take her to him, make sure to
explain his cribbing and to clean his feathers and treat his frogs to avoid
thrush. How are your lead changes going? Are you doing flying changes yet?
Chaque proposition contient un terme d’équitation.
Système
Date
lunge line
post the trot on the correct diagonal
cribbing
feathers
frogs
thrush
flying changes
Référence
à la longe
le trot enlevé sur le bon diagonal
fait un tic à l’appui
fanons
fourchettes
pourriture de la fourchette
changements de pied en l’air
Google Traduction
2025
à la longe (correctcorrect)
placer le trot sur la bonne diagonale (wrongfaux)
s’accroupit (wrongfaux)
plumes (wrongfaux)
fourchettes (correctcorrect)
grives (wrongfaux)
changements de pied en vol (wrongfaux)
2026‑10
à la longe (correctcorrect)
trotter enlevé (correctcorrect)sur la bonne diagonale (wrongfaux)
tic d’appui (acceptable or partly rightacceptable ou en partie juste)
fanons (correctcorrect)
fourchettes (correctcorrect)
pourrissement (acceptable or partly rightacceptable ou en partie juste)
au galop (acceptable or partly rightacceptable ou en partie juste)
DeepL
2025
à la longe (correctcorrect)
prendre le trot dans la bonne diagonale (wrongfaux)
fait des crèches (wrongfaux)
plumes (wrongfaux)
grenouilles (wrongfaux)
muguet (wrongfaux)
changements en vol (wrongfaux)
2026‑10
à la longe (correctcorrect)
se lever au trot (acceptable or partly rightacceptable ou en partie juste)sur la bonne diagonale (wrongfaux)
problème de mordillage (wrongfaux)
crins (acceptable or partly rightacceptable ou en partie juste)
sabots (acceptable or partly rightacceptable ou en partie juste)
pourriture de la fourchette (correctcorrect)
changements au galop (acceptable or partly rightacceptable ou en partie juste)
eTranslation
2026‑10
ligne de fente (wrongfaux)
poser le trot sur la bonne diagonale (wrongfaux)
cribbing (wrongfaux)
plumes (wrongfaux)
grenouilles (wrongfaux)
muguet (wrongfaux)
changements de vol (wrongfaux)
ChatGPT
2025‑01 (GPT-4o)
sur la longe (acceptable or partly rightacceptable ou en partie juste)
trotter en levée (acceptable or partly rightacceptable ou en partie juste)sur la bonne diagonale (wrongfaux)
tic à l’appui (cribbing) (correctcorrect)
fanons (correctcorrect)
fourchettes (correctcorrect)
pourriture (correctcorrect)
changements de pied au vol (wrongfaux)
2026‑02 (GPT-5.2)
à la longe (correctcorrect)
trotter enlevé sur le bon diagonal (correctcorrect)
tic à l’appui (correctcorrect)
fanons (correctcorrect)
fourchettes (correctcorrect)
pourriture de fourchette (correctcorrect)
changements de pied (correctcorrect)au temps (wrongfaux) (en l’air (correctcorrect))
2026‑10
à la longe (correctcorrect)
trotter enlevé sur le bon diagonal (correctcorrect)
tique à l’appui (correctcorrect)
fanons (correctcorrect)
fourchettes (correctcorrect)
pourriture de la fourchette (correctcorrect)
changements de pied en l’air (correctcorrect)
Les termes du message anglais dans chaque résultat. *Lead changes* n'y figure pas : tous les résultats ont *changements de pied*, sauf les *changements de leads* d'eTranslation.
Les résultats complets
Système
Date
Résultat
Source
I’ll start her on the lunge line to learn to post the trot on the correct diagonal. When you take her to him, make sure to explain his cribbing and to clean his feathers and treat his frogs to avoid thrush. How are your lead changes going? Are you doing flying changes yet?
Référence
Je vais commencer par la travailler à la longe pour qu’elle apprenne le trot enlevé sur le bon diagonal. Quand tu l’emmèneras vers lui, n’oublie pas de préciser qu’il fait un tic à l’appui et de bien nettoyer ses fanons, puis de traiter ses fourchettes afin d’éviter la pourriture de la fourchette. Comment avancent tes changements de pied ? Est-ce que tu fais déjà des changements de pied en l’air ?
Google Traduction
2025
Je vais la démarrer à la longe (correctcorrect) pour lui apprendre à placer le trot sur la bonne diagonale (wrongfaux). Lorsque vous l’amènerez chez lui, assurez-vous de lui expliquer comment il s’accroupit (wrongfaux), de nettoyer ses plumes (wrongfaux) et de traiter ses fourchettes (correctcorrect) pour éviter les grives (wrongfaux). Comment se passent vos changements de pied (correctcorrect) ? Faites-vous déjà des changements de pied en vol (wrongfaux) ?
2026‑10
Je vais commencer à la travailler à la longe (correctcorrect) pour qu’elle apprenne à trotter enlevé (correctcorrect)sur la bonne diagonale (wrongfaux). Lorsque tu l’emmèneras vers lui, n’oublie pas d’expliquer son tic d’appui (acceptable or partly rightacceptable ou en partie juste), de nettoyer ses fanons (correctcorrect) et de soigner ses fourchettes (correctcorrect) pour éviter le pourrissement (acceptable or partly rightacceptable ou en partie juste). Comment se passent les changements de pied (correctcorrect) ? En faites-vous déjà au galop (acceptable or partly rightacceptable ou en partie juste) ?
DeepL
2025
Je la mettrai à la longe (correctcorrect) pour qu’elle apprenne à prendre le trot dans la bonne diagonale (wrongfaux). Lorsque vous l’emmènerez chez lui, n’oubliez pas de lui expliquer qu’il fait des crèches (wrongfaux), de nettoyer ses plumes (wrongfaux) et de traiter ses grenouilles (wrongfaux) pour éviter le muguet (wrongfaux). Comment se passent les changements de pied (correctcorrect) ? Faites-vous déjà des changements en vol (wrongfaux) ?
2026‑10
Je vais commencer par la travailler à la longe (correctcorrect) pour qu’elle apprenne à se lever au trot (acceptable or partly rightacceptable ou en partie juste)sur la bonne diagonale (wrongfaux). Quand tu l’emmèneras chez lui, n’oublie pas de lui expliquer son problème de mordillage (wrongfaux), de nettoyer ses crins (acceptable or partly rightacceptable ou en partie juste) et de soigner ses sabots (acceptable or partly rightacceptable ou en partie juste) pour éviter la pourriture de la fourchette (correctcorrect). Comment se passent tes changements de pied (correctcorrect) ? Tu fais déjà des changements au galop (acceptable or partly rightacceptable ou en partie juste) ?
eTranslation
2026‑10
Je la mettrai sur la ligne de fente (wrongfaux) pour apprendre à poser le trot sur la bonne diagonale (wrongfaux). Lorsque vous l’emmenez chez lui, assurez-vous d’expliquer son cribbing (wrongfaux) et de nettoyer ses plumes (wrongfaux) et de traiter ses grenouilles (wrongfaux) pour éviter le muguet (wrongfaux). Comment vont vos changements de leads (wrongfaux) ? Êtes-vous en train de faire des changements de vol (wrongfaux) encore ?
ChatGPT
2025‑01 (GPT-4o)
Je vais commencer par la mettre sur la longe (acceptable or partly rightacceptable ou en partie juste) pour qu’elle apprenne à trotter en levée (acceptable or partly rightacceptable ou en partie juste)sur la bonne diagonale (wrongfaux). Quand tu l’emmènes chez lui, assure-toi d’expliquer son tic à l’appui (cribbing) (correctcorrect) et de nettoyer ses fanons (correctcorrect) ainsi que de traiter ses fourchettes (correctcorrect) pour éviter la pourriture (correctcorrect). Comment se passent tes changements de pied (correctcorrect) ? Fais-tu déjà des changements de pied au vol (wrongfaux) ?
2026‑02 (GPT-5.2)
Je vais d’abord la mettre à la longe (correctcorrect) pour qu’elle apprenne à trotter enlevé sur le bon diagonal (correctcorrect). Quand tu l’emmèneras chez lui, assure-toi de lui expliquer qu’il tic à l’appui (correctcorrect) et de nettoyer ses fanons (correctcorrect), puis de soigner ses fourchettes (correctcorrect) pour éviter la pourriture de fourchette (correctcorrect). Comment vont tes changements de pied (correctcorrect) ? Tu fais déjà des changements de pied (correctcorrect)au temps (wrongfaux) (en l’air (correctcorrect)) ?
2026‑10
Je vais commencer par la faire travailler à la longe (correctcorrect) pour qu’elle apprenne à trotter enlevé sur le bon diagonal (correctcorrect). Quand tu l’emmèneras chez lui, assure-toi de bien lui expliquer qu’il tique à l’appui (correctcorrect), de nettoyer ses fanons (correctcorrect) et de traiter ses fourchettes (correctcorrect) pour éviter la pourriture de la fourchette (correctcorrect). Comment ça se passe, tes changements de pied (correctcorrect) ? Tu fais déjà des changements de pied en l’air (correctcorrect) ?
Un message anglais traduit en français par trois services de traduction en ligne en 2025 et en 2026-10, avec leurs versions gratuites, et par ChatGPT en 2025 et en 2026, avec la requête *translate into French:* suivie du message ; le résultat de 2026-10 avec le réglage d'effort moyen, dans une conversation temporaire.
En 2025, les services ont traduit les mots. Tous deux ont rendu post
the trot mot à mot et flying changes par en vol. Google Traduction a
rendu feathers par plumes et thrush par grives, l’oiseau ; DeepL a
rendu frogs par grenouilles, l’animal, et thrush par muguet, la
candidose de la bouche que l’anglais appelle aussi thrush.
En 2026-10, les services s’étaient éloignés les uns des autres. Google
Traduction avait la plupart des termes d’équitation, sauf la bonne
diagonale, là où les cavaliers disent le bon diagonal, et deux formes
proches du terme sans être le terme, tic d’appui et pourrissement. DeepL
trouvait la longe et la pourriture de la fourchette, mais rendait cribbing
par mordillage, feathers par crins, les poils du cheval en général, et
frogs par sabots, le pied entier. eTranslation traduisait toujours les
mots : une ligne de fente pour la longe, des plumes, des grenouilles
et le muguet, et cribbing laissé tel quel.
ChatGPT avait la plupart des termes d’équitation sans qu’on lui indique
le domaine. En 2025-01, ChatGPT-4o avait déjà tic à l’appui, fanons et
fourchettes, mais ni le trot ni les changements de pied en l’air. En
2026-02, ChatGPT-5.2 avait tous les termes justes sauf au temps, qui
désigne un autre changement de pied, et en 2026-10, tous les termes
étaient justes (see also the Prompting an LLM for translation page) (voir aussi la page Rédiger une requête de traduction pour un GML).
Sources
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Kocmi, T., Artemova, E., Avramidis, E., Bawden, R., Bojar, O., Dranch, K., et al. (2025). Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 355–413. https://doi.org/10.18653/v1/2025.wmt-1.22
Kocmi, T., Avramidis, E., Bawden, R., Bojar, O., Dvorkovich, A., Federmann, C., et al. (2024b). Findings of the WMT24 General Machine Translation Shared Task: The LLM Era Is Here but MT Is Not Solved Yet. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1–46. https://doi.org/10.18653/v1/2024.wmt-1.1
Prompting an LLM for translationRédiger une requête de traduction pour un GML
a user manual for the technicians who install industrial pumps
for the 2023 models tested, stating the task and the domain improved the translations, most on specialized and less-resourced pairs (Peng et al., 2023); with GPT-5.2, on four newspaper editorials, human evaluators preferred the translations from a prompt giving a translation brief (audience, publication context, register) to those from a bare request (Lai & Li, 2026)
earlier translations of similar sentences, from a translation memory
steered the output of the 2023 models tested toward the required terminology and style, without any change to the model (Moslem et al., 2023); for Gemini 1.5 Pro, retrieved example translations of similar sentences improved domain translation (Li et al., 2025c)
Terms
the client’s term list
for Gemini 1.5 Pro, a term list barely improved domain translation, where example translations did (Li et al., 2025c). With a glossary in the prompt, the four open models tested by Dahan et al. (2026) used the glossary’s terms much more often, but also varied their terms less than human translators do, for instance alternating a term with a shorter form or a synonym, as French scientific writing tends to
What a translation prompt has to state.
The tool you translate in decides who writes the prompt. In a chat
app, you write it, so this context is yours to give. Some CAT tools now offer
translation with a large language model, and there the tool writes the
prompt: depending on the tool and its settings, it may add matches from the
translation memory and entries from the termbase, but the audience and the
purpose reach the model only if the tool lets you add them, and tools differ
in what they send.memoQ’s documentation for version 12.5 says its AGT feature sends translation memory matches above a match rate the user sets, and that “Term base matches are always sent” (Translate with AGT, read 13 October 2026). Trados describes its AI Assistant as putting “an LLM to work alongside your terminology and translation memories” (What is AI Assistant in Trados Studio?, read 13 October 2026).
Beyond that context, research on how to write a translation prompt has
produced few findings that apply from one model to the next. Each study tests
one or a few models, and several results have changed with newer ones:
Stating the domain improved the translations of ChatGPT in 2023 (Peng
et al., 2023). For a reasoning model of 2025, DeepSeek-R1, one study found
that it changed the scores very little, in either direction; that study
has remained a preprint (Ye et al., 2025).
The wording and the format of the prompt made a large difference for
older and smaller models: GPT-3.5’s results varied widely with the format,
GPT-4’s much less, and larger models are generally less sensitive to how a
prompt is worded (He et al., 2024; Zhuo et al.,
2024) (see also the Structure the prompt page, in the Using LLMs module) (voir aussi la page Structurer la requête, dans le module Utiliser les GML). For
translation, imperfect English in the prompt mostly lowered how well the
instructions were followed, but the translation quality itself was barely
affected (Schmidtová et al., 2026).
The language of the prompt made a difference in one study and not in
another. With GPT-5.1 translating between Spanish
and Italian, experts preferred the translations from prompts written in the
target language to those from English prompts (Bove et al., 2026); with
GPT-5.2 translating Spanish newspaper editorials into Chinese, the prompt’s
language made no difference (Lai & Li, 2026). Both studies are small, with
one language pair each (see also the language of the prompt page, in the Using LLMs module) (voir aussi la page La langue de la requête, dans le module Utiliser les GML).
Working through a translator’s steps (research, draft, revision) did
not improve the translation of sentences: asking a model simply to
translate again and refine its own draft worked as well or better (Wu et
al., 2025b). For long texts, a four-step workflow did beat a single prompt
with Gemini 1.5 Pro (Briakou et al., 2024) (see also the Split the task page, in the Using LLMs module) (voir aussi la page Découper la tâche, dans le module Utiliser les GML).
Reasoning before translating gained little. When a model’s reasoning
was switched on or given more time, its translations of sentences changed
little, levelled off quickly or got slightly worse (Zebaze et al., 2025; Li
et al., 2026; Rajaee et al., 2026). Reasoning models still translate very
well: the best system at WMT 2025, Gemini 2.5 Pro, ran with its reasoning
on (Kocmi et al., 2025). Extra reasoning helped more when the model reviewed
and corrected a translation than when it produced one (Li et al.,
2026) (see also the Reasoning step by step page, in the LLM lifecycle module) (voir aussi la page Raisonner étape par étape, dans le module Cycle de vie des GML).
Bove, A., Di Cataldo, P., & Maestroni, D. (2026). Evaluating the Effect of Prompt Language on LLM-based Translation: Evidence from Spanish<>Italian Translation. Proceedings of the 26th Annual Conference of the European Association for Machine Translation (Volume 1), 800–812. https://aclanthology.org/2026.eamt-1.51/
Briakou, E., Luo, J., Cherry, C., & Freitag, M. (2024). Translating Step-by-Step: Decomposing the Translation Process for Improved Translation Quality of Long-Form Texts. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1301–1317. https://doi.org/10.18653/v1/2024.wmt-1.123
Dahan, N., Peng, Z., Yvon, F., & Bawden, R. (2026). Improving Term Evaluation in Machine Translation: Variation Matters. Proceedings of the 17th Conference of the Association for Machine Translation in the Americas (Research Track). https://aclanthology.org/2026.amta-research.7/
He, J., Rungta, M., Koleczek, D., Sekhon, A., Wang, F. X., & Hasan, S. (2024). Does Prompt Formatting Have Any Impact on LLM Performance?. Preprint, arXiv:2411.10541. https://arxiv.org/abs/2411.10541
Kocmi, T., Artemova, E., Avramidis, E., Bawden, R., Bojar, O., Dranch, K., et al. (2025). Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 355–413. https://doi.org/10.18653/v1/2025.wmt-1.22
Lai, H., & Li, W. (2026). The Role of Prompt Language and Translation-Theory-Driven Prompts in Large Language Models: A Case Study on Spanish–Chinese Journalistic Translation. Proceedings of the 26th Annual Conference of the European Association for Machine Translation (Volume 1), 883–901. https://aclanthology.org/2026.eamt-1.57/
Li, B., Luo, J., Briakou, E., & Cherry, C. (2025c). Leveraging Domain Knowledge at Inference Time for LLM Translation: Retrieval versus Generation. Proceedings of the 4th International Workshop on Knowledge-Augmented Methods for Natural Language Processing (KnowledgeNLP 2025), 91–106. https://doi.org/10.18653/v1/2025.knowledgenlp-1.7
Li, Z., Ji, S., & Tiedemann, J. (2026). Test-Time Scaling of Reasoning Models for Machine Translation. Proceedings of the 19th Conference of the European Chapter of the Association for Computational Linguistics (Volume 1: Long Papers), 2902–2917. https://doi.org/10.18653/v1/2026.eacl-long.133
Moslem, Y., Haque, R., Kelleher, J. D., & Way, A. (2023). Adaptive Machine Translation with Large Language Models. Proceedings of the 24th Annual Conference of the European Association for Machine Translation (EAMT 2023), 227–237. https://aclanthology.org/2023.eamt-1.22/
Peng, K., Ding, L., Zhong, Q., Shen, L., Liu, X., Zhang, M., et al. (2023). Towards Making the Most of ChatGPT for Machine Translation. Findings of the Association for Computational Linguistics: EMNLP 2023, 5622–5633. https://doi.org/10.18653/v1/2023.findings-emnlp.373
Rajaee, S., Vincent, S., Berard, A., Fadaee, M., Marchisio, K., & Kocmi, T. (2026). Unlocking Reasoning Capability on Machine Translation in Large Language Models. Preprint, arXiv:2602.14763. https://arxiv.org/abs/2602.14763
Schmidtová, P., Bafna, N., Aycock, S., Vico, G., Kamzela, W., Hämmerl, K., & Zouhar, V. (2026). How Important is 'Perfect' English for Machine Translation Prompts?. Findings of the Association for Computational Linguistics: EACL 2026, 760–777. https://doi.org/10.18653/v1/2026.findings-eacl.38
Wu, D., Aycock, S., & Monz, C. (2025b). Please Translate Again: Two Simple Experiments on Whether Human-Like Reasoning Helps Translation. Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing (EMNLP 2025), 20424–20440. https://doi.org/10.18653/v1/2025.emnlp-main.1031
Ye, Y., Fu, B., Huang, C., Chen, Y., & Shi, X. (2025). How Well Do Large Reasoning Models Translate? A Comprehensive Evaluation for Multi-Domain Machine Translation. Preprint, arXiv:2505.19987. https://arxiv.org/abs/2505.19987
Zebaze, A., Bawden, R., & Sagot, B. (2025). LLM Reasoning for Machine Translation: Synthetic Data Generation over Thinking Tokens. Preprint, arXiv:2510.11919. https://arxiv.org/abs/2510.11919
Zhuo, J., Zhang, S., Fang, X., Duan, H., Lin, D., & Chen, K. (2024). ProSA: Assessing and Understanding the Prompt Sensitivity of LLMs. Findings of the Association for Computational Linguistics: EMNLP 2024, 1950–1976. https://doi.org/10.18653/v1/2024.findings-emnlp.108
un manuel d’utilisation destiné aux techniciens qui installent des pompes industrielles
pour les modèles de 2023 testés, préciser la tâche et le domaine a amélioré les traductions, surtout pour les paires spécialisées et moins dotées (Peng et al., 2023) ; avec GPT-5.2, sur quatre éditoriaux de presse, des évaluateurs humains ont préféré les traductions obtenues avec une requête donnant un cahier des charges de traduction (public, contexte de publication, registre) à celles obtenues avec une simple demande (Lai & Li, 2026)
des traductions antérieures de phrases semblables, tirées d’une mémoire de traduction
a orienté le résultat des modèles de 2023 testés vers la terminologie et le style voulus, sans aucune modification du modèle (Moslem et al., 2023) ; pour Gemini 1.5 Pro, des traductions de phrases semblables retrouvées et données en exemple ont amélioré la traduction spécialisée (Li et al., 2025c)
Des termes
la liste de termes du client
pour Gemini 1.5 Pro, une liste de termes n’a presque rien changé à la traduction spécialisée, là où des traductions données en exemple l’ont améliorée (Li et al., 2025c). Avec un glossaire dans la requête, les quatre modèles ouverts testés par Dahan et al. (2026) employaient bien plus souvent les termes du glossaire, mais variaient aussi moins leurs termes que les traducteurs humains, qui alternent par exemple un terme avec une forme abrégée ou un synonyme, comme le fait volontiers l’écriture scientifique en français
Ce qu'une requête de traduction doit préciser.
L’outil dans lequel on traduit détermine qui rédige la requête.
Dans une application conversationnelle, c’est vous, si bien que ce contexte
est à vous de le donner. Certains outils de TAO proposent désormais la
traduction par un grand modèle de langue, et c’est alors l’outil qui rédige la
requête : selon l’outil et ses réglages, il peut y ajouter des
correspondances de la mémoire de traduction et des entrées de la base
terminologique, mais le public et le but ne parviennent au modèle que si
l’outil permet de les ajouter, et les outils diffèrent dans ce qu’ils
envoient.La documentation de memoQ pour la version 12.5 indique que sa fonction AGT envoie les correspondances de la mémoire de traduction au-delà d’un taux de correspondance fixé par l’utilisateur, et que « Term base matches are always sent » [ma traduction : « les correspondances de la base terminologique sont toujours envoyées »] (Translate with AGT, consulté le 13 octobre 2026). Trados décrit son AI Assistant comme un outil qui « puts an LLM to work alongside your terminology and translation memories » [ma traduction : « fait travailler un grand modèle de langue avec votre terminologie et vos mémoires de traduction »] (What is AI Assistant in Trados Studio?, consulté le 13 octobre 2026).
Traduire un fichier entier est une autre question : beaucoup d’applications
conversationnelles peuvent désormais rendre un fichier traduit, mais il faut
vérifier si sa mise en forme et ses balises ont été
conservées (see also the Working with long documents page, in the Using LLMs module) (voir aussi la page Travailler avec de longs documents, dans le module Utiliser les GML).
Ce qui n’est pas établi
Au-delà de ce contexte, la recherche sur la rédaction des requêtes de
traduction a produit peu de résultats qui valent d’un modèle à l’autre.
Chaque étude teste un modèle ou quelques-uns, et plusieurs résultats ont changé
avec les modèles plus récents :
Préciser le domaine a amélioré les traductions de ChatGPT en 2023 (Peng
et al., 2023). Pour un modèle de raisonnement de 2025, DeepSeek-R1, une
étude a constaté que cela changeait très peu les scores, dans un sens comme
dans l’autre ; cette étude est restée une prépublication (Ye et al., 2025).
La formulation et le format de la requête comptaient beaucoup pour les
modèles plus anciens et plus petits : les résultats de GPT-3.5 variaient
fortement selon le format, ceux de GPT-4 beaucoup moins, et les modèles plus
grands sont en général moins sensibles à la formulation d’une requête (He et
al., 2024 ; Zhuo et al., 2024) (see also the Structure the prompt page, in the Using LLMs module) (voir aussi la page Structurer la requête, dans le module Utiliser les GML).
Pour la traduction, un anglais imparfait dans la requête a surtout diminué
la façon dont le modèle suivait les consignes, mais la qualité de la
traduction elle-même n’en a presque pas souffert (Schmidtová et al., 2026).
La langue de la requête a compté dans une étude et pas dans
l’autre. Avec GPT-5.1 traduisant entre l’espagnol et
l’italien, des experts ont préféré les traductions obtenues avec des
requêtes rédigées dans la langue cible à celles obtenues avec des requêtes
en anglais (Bove et al., 2026) ; avec GPT-5.2 traduisant des éditoriaux de
presse espagnols en chinois, la langue de la requête n’a rien changé (Lai &
Li, 2026). Les deux études sont petites et ne portent chacune que sur une
paire de langues (see also the language of the prompt page, in the Using LLMs module) (voir aussi la page La langue de la requête, dans le module Utiliser les GML).
Faire passer le modèle par les étapes d’un traducteur (recherche,
ébauche, révision) n’a pas amélioré la traduction de phrases : demander
simplement au modèle de traduire à nouveau et d’affiner sa propre ébauche a
donné d’aussi bons résultats, voire meilleurs (Wu et al., 2025b). Pour des
textes longs, un flux de travail en quatre étapes a battu une requête unique
avec Gemini 1.5 Pro (Briakou et al., 2024) (see also the Split the task page, in the Using LLMs module) (voir aussi la page Découper la tâche, dans le module Utiliser les GML).
Raisonner avant de traduire a peu apporté. Quand le raisonnement d’un
modèle était activé ou disposait de plus de temps, ses traductions de
phrases changeaient peu, plafonnaient vite ou se dégradaient légèrement
(Zebaze et al., 2025 ; Li et al., 2026 ; Rajaee et al., 2026). Les modèles
de raisonnement traduisent pourtant très bien : le meilleur système de
WMT 2025, Gemini 2.5 Pro, fonctionnait avec son raisonnement activé (Kocmi
et al., 2025). Un raisonnement plus long a davantage aidé quand le modèle
révisait et corrigeait une traduction que quand il la produisait (Li et
al., 2026) (see also the Reasoning step by step page, in the LLM lifecycle module) (voir aussi la page Raisonner étape par étape, dans le module Cycle de vie des GML).
Bove, A., Di Cataldo, P., & Maestroni, D. (2026). Evaluating the Effect of Prompt Language on LLM-based Translation: Evidence from Spanish<>Italian Translation. Proceedings of the 26th Annual Conference of the European Association for Machine Translation (Volume 1), 800–812. https://aclanthology.org/2026.eamt-1.51/
Briakou, E., Luo, J., Cherry, C., & Freitag, M. (2024). Translating Step-by-Step: Decomposing the Translation Process for Improved Translation Quality of Long-Form Texts. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1301–1317. https://doi.org/10.18653/v1/2024.wmt-1.123
Dahan, N., Peng, Z., Yvon, F., & Bawden, R. (2026). Improving Term Evaluation in Machine Translation: Variation Matters. Proceedings of the 17th Conference of the Association for Machine Translation in the Americas (Research Track). https://aclanthology.org/2026.amta-research.7/
He, J., Rungta, M., Koleczek, D., Sekhon, A., Wang, F. X., & Hasan, S. (2024). Does Prompt Formatting Have Any Impact on LLM Performance?. Preprint, arXiv:2411.10541. https://arxiv.org/abs/2411.10541
Kocmi, T., Artemova, E., Avramidis, E., Bawden, R., Bojar, O., Dranch, K., et al. (2025). Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 355–413. https://doi.org/10.18653/v1/2025.wmt-1.22
Lai, H., & Li, W. (2026). The Role of Prompt Language and Translation-Theory-Driven Prompts in Large Language Models: A Case Study on Spanish–Chinese Journalistic Translation. Proceedings of the 26th Annual Conference of the European Association for Machine Translation (Volume 1), 883–901. https://aclanthology.org/2026.eamt-1.57/
Li, B., Luo, J., Briakou, E., & Cherry, C. (2025c). Leveraging Domain Knowledge at Inference Time for LLM Translation: Retrieval versus Generation. Proceedings of the 4th International Workshop on Knowledge-Augmented Methods for Natural Language Processing (KnowledgeNLP 2025), 91–106. https://doi.org/10.18653/v1/2025.knowledgenlp-1.7
Li, Z., Ji, S., & Tiedemann, J. (2026). Test-Time Scaling of Reasoning Models for Machine Translation. Proceedings of the 19th Conference of the European Chapter of the Association for Computational Linguistics (Volume 1: Long Papers), 2902–2917. https://doi.org/10.18653/v1/2026.eacl-long.133
Moslem, Y., Haque, R., Kelleher, J. D., & Way, A. (2023). Adaptive Machine Translation with Large Language Models. Proceedings of the 24th Annual Conference of the European Association for Machine Translation (EAMT 2023), 227–237. https://aclanthology.org/2023.eamt-1.22/
Peng, K., Ding, L., Zhong, Q., Shen, L., Liu, X., Zhang, M., et al. (2023). Towards Making the Most of ChatGPT for Machine Translation. Findings of the Association for Computational Linguistics: EMNLP 2023, 5622–5633. https://doi.org/10.18653/v1/2023.findings-emnlp.373
Rajaee, S., Vincent, S., Berard, A., Fadaee, M., Marchisio, K., & Kocmi, T. (2026). Unlocking Reasoning Capability on Machine Translation in Large Language Models. Preprint, arXiv:2602.14763. https://arxiv.org/abs/2602.14763
Schmidtová, P., Bafna, N., Aycock, S., Vico, G., Kamzela, W., Hämmerl, K., & Zouhar, V. (2026). How Important is 'Perfect' English for Machine Translation Prompts?. Findings of the Association for Computational Linguistics: EACL 2026, 760–777. https://doi.org/10.18653/v1/2026.findings-eacl.38
Wu, D., Aycock, S., & Monz, C. (2025b). Please Translate Again: Two Simple Experiments on Whether Human-Like Reasoning Helps Translation. Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing (EMNLP 2025), 20424–20440. https://doi.org/10.18653/v1/2025.emnlp-main.1031
Ye, Y., Fu, B., Huang, C., Chen, Y., & Shi, X. (2025). How Well Do Large Reasoning Models Translate? A Comprehensive Evaluation for Multi-Domain Machine Translation. Preprint, arXiv:2505.19987. https://arxiv.org/abs/2505.19987
Zebaze, A., Bawden, R., & Sagot, B. (2025). LLM Reasoning for Machine Translation: Synthetic Data Generation over Thinking Tokens. Preprint, arXiv:2510.11919. https://arxiv.org/abs/2510.11919
Zhuo, J., Zhang, S., Fang, X., Duan, H., Lin, D., & Chen, K. (2024). ProSA: Assessing and Understanding the Prompt Sensitivity of LLMs. Findings of the Association for Computational Linguistics: EMNLP 2024, 1950–1976. https://doi.org/10.18653/v1/2024.findings-emnlp.108
Remaining failuresLes échecs qui subsistent
The weaknesses found at WMT
WMT, the yearly comparison of machine translation systems held at the
Conference on Machine Translation, reports specific weaknesses even in the
best systems (Kocmi et al., 2024b,
2025) (see also the trend across editions page) (voir aussi la page La tendance d'une édition à l'autre):
speech input, the hardest domain two years running, most likely because
the systems translate an automatic transcription and inherit its errors;
low-resource languages, where the human evaluation of 2025 showed
weaknesses in all the models tested, in Egyptian Arabic and in Maasai;
specific phenomena tested by targeted test suites: non-standard input,
complex syntax, domain terminology, the choice and agreement of gender.
By contrast, in the domains tested in 2024, the best systems’
translations from English into Spanish were close to the human references.
Figure 7. One example of the Last Translation Benchmark: three leading systems fail the verification rule on an easy-looking sentence (Zouhar et al., 2026, example 1).
The contributors. 260 contributors from 177 institutions, each submitting
sentences, images, audio or video that they knew to be hard, with a correct
translation of their own; every submission is reviewed by another
contributor. The first version, LTBv1, contains 3 456 examples in 109
languages (Zouhar et al., 2026).
The admission test. An example is accepted only if most of
the systems shown to the contributor fail it and the human translation
passes: the benchmark contains hard cases by construction, and says nothing
about the quality of a typical translation.
The scoring. Each example comes with one or more verification
rules describing the failure to look for (“the word for nurse must not be
feminine”). A model checks each translation against each rule, and a
translation passes only if it satisfies them all. The score of a system is
the share of examples it passes.
System
Examples passed
Human translations (the contributors’)
99.8 %
Gemini 3.1 Pro
41.9 %
GPT-5.6 Sol
31.8 %
GPT-5.6 Luna
19.3 %
Claude Sonnet 4.5
6.0 %
NLLB 3.3B, an encoder-decoder system
2.0 %
Google Translate
1.6 %
Share of examples passed on the Last Translation Benchmark, LTBv1-eval, with Gemma 4 as the verifier (Zouhar et al., 2026, main table 2, selected rows).
Ordinary metrics did not flag the failures. On the same translations,
ordinary metrics and a large language model used as judge gave scores in
the range the authors label “good”, while the share of examples passed
stayed low. A judge given the rule detected the error; a judge asked only to
rate the translation usually did not (Zouhar et al., 2026) (see also the A large language model as judge page, in the Evaluating language technology module) (voir aussi la page Un grand modèle de langue comme juge, dans le module L'évaluation des technologies langagières).
Figure 8. Sources of translation difficulty, from the examples of the Last Translation Benchmark (Zouhar et al., 2026, table 6). Counts are examples; one example may have several labels.
Difficulty
Example
Result
Polysemy in a domain
English paper, meaning an article, into German
most models wrote Papier, the material, where Artikel or the loanword Paper was needed
Internet culture and slang
French mon pain for my crush, with a borrowed whippin
several models kept bread
A false friend
Hausa marka, heavy rain, which looks like English mark
one service wrote this monsoon is marked
Meta-reasoning
Italian Come si dice formaggio in inglese?
most models translated formaggio too, producing a question that answers itself
Four of the benchmark's examples, as the authors describe them (Zouhar et al., 2026).
Remedies. Two remedies are backtranslation, where a system trained for
the opposite direction turns monolingual target text into synthetic
parallel data, and multilingual models, which draw on a related language
that has more data (Jurafsky & Martin, 2026).
Data quality. In a manual audit of large parallel corpora, many
had fewer than half of their sentences of acceptable quality, for instance
repeated web text or wrong translations. This suggests that speakers of the
languages concerned were not involved enough in building them (Jurafsky &
Martin, 2026).
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Kocmi, T., Artemova, E., Avramidis, E., Bawden, R., Bojar, O., Dranch, K., et al. (2025). Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 355–413. https://doi.org/10.18653/v1/2025.wmt-1.22
Kocmi, T., Avramidis, E., Bawden, R., Bojar, O., Dvorkovich, A., Federmann, C., et al. (2024b). Findings of the WMT24 General Machine Translation Shared Task: The LLM Era Is Here but MT Is Not Solved Yet. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1–46. https://doi.org/10.18653/v1/2024.wmt-1.1
Zouhar, V., Bafna, N., Choudhary, M., Züfle, M., Rajaee, S., Chen, P., et al. (2026). Last Translation Benchmark. Preprint, arXiv:2609.04173. http://arxiv.org/abs/2609.04173
Les faiblesses relevées à WMT
WMT, la comparaison annuelle des systèmes de traduction automatique tenue
lors de la conférence sur la traduction automatique (Conference on Machine
Translation), relève des faiblesses précises même chez les meilleurs systèmes
(Kocmi et al., 2024b, 2025) (see also the trend across editions page) (voir aussi la page La tendance d'une édition à l'autre) :
l’entrée orale, le domaine le plus difficile deux années de suite, très
probablement parce que les systèmes traduisent une transcription
automatique et en héritent les erreurs ;
les langues peu dotées, où l’évaluation humaine de 2025 a montré des
faiblesses dans tous les modèles testés, en arabe égyptien et en maasaï ;
des phénomènes précis examinés par des séries de tests ciblées : les
entrées non standard, la syntaxe complexe, la terminologie d’un domaine, le
choix et l’accord du genre.
Par contraste, dans les domaines testés en 2024, les traductions de l’anglais
vers l’espagnol des meilleurs systèmes étaient proches des références
humaines.
Figure 7. Un exemple du Last Translation Benchmark : trois systèmes de pointe échouent à la règle de vérification sur une phrase d'apparence facile (Zouhar et al., 2026, exemple 1).
Les contributeurs. 260 contributeurs de 177 établissements ont chacun
soumis des phrases, des images, des fichiers audio ou des vidéos qu’ils
savaient difficiles, avec leur propre traduction correcte ; chaque
soumission est révisée par un autre contributeur. La première version,
LTBv1, contient 3 456 exemples dans 109 langues (Zouhar et al., 2026).
Le critère d’admission. Un exemple n’est accepté que si la plupart des
systèmes montrés au contributeur échouent et que la traduction humaine
réussit : le test ne contient que des cas difficiles par construction, et ne
dit rien de la qualité d’une traduction ordinaire.
La notation. Chaque exemple est accompagné d’une ou de plusieurs règles
de vérification qui décrivent l’échec à rechercher (« le mot pour nurse ne
doit pas être au féminin »). Un modèle vérifie chaque traduction au regard
de chaque règle, et une traduction ne réussit que si elle les respecte
toutes. Le score d’un système est la proportion d’exemples qu’il réussit.
Système
Exemples réussis
Traductions humaines (celles des contributeurs)
99,8 %
Gemini 3.1 Pro
41,9 %
GPT-5.6 Sol
31,8 %
GPT-5.6 Luna
19,3 %
Claude Sonnet 4.5
6,0 %
NLLB 3.3B, un système encodeur-décodeur
2,0 %
Google Traduction
1,6 %
Proportion d'exemples réussis au Last Translation Benchmark, LTBv1-eval, avec Gemma 4 comme vérificateur (Zouhar et al., 2026, tableau principal 2, lignes choisies).
Les mesures habituelles n’ont pas signalé les échecs. Sur les mêmes
traductions, les mesures habituelles et un grand modèle de langue employé
comme juge ont donné des scores dans la plage que les auteurs qualifient de
« bonne », alors que la proportion d’exemples réussis restait faible. Un
juge à qui l’on donnait la règle détectait l’erreur ; un juge à qui l’on
demandait seulement d’évaluer la traduction ne la détectait généralement
pas (Zouhar et al., 2026) (see also the A large language model as judge page, in the Evaluating language technology module) (voir aussi la page Un grand modèle de langue comme juge, dans le module L'évaluation des technologies langagières).
Figure 8. Les sources de difficulté de la traduction, d'après les exemples du Last Translation Benchmark (Zouhar et al., 2026, tableau 6). Les nombres comptent des exemples ; un exemple peut avoir plusieurs étiquettes.
Difficulté
Exemple
Résultat
Polysémie dans un domaine
l’anglais paper, au sens d’article, vers l’allemand
la plupart des modèles ont écrit Papier, la matière, là où il fallait Artikel ou l’emprunt Paper
Culture Internet et argot
le français mon pain au sens de my crush, avec l’emprunt whippin
plusieurs modèles ont gardé bread
Un faux ami
le haoussa marka, forte pluie, qui ressemble à l’anglais mark
un service a écrit this monsoon is marked
Métaraisonnement
l’italien Come si dice formaggio in inglese?
la plupart des modèles ont aussi traduit formaggio, ce qui donne une question qui contient sa réponse
Quatre exemples du test de performances, tels que les auteurs les décrivent (Zouhar et al., 2026).
Les solutions. Deux solutions sont la rétrotraduction, où un système
entraîné pour la direction inverse transforme des textes monolingues de la
langue cible en données parallèles synthétiques, et les modèles
multilingues, qui s’appuient sur une langue apparentée disposant de plus de
données (Jurafsky & Martin, 2026).
La qualité des données. Dans un audit manuel de grands corpus
parallèles, beaucoup comptaient moins de la moitié de phrases de qualité
acceptable, par exemple du texte Web répété ou des traductions erronées. Cela
laisse penser que les locuteurs des langues concernées n’ont pas été assez
associés à leur constitution (Jurafsky & Martin, 2026).
Les tests de performances. Les tests de performances eux-mêmes penchent
vers les langues bien dotées : 73 % des exemples du Last Translation
Benchmark se traduisent vers l’anglais (Zouhar et
al., 2026) (see also the Linguistic hegemony page, in the Critical issues with LLMs module) (voir aussi la page L'hégémonie linguistique, dans le module Enjeux critiques des GML).
Sources
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Kocmi, T., Artemova, E., Avramidis, E., Bawden, R., Bojar, O., Dranch, K., et al. (2025). Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 355–413. https://doi.org/10.18653/v1/2025.wmt-1.22
Kocmi, T., Avramidis, E., Bawden, R., Bojar, O., Dvorkovich, A., Federmann, C., et al. (2024b). Findings of the WMT24 General Machine Translation Shared Task: The LLM Era Is Here but MT Is Not Solved Yet. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1–46. https://doi.org/10.18653/v1/2024.wmt-1.1
Zouhar, V., Bafna, N., Choudhary, M., Züfle, M., Rajaee, S., Chen, P., et al. (2026). Last Translation Benchmark. Preprint, arXiv:2609.04173. http://arxiv.org/abs/2609.04173
The WMT shared taskLa tâche partagée WMT
Written in English. The French version was automatically generated
and I have not revised it.
Rédigé en anglais. La version française a été
générée automatiquement et je ne l'ai pas révisée.
The WMT general translation taskLa tâche générale de traduction de WMT
A shared task
Two systems tested by their own developers are hard to compare, since each
is tested on texts and with a measure the developer chose. A shared task
gives every system the same test.
For machine translation, the best-known shared task is WMT, the Conference
on Machine Translation, which has run a general translation task every year
since 2006, first as a workshop and since 2016 as a conference (Kocmi et al.,
2025). Each year follows the same cycle
(Figure 1figure 1):
the organizers prepare test texts that nobody has seen;
the participants translate them with their systems and submit the output
by a deadline;
the organizers have the output judged;
the results appear together in a findings paper, and the data are
released so that the evaluation can be checked and reused.
Figure 1. One year of the WMT general translation task.
A recent edition covers a few dozen language pairs, about half of them with
human evaluation. The test sets of the 2024 and 2025 editions were built
this way (Kocmi et al., 2024b, 2025):
Several domains. News, social media, speech and literary texts in both
editions, with educational texts added in 2025, chosen to cover different
styles while staying readable by annotators without specialist knowledge.
For the speech domain, participants receive the audio and an automatic
transcription; in 2025 they also received screenshots of the social media
posts.
Whole documents. Since 2024, each source text is an entire document,
such as a news article or a social media thread, divided into paragraphs.
Participants can translate it at once or piece by piece, and each
translation is judged in its context.
Difficult documents. New in 2025: an automatic estimator of
translation difficulty scores every paragraph from the source alone, the
scores are aggregated by document, and the hardest documents are kept.
the other systems, proprietary models and private data included, form a
track of their own: the unconstrained track in 2025, split in 2024 into
an open track (public data and models) and a closed one (Kocmi et al.,
2024b, 2025).
In 2025, a multilingual subtrack, evaluated automatically only, tested
one system translating from English into many languages at once.
Several dozen systems are too many to judge by hand, so since 2024 the
judging happens in two stages (Figure 2figure 2; Kocmi et al., 2024b, 2025).
Figure 2. The two stages of judging at WMT 2025: an automatic ranking of every system, then human evaluation of the leading ones.
Automatic ranking. Automatic methods score every system, and the
scores are combined into one ranking per language pair, which the
organizers call AutoRank and use to choose which systems go to human
evaluation. In 2024 AutoRank combined two metrics trained on human
judgements, one that compares the output with the reference and one that
works without it; in 2025 it combined two large language models prompted
to act as judges, two trained metrics that compare with the reference, and
one that works without it.
Human evaluation. Annotators who are native speakers of the target
language, many of them professional translators or linguists, judge the
output with the Error Span Annotation protocol: they mark every error in a
paragraph as minor or major, then give the paragraph a score from 0 to 100
(Kocmi et al., 2024a). In 2025, two language pairs were judged with the
finer MQM scheme
instead (see also the Human evaluation: DA, MQM and ESA page, in the Evaluating language technology module) (voir aussi la page L'évaluation humaine : DA, MQM et ESA, dans le module L'évaluation des technologies langagières). Systems
whose human scores cannot be told apart statistically are placed in one
cluster, and the systems of the first cluster are the winners of a
language pair.
Sources
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Kocmi, T., Artemova, E., Avramidis, E., Bawden, R., Bojar, O., Dranch, K., et al. (2025). Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 355–413. https://doi.org/10.18653/v1/2025.wmt-1.22
Kocmi, T., Avramidis, E., Bawden, R., Bojar, O., Dvorkovich, A., Federmann, C., et al. (2024b). Findings of the WMT24 General Machine Translation Shared Task: The LLM Era Is Here but MT Is Not Solved Yet. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1–46. https://doi.org/10.18653/v1/2024.wmt-1.1
Kocmi, T., Zouhar, V., Avramidis, E., Grundkiewicz, R., Karpinska, M., Popović, M., et al. (2024a). Error Span Annotation: A Balanced Approach for Human Evaluation of Machine Translation. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1440–1453. https://doi.org/10.18653/v1/2024.wmt-1.131
Une tâche partagée
Deux systèmes testés par leurs propres développeurs se comparent mal,
puisque chacun est testé sur des textes et avec une mesure que son
développeur a choisis. Une tâche partagée soumet tous les systèmes au même
test.
En traduction automatique, la tâche partagée la plus connue est celle de
WMT, la Conference on Machine Translation, qui organise chaque année depuis
2006 une tâche générale de traduction, d’abord sous forme d’atelier, puis,
depuis 2016, de conférence (Kocmi et al., 2025). Chaque année suit le même
cycle (Figure 1figure 1) :
les organisateurs préparent des textes de test que personne n’a vus ;
les participants les traduisent avec leurs systèmes et soumettent les
résultats avant une échéance ;
les organisateurs font juger les résultats ;
les résultats paraissent ensemble dans un article de synthèse, et les
données sont publiées pour que l’évaluation puisse être vérifiée et
réutilisée.
Figure 1. Une année de la tâche générale de traduction de WMT.
Une édition récente couvre quelques dizaines de paires de langues, dont
environ la moitié font l’objet d’une évaluation humaine. Les jeux de test des
éditions 2024 et 2025 ont été constitués ainsi (Kocmi et al., 2024b, 2025) :
Plusieurs domaines. Des textes journalistiques, des médias sociaux, de
la parole et des textes littéraires dans les deux éditions, auxquels
s’ajoutent des textes pédagogiques en 2025, choisis pour couvrir des styles
différents tout en restant lisibles par des annotateurs sans connaissances
spécialisées. Pour le domaine de la parole, les participants reçoivent
l’audio et une transcription automatique ; en 2025, ils ont aussi reçu des
captures d’écran des publications des médias sociaux.
Des documents entiers. Depuis 2024, chaque texte source est un
document entier, par exemple un article de presse ou un fil de discussion
sur un média social, découpé en paragraphes. Les participants peuvent le
traduire d’un seul tenant ou morceau par morceau, et chaque traduction est
jugée dans son contexte.
Des documents difficiles. Nouveauté de 2025 : un estimateur
automatique de la difficulté de traduction note chaque paragraphe à partir
de la source seule, les notes sont regroupées par document, et les
documents les plus difficiles sont retenus.
les autres systèmes, modèles propriétaires et données privées compris,
forment une catégorie à part : la catégorie non contrainte en 2025,
divisée en 2024 en une catégorie ouverte (données et modèles publics) et
une catégorie fermée (Kocmi et al., 2024b, 2025).
En 2025, une sous-catégorie multilingue, évaluée automatiquement
seulement, testait un système unique qui traduit de l’anglais vers de
nombreuses langues à la fois.
Plusieurs dizaines de systèmes, c’est trop pour un jugement manuel ; depuis
2024, le jugement se fait donc en deux étapes (Figure 2figure 2 ; Kocmi et al., 2024b, 2025).
Figure 2. Les deux étapes du jugement à WMT 2025 : un classement automatique de tous les systèmes, puis une évaluation humaine des systèmes en tête.
Classement automatique. Des méthodes automatiques notent chaque
système, et les notes sont combinées en un classement par paire de
langues, que les organisateurs appellent AutoRank et qui sert à choisir
les systèmes soumis à l’évaluation humaine. En 2024, AutoRank combinait
deux métriques entraînées sur des jugements humains, l’une qui compare le
résultat à la référence et l’autre qui s’en passe ; en 2025, il combinait
deux grands modèles de langue utilisés comme juges, deux métriques
entraînées qui comparent le résultat à la référence et une qui s’en passe.
Évaluation humaine. Des annotateurs dont la langue maternelle est la
langue cible, pour beaucoup des traducteurs professionnels ou des
linguistes, jugent les résultats selon le protocole Error Span
Annotation : ils classent chaque erreur d’un paragraphe comme mineure ou
majeure, puis attribuent au paragraphe une note de 0 à 100 (Kocmi et al.,
2024a). En 2025, deux paires de langues ont été jugées avec la grille MQM,
plus fine (see also the Human evaluation: DA, MQM and ESA page, in the Evaluating language technology module) (voir aussi la page L'évaluation humaine : DA, MQM et ESA, dans le module L'évaluation des technologies langagières). Les
systèmes dont les notes humaines ne se distinguent pas statistiquement
sont placés dans un même groupe, et les systèmes du premier groupe sont
les gagnants d’une paire de langues.
Sources
Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Kocmi, T., Artemova, E., Avramidis, E., Bawden, R., Bojar, O., Dranch, K., et al. (2025). Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 355–413. https://doi.org/10.18653/v1/2025.wmt-1.22
Kocmi, T., Avramidis, E., Bawden, R., Bojar, O., Dvorkovich, A., Federmann, C., et al. (2024b). Findings of the WMT24 General Machine Translation Shared Task: The LLM Era Is Here but MT Is Not Solved Yet. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1–46. https://doi.org/10.18653/v1/2024.wmt-1.1
Kocmi, T., Zouhar, V., Avramidis, E., Grundkiewicz, R., Karpinska, M., Popović, M., et al. (2024a). Error Span Annotation: A Balanced Approach for Human Evaluation of Machine Translation. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1440–1453. https://doi.org/10.18653/v1/2024.wmt-1.131
The trend across editionsLa tendance d'une édition à l'autre
documents selected for difficulty; large language models used as judges in the automatic ranking
The last three editions of the general translation task, and the change each made (Kocmi et al., 2023, 2024b, 2025).
The subtitles alone show how quickly large language models changed the
task. In 2023 they were among the systems for the first time; by 2024 the
organizers spoke of an “LLM era”; and in 2025 the best systems did so well
on ordinary texts that the test sets had to be made harder to tell them
apart.
The 2026 edition takes place on 28 October 2026 and 29 October 2026.WMT 2026, www2.statmt.org/wmt26, read 10 October 2026: eleventh Conference on Machine Translation, Budapest, with EMNLP 2026.
Automatic scores and human judges disagree about the best system. In
both 2024 and 2025 the system that led the automatic ranking was not the
one people preferred, and in 2024 the organizers traced the gap to a system
that had chosen its output with the very metric used to rank it. Their
conclusion is that human evaluation remains the final
arbiter (see also the Reading the scores page, in the Evaluating language technology module) (voir aussi la page Lire les scores, dans le module L'évaluation des technologies langagières).
Human translations are not always preferred. From 2023 on, the output
of the best systems could often not be told apart from the human reference,
and in 2025 the references were in the winning group for fewer than half of
the language pairs. The papers themselves add cautions: the
references are produced by agencies under a brief and vary in quality, and
an evaluation that marks errors can give a high score to a translation that
is free of errors but does not capture the author’s voice.
The remaining weaknesses are speech input, low-resource languages and
targeted phenomena, such as domain terminology and
gender (see also the Remaining failures page) (voir aussi la page Les échecs qui subsistent).
Adelani, D. I., Agostinelli, V., Anastasopoulos, A., Bentivogli, L., Bojar, O., et al. (2026). Speech translation and metrics in 2026: Findings of the IWSLT campaign. Proceedings of the 23rd International Conference on Spoken Language Translation (IWSLT 2026), 336–422. https://aclanthology.org/2026.iwslt-1.39/
Kocmi, T., Artemova, E., Avramidis, E., Bawden, R., Bojar, O., Dranch, K., et al. (2025). Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 355–413. https://doi.org/10.18653/v1/2025.wmt-1.22
Kocmi, T., Avramidis, E., Bawden, R., Bojar, O., Dvorkovich, A., Federmann, C., et al. (2023). Findings of the 2023 Conference on Machine Translation (WMT23): LLMs Are Here but Not Quite There Yet. Proceedings of the Eighth Conference on Machine Translation (WMT 2023), Singapore, 1–42. https://doi.org/10.18653/v1/2023.wmt-1.1
Kocmi, T., Avramidis, E., Bawden, R., Bojar, O., Dvorkovich, A., Federmann, C., et al. (2024b). Findings of the WMT24 General Machine Translation Shared Task: The LLM Era Is Here but MT Is Not Solved Yet. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1–46. https://doi.org/10.18653/v1/2024.wmt-1.1
Lavie, A., Hanneman, G., Agrawal, S., Kanojia, D., Lo, C., Zouhar, V., et al. (2025). Findings of the WMT25 Shared Task on Automated Translation Evaluation Systems: Linguistic Diversity is Challenging and References Still Help. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 436–483. https://doi.org/10.18653/v1/2025.wmt-1.24
des documents choisis pour leur difficulté ; des grands modèles de langue utilisés comme juges dans le classement automatique
Les trois dernières éditions de la tâche générale de traduction, et le changement apporté par chacune (Kocmi et al., 2023, 2024b, 2025).
Les sous-titres suffisent à montrer à quelle vitesse les grands modèles de
langue ont transformé la tâche. En 2023, ils figuraient pour la première fois
parmi les systèmes ; en 2024, les organisateurs annonçaient l’ère des GML ;
et en 2025, les meilleurs systèmes réussissaient si bien sur des textes
ordinaires qu’il a fallu rendre les jeux de test plus difficiles pour les
départager.
L’édition 2026 se tient le 28 octobre 2026 et le 29 octobre 2026.WMT 2026, www2.statmt.org/wmt26, consulté le 10 octobre 2026 : onzième Conference on Machine Translation, à Budapest, avec EMNLP 2026.
Les notes automatiques et les juges humains divergent sur le meilleur
système. En 2024 comme en 2025, le système en tête du classement
automatique n’était pas celui que les personnes préféraient, et en 2024 les
organisateurs ont attribué l’écart à un système qui avait choisi ses
résultats à l’aide de la métrique même qui servait à le classer. Leur
conclusion est que l’évaluation humaine reste l’arbitre
final (see also the Reading the scores page, in the Evaluating language technology module) (voir aussi la page Lire les scores, dans le module L'évaluation des technologies langagières).
Les traductions humaines ne sont pas toujours préférées. À partir de
2023, les résultats des meilleurs systèmes ne pouvaient souvent pas être
distingués de la référence humaine, et en 2025 les références figuraient
dans le groupe gagnant pour moins de la moitié des paires de langues. Les
articles eux-mêmes apportent des mises en garde : les références sont
produites par des agences selon une consigne et sont de qualité variable,
et une évaluation qui relève les erreurs peut donner une note élevée à une
traduction exempte d’erreurs, mais qui ne rend pas la voix de l’auteur.
Les faiblesses restantes sont l’entrée orale, les langues peu dotées et
des phénomènes ciblés, comme la terminologie d’un domaine et le
genre (see also the Remaining failures page) (voir aussi la page Les échecs qui subsistent).
terminologie ; langues indiennes, langues créoles, paires arabe-langues asiatiques et chinois-langues d’Asie du Sud-Est ; sous-titres de vidéos ; compression de modèles
des systèmes sur un domaine, un groupe de langues ou une contrainte, là où la tâche générale en dit peu
L’évaluation
évaluation automatisée de la traduction automatique (les anciennes tâches des métriques et de l’estimation de la qualité, réunies en 2025) ; séries de tests ciblées
les évaluateurs eux-mêmes : à quel point une métrique ou un juge s’accorde avec les personnes, et ce que révèlent des jeux de test ciblés
Les données et les modèles
données ouvertes ; instructions multilingues ; modèles de langue à ressources limitées
les ressources et les modèles plus petits sur lesquels le domaine s’appuie
Les types de tâches partagées que WMT organise à côté de la tâche générale de traduction (éditions 2025 et 2026).
Adelani, D. I., Agostinelli, V., Anastasopoulos, A., Bentivogli, L., Bojar, O., et al. (2026). Speech translation and metrics in 2026: Findings of the IWSLT campaign. Proceedings of the 23rd International Conference on Spoken Language Translation (IWSLT 2026), 336–422. https://aclanthology.org/2026.iwslt-1.39/
Kocmi, T., Artemova, E., Avramidis, E., Bawden, R., Bojar, O., Dranch, K., et al. (2025). Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 355–413. https://doi.org/10.18653/v1/2025.wmt-1.22
Kocmi, T., Avramidis, E., Bawden, R., Bojar, O., Dvorkovich, A., Federmann, C., et al. (2023). Findings of the 2023 Conference on Machine Translation (WMT23): LLMs Are Here but Not Quite There Yet. Proceedings of the Eighth Conference on Machine Translation (WMT 2023), Singapore, 1–42. https://doi.org/10.18653/v1/2023.wmt-1.1
Kocmi, T., Avramidis, E., Bawden, R., Bojar, O., Dvorkovich, A., Federmann, C., et al. (2024b). Findings of the WMT24 General Machine Translation Shared Task: The LLM Era Is Here but MT Is Not Solved Yet. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1–46. https://doi.org/10.18653/v1/2024.wmt-1.1
Lavie, A., Hanneman, G., Agrawal, S., Kanojia, D., Lo, C., Zouhar, V., et al. (2025). Findings of the WMT25 Shared Task on Automated Translation Evaluation Systems: Linguistic Diversity is Challenging and References Still Help. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 436–483. https://doi.org/10.18653/v1/2025.wmt-1.24