Teach · Neural translation and large language models

Machine translationTraduction automatique

Neural translation and large language modelsLa traduction neuronale et les grands modèles de langue

Machine translationTraduction automatique

Neural translation and large language modelsLa traduction neuronale et les grands modèles de langue

Neural translationLa traduction neuronale
Strengths and limits of neural translationForces et limites de la traduction neuronale
Large language models as translatorsLes grands modèles de langue comme traducteurs
Prompting an LLM for translationRédiger une requête de traduction pour un GML
Remaining failuresLes échecs qui subsistent

Key pointsL'essentiel

Neural translation and large language modelsLa traduction neuronale et les grands modèles de langue

A neural translation system is one network that reads the whole source sentence and writes the translation one token at a time; its output is fluent, and its errors read as well as the rest.

Un système de traduction neuronale est un réseau unique qui lit toute la phrase source et écrit la traduction un jeton à la fois ; ses résultats sont fluides, et ses erreurs se lisent aussi bien que le reste.

Key pointsL'essentiel

Neural translation and large language modelsLa traduction neuronale et les grands modèles de langue

A large language model translates as one task among many: the source and an instruction go in as a prompt and the translation comes out as the continuation; since 2024 such models have led the human rankings at WMT, the yearly comparison of machine translation systems.

Un grand modèle de langue traduit comme il accomplit n'importe quelle autre tâche : la source et une consigne y entrent sous forme de requête, et la traduction en sort comme la suite du texte ; depuis 2024, ces modèles dominent les classements humains de WMT, la comparaison annuelle des systèmes de traduction automatique.

Key pointsL'essentiel

Neural translation and large language modelsLa traduction neuronale et les grands modèles de langue

A prompt for translation has to give the model what any translator would need and cannot find in the source text: the audience and the purpose, the variety of the language and the client's terms. Beyond that, research gives few rules that apply from one model to the next.

Une requête de traduction doit donner au modèle ce dont tout traducteur aurait besoin et qu'il ne trouve pas dans le texte source : le public et le but, la variété de la langue et les termes du client. Au-delà, la recherche fournit peu de règles qui valent d'un modèle à l'autre.

Key pointsL'essentiel

Neural translation and large language modelsLa traduction neuronale et les grands modèles de langue

Today's systems still fail on gender, idiom, wordplay, slang and cultural knowledge, and on languages with little data; a benchmark built from such cases shows the best models failing many of them while ordinary metrics still rate the output as good.

Les systèmes actuels échouent encore sur le genre, les expressions idiomatiques, les jeux de mots, l'argot et les connaissances culturelles, ainsi que sur les langues disposant de peu de données ; un test de performances construit à partir de tels cas montre que les meilleurs modèles en échouent un grand nombre, alors que les mesures habituelles jugent toujours bon le résultat.

Page 1Page 1

Neural translationLa traduction neuronale

A neural translation system is a single network, an and a connected by attention, that reads the whole source sentence and then writes the translation one at a time. It is trained on the same parallel corpora as the statistical systems were.
Each token is chosen with the whole source in view and is not revised once written; translation systems usually keep several candidate sentences open, with beam search.

Un système de traduction neuronale est un réseau unique, un et un reliés par l'attention, qui lit toute la phrase source puis écrit la traduction un à la fois. Il est entraîné sur les mêmes corpus parallèles que l'étaient les systèmes statistiques.
Chaque jeton est choisi avec toute la source en vue et n'est plus révisé une fois écrit ; les systèmes de traduction gardent généralement plusieurs phrases candidates ouvertes, par la recherche en faisceau.

Page 1Page 1

Figure 1. The three separate components of a statistical system and the single network of a neural one.

Deux panneaux. À gauche, la traduction statistique : un corpus parallèle alimente un modèle de traduction, la table de traduction, et des textes monolingues alimentent un modèle de langue ; les deux alimentent un décodeur, une recherche qui combine des paires de segments. À droite, la traduction neuronale : un corpus parallèle alimente un seul réseau, dans lequel un encodeur qui lit la source transmet à un décodeur qui écrit la traduction. — **Figure 1.** Les trois composantes séparées d'un système statistique et le réseau unique d'un système neuronal.

Page 1Page 1

Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.

Figure 2. A transformer encoder-decoder translating one sentence, from the start signal to the fourth word.

Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.

Figure 2. Un encodeur-décodeur à transformeur qui traduit une phrase, du signal de début au quatrième mot.

Page 1Page 1

Figure 3. Pieces of words from one vocabulary shared by both languages. The cuts are illustrative: each system learns its own.

À gauche, la source française Alfa Ndiaye arrive et la traduction anglaise Alfa Ndiaye arrives, chacune découpée en morceaux : Al, fa, N, di, aye, arr, puis ive ou ives. Des lignes pointillées relient les six morceaux communs aux deux. En dessous, la phrase chinoise signifiant j'aime les chiens, écrite sans espaces, découpée en trois morceaux. À droite, un extrait d'un vocabulaire unique qui contient les morceaux des trois langues. — **Figure 3.** Des morceaux de mots tirés d'un vocabulaire commun aux deux langues. Les découpages sont fictifs : chaque système apprend les siens.

Page 1Page 1

Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.

Figure 4. Greedy decoding against beam search on one short sentence. The probabilities are illustrative.

Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.

Figure 4. Le décodage glouton et la recherche en faisceau sur une courte phrase. Les probabilités sont fictives.

Page 2Page 2

Strengths and limits of neural translationForces et limites de la traduction neuronale

Neural translation is fluent and coherent within the sentence, so its errors are as fluent as the rest and are found mainly by comparing with the source.
It translates best the kind of text it was trained on, and like the generations before it, it translates one sentence at a time.

La traduction neuronale est fluide et cohérente à l'intérieur de la phrase, si bien que ses erreurs sont aussi fluides que le reste et se repèrent surtout en comparant avec la source.
Elle traduit le mieux le genre de textes sur lequel elle a été entraînée et, comme les générations précédentes, elle traduit une phrase à la fois.

Page 2Page 2

Two book covers side by side. On the left, the French paperback of Frère d'âme by David Diop, with a drawing of a Senegalese infantryman in a red fez and a band announcing the Prix Goncourt des lycéens. On the right, the English edition, At Night All Blood Is Black, with the title in large black letters around a white moon and the silhouette of a soldier with a bayonet. — **Figure 5.** The novel in French and in Anna Moschovakis's English translation, At Night All Blood Is Black. Covers © Éditions Points and © Pushkin Press.

Deux couvertures de livre côte à côte. À gauche, l'édition de poche française de Frère d'âme de David Diop, avec le dessin d'un tirailleur sénégalais coiffé d'une chéchia rouge et un bandeau annonçant le prix Goncourt des lycéens. À droite, l'édition anglaise, At Night All Blood Is Black, avec le titre en grandes lettres noires autour d'une lune blanche et la silhouette d'un soldat baïonnette au canon. — **Figure 5.** Le roman en français et dans la traduction anglaise d'Anna Moschovakis, At Night All Blood Is Black. Couvertures © Éditions Points et © Pushkin Press.

Page 3Page 3

Large language models as translatorsLes grands modèles de langue comme traducteurs

A large language model translates as one task among many: the source text and an instruction go in as a prompt, and the translation comes out as the continuation.
WMT, the yearly comparison of machine translation systems, compares encoder-decoder neural systems, general large language models and large language models fine-tuned for translation. Since 2024 the large language models have led its human rankings.
Progress is real but uneven: a newer system can get a term wrong that an older one got right.

Un grand modèle de langue traduit comme il accomplit n'importe quelle autre tâche : le texte source et une consigne y entrent sous forme de requête, et la traduction en sort comme la suite du texte.
WMT, la comparaison annuelle des systèmes de traduction automatique, oppose des systèmes neuronaux encodeur-décodeur, des grands modèles de langue généraux et des grands modèles de langue affinés pour la traduction. Depuis 2024, les grands modèles de langue dominent ses classements humains.
Les progrès sont réels mais inégaux : un système plus récent peut se tromper sur un terme qu'un système plus ancien traduisait correctement.

Page 3Page 3

Two panels. Above, an encoder-decoder system: the source sentence enters an encoder, the decoder writes the target; the two halves are separate boxes. Below, a large language model: one running text, Translate into English: Le chien suit Jean. followed by a cursor, and the model continues it with The dog follows Jean. The whole thing is one decoder reading one text that contains two languages. — **Figure 6.** An encoder-decoder system and a large language model translating the same sentence.

Deux panneaux. En haut, un système encodeur-décodeur : la phrase source entre dans un encodeur, le décodeur écrit la cible ; les deux moitiés sont des encadrés séparés. En bas, un grand modèle de langue : un seul texte courant, Traduis en anglais : Le chien suit Jean., suivi d'un curseur, que le modèle prolonge par The dog follows Jean. L'ensemble est un seul décodeur qui lit un seul texte contenant deux langues. — **Figure 6.** Un système encodeur-décodeur et un grand modèle de langue traduisant la même phrase.

Page 4Page 4

Prompting an LLM for translationRédiger une requête de traduction pour un GML

A prompt for translation has to give the model what any translator would need and cannot find in the source text: who the translation is for and why, which variety of the language to use, and which terms the client imposes.
Beyond that, research gives few rules that apply from one model to the next, and several findings have changed with newer models. My advice to translators is therefore to experiment, and to do so regularly.

Une requête de traduction doit donner au modèle ce dont tout traducteur aurait besoin et qu'il ne trouve pas dans le texte source : à qui s'adresse la traduction et dans quel but, quelle variété de la langue employer, et quels termes le client impose.
Au-delà, la recherche fournit peu de règles qui valent d'un modèle à l'autre, et plusieurs résultats ont changé avec les modèles plus récents. Mon conseil aux traducteurs est donc d'expérimenter, et de le faire régulièrement.

Page 5Page 5

Remaining failuresLes échecs qui subsistent

Today's best systems still fail in specific places: on speech input, on languages with little data, and on gender, idiom, wordplay, slang and cultural knowledge.
A benchmark built from examples that the leading systems get wrong shows that they fail many of them, while ordinary metrics still rate the same output as good.

Les meilleurs systèmes actuels échouent encore à des endroits précis : sur l'entrée orale, sur les langues disposant de peu de données, et sur le genre, les expressions idiomatiques, les jeux de mots, l'argot et les connaissances culturelles.
Un test de performances construit à partir d'exemples que les principaux systèmes traduisent mal montre qu'ils en échouent un grand nombre, alors que les mesures habituelles jugent toujours bon le même résultat.

Page 5Page 5

Figure 7. One example of the Last Translation Benchmark: three leading systems fail the verification rule on an easy-looking sentence (Zouhar et al., 2026, example 1).

Figure 7. Un exemple du Last Translation Benchmark : trois systèmes de pointe échouent à la règle de vérification sur une phrase d'apparence facile (Zouhar et al., 2026, exemple 1).

Page 5Page 5

A tree in two branches. Linguistic skills: sense-related (polysemy, collocation, style, domain, gradation of meaning), non-monolingual (variant specifics, false friends, a gap in the target language, code-mixing), non-compositional (metaphor, wordplay, meta-reasoning, poetry) and atypical (garden-path sentences, induced confusion, unusual part of speech). Extra-linguistic skills: knowledge (cultural artefacts, conventions, slang, named entities, internet culture) and constraints (multimodal input, output language, input format, output length). Each leaf shows its count of examples. — **Figure 8.** Sources of translation difficulty, from the examples of the Last Translation Benchmark (Zouhar et al., 2026, table 6). Counts are examples; one example may have several labels.

Un arbre à deux branches. Compétences linguistiques : liées au sens (polysémie, collocation, style, domaine, gradation du sens), non monolingues (particularités de variété, faux amis, lacune dans la langue cible, alternance codique), non compositionnelles (métaphore, jeu de mots, métaraisonnement, poésie) et atypiques (phrases-labyrinthes, confusion provoquée, partie du discours inhabituelle). Compétences extralinguistiques : connaissances (artefacts culturels, conventions, argot, entités nommées, culture Internet) et contraintes (entrée multimodale, langue de sortie, format d'entrée, longueur de sortie). Chaque feuille indique son nombre d'exemples. — **Figure 8.** Les sources de difficulté de la traduction, d'après les exemples du Last Translation Benchmark (Zouhar et al., 2026, tableau 6). Les nombres comptent des exemples ; un exemple peut avoir plusieurs étiquettes.

Administrator

Neural translation and large language modelsLa traduction neuronale et les grands modèles de langue

Neural translation and large language modelsLa traduction neuronale et les grands modèles de langue

Neural translation and large language modelsLa traduction neuronale et les grands modèles de langue

Neural translation and large language modelsLa traduction neuronale et les grands modèles de langue

Neural translation and large language modelsLa traduction neuronale et les grands modèles de langue

Neural translation and large language modelsLa traduction neuronale et les grands modèles de langue

Neural translationLa traduction neuronale

Strengths and limits of neural translationForces et limites de la traduction neuronale

Large language models as translatorsLes grands modèles de langue comme traducteurs

Prompting an LLM for translationRédiger une requête de traduction pour un GML

Remaining failuresLes échecs qui subsistent

Run sheetAide-mémoire

Spotted an error? Une erreur ?