The impact on machine translationL'incidence sur la traduction automatique
TRA6008 S2 · in classS2 · en classe
Read before you translate
When you translate, you need context before you can commit. You cannot start rendering a sentence on its first word: you read ahead, a few words at least, to see where it is going. Consider for instance the English-to-French translation in Figure 8figure 8.
Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.
This is why transformers transformertransformeur deep learningapprentissage profond A neural-network architecture for processing sequences, such as text.Architecture de réseau de neurones pour le traitement des séquences, comme le texte. , which can take in all the context of a sentence at once, so clearly outperformed the sequential models that came before them: she is one connection away from épuisée, wherever the two sit.
Where each target word comes from
While the decoder decoderdécodeur deep learningapprentissage profond A neural-network component or architecture used to generate an output sequence.Composant ou architecture de réseau de neurones servant à générer une séquence de sortie. writes coureuse, cross-attention cross-attentionattention croisée deep learningapprentissage profond An attention mechanism in which the queries come from one sequence or component and the keys and values come from another.Mécanisme d'attention dans lequel les requêtes proviennent d'une séquence ou d'un composant et les clés et valeurs d'un autre. weighs the words of the English sentence and runner dominates (see also the Encoders and decoders page) (voir aussi la page Encodeurs et décodeurs). Do that at every target word and out comes a map between the two texts, close to what a translator means by alignment and to what a CAT tool computes when it aligns a file with its translation.
Nobody gave the model that map. It worked it out from millions of translated sentence pairs, four and a half million for the English-German system of the original paper (Vaswani et al., 2017).
Context stopped at the sentence
Attention did not change how much text goes in at once. Machine translation machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. went on working one sentence at a time for years, so a term settled in one sentence had no bearing on the next, and a pronoun could not reach back to the paragraph that named its referent. Translating with the whole document in view is its own line of work (Voita et al., 2019; Maruf et al., 2021), and feeding a text in whole became ordinary only with the long context windows context windowfenêtre contextuelle language modelsmodèles de langue "The amount of input (like text) that an AI system can process at one time during a task. Think of it as a model's short-term memory. A model can only consider so much text when generating its next response, and once the conversation exceeds its context window, the model starts 'forgetting' prior responses." (Stanford HAI).Quantité d'entrée (du texte, par exemple) qu'un système d'IA peut traiter à la fois pendant une tâche ; en quelque sorte, la mémoire à court terme du modèle. Un modèle ne peut considérer qu'une quantité limitée de texte pour générer sa prochaine réponse et, quand la conversation dépasse sa fenêtre contextuelle, il commence à « oublier » les réponses antérieures (d'après Stanford HAI, traduction libre). of today’s models (see also the Machine translation module) (voir aussi le module Traduction automatique).
Lire avant de traduire
Quand vous traduisez, il vous faut du contexte avant de pouvoir vous engager. Vous ne pouvez pas commencer à rendre une phrase dès son premier mot : vous lisez plus loin, quelques mots au moins, pour voir où elle va. Prenez par exemple la traduction de l’anglais vers le français de la Figure 8figure 8.
Click the drawing, or a line below, to build it up stage by stage. Cliquez sur le dessin, ou sur une ligne ci-dessous, pour le construire étape par étape.
C’est pourquoi les transformeurs transformertransformeur deep learningapprentissage profond A neural-network architecture for processing sequences, such as text.Architecture de réseau de neurones pour le traitement des séquences, comme le texte. , qui peuvent prendre en compte tout le contexte d’une phrase à la fois, ont si nettement surpassé les modèles séquentiels qui les précédaient : she est à une seule connexion de épuisée, où que les deux se trouvent.
D’où vient chaque mot d’arrivée
Pendant que le décodeur decoderdécodeur deep learningapprentissage profond A neural-network component or architecture used to generate an output sequence.Composant ou architecture de réseau de neurones servant à générer une séquence de sortie. écrit coureuse, l’attention croisée cross-attentionattention croisée deep learningapprentissage profond An attention mechanism in which the queries come from one sequence or component and the keys and values come from another.Mécanisme d'attention dans lequel les requêtes proviennent d'une séquence ou d'un composant et les clés et valeurs d'un autre. pèse les mots de la phrase anglaise les uns contre les autres, et runner, le mot qu’il s’agit de rendre, domine (see also the Encoders and decoders page) (voir aussi la page Encodeurs et décodeurs). Faites cela à chaque mot d’arrivée et il en sort une carte entre les deux textes : ce mot-ci rend ce mot-là. C’est proche de ce qu’une traductrice ou un traducteur appelle un alignement, et proche de ce que calcule un outil de TAO quand il aligne un fichier de départ avec sa traduction.
Personne n’a donné cette carte au modèle. Il l’a établie à partir de millions de paires de phrases traduites, quatre millions et demi pour le système anglais-allemand de l’article d’origine (Vaswani et al., 2017).
Le contexte s’est arrêté à la phrase
L’attention n’a pas changé la quantité de texte qui entre d’un coup. La traduction automatique machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. a continué pendant des années à travailler une phrase à la fois : un terme réglé dans une phrase n’avait donc aucune portée sur la suivante, et un pronom ne pouvait pas remonter au paragraphe qui nommait son référent. Traduire avec tout le document sous les yeux est un axe de recherche à part entière (Voita et al., 2019 ; Maruf et al., 2021), et fournir un texte entier n’est devenu ordinaire qu’avec les longues fenêtres contextuelles context windowfenêtre contextuelle language modelsmodèles de langue "The amount of input (like text) that an AI system can process at one time during a task. Think of it as a model's short-term memory. A model can only consider so much text when generating its next response, and once the conversation exceeds its context window, the model starts 'forgetting' prior responses." (Stanford HAI).Quantité d'entrée (du texte, par exemple) qu'un système d'IA peut traiter à la fois pendant une tâche ; en quelque sorte, la mémoire à court terme du modèle. Un modèle ne peut considérer qu'une quantité limitée de texte pour générer sa prochaine réponse et, quand la conversation dépasse sa fenêtre contextuelle, il commence à « oublier » les réponses antérieures (d'après Stanford HAI, traduction libre). des modèles d’aujourd’hui (see also the Machine translation module) (voir aussi le module Traduction automatique).
Sources
- Maruf, S., Saleh, F., & Haffari, G. (2021). A survey on document-level neural machine translation: Methods and evaluation. ACM Computing Surveys, 54(2), article 45. https://doi.org/10.1145/3441691
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., et al. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems 30 (NIPS 2017). https://papers.nips.cc/paper_files/paper/2017/hash/3f5ee243547dee91fbd053c1c4a845aa-Abstract.html
- Voita, E., Sennrich, R., & Titov, I. (2019). When a good translation is wrong in context: Context-aware machine translation improves on deixis, ellipsis, and lexical cohesion. Proceedings of the 57th Annual Meeting of the ACL, 1198–1212. https://aclanthology.org/P19-1116/
Sources
- Maruf, S., Saleh, F., & Haffari, G. (2021). A survey on document-level neural machine translation: Methods and evaluation. ACM Computing Surveys, 54(2), article 45. https://doi.org/10.1145/3441691
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., et al. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems 30 (NIPS 2017). https://papers.nips.cc/paper_files/paper/2017/hash/3f5ee243547dee91fbd053c1c4a845aa-Abstract.html
- Voita, E., Sennrich, R., & Titov, I. (2019). When a good translation is wrong in context: Context-aware machine translation improves on deixis, ellipsis, and lexical cohesion. Proceedings of the 57th Annual Meeting of the ACL, 1198–1212. https://aclanthology.org/P19-1116/