Projet 2 · Machine translationProjet 2 · Traduction automatique

Le projet en bref

Le Projet 2 compare trois façons de faire traduire un même texte de l’anglais vers le français :

• avec l’agent : vous traduisez vous-même en travaillant avec un agent conversationnel, de la préparation à la version finale ;
• la requête unique : l’agent reçoit une seule requête promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. et l’on garde ce qu’il produit ;
• DeepL : un service de traduction automatique machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. conçu pour traduire et rien d’autre.

Les trois suivent le même mandat de traduction (public, français du Canada, terminologie), mais ne le reçoivent pas de la même façon : DeepL ne le reçoit pas, la requête unique le contient en entier, et avec l’agent, c’est vous qui veillez à ce qu’il soit suivi. Un écart au mandat compte comme une erreur dans les évaluations qui s’appuient sur lui, quelle que soit la traduction.

Ces traductions sont ensuite évaluées de quatre façons :

• votre annotation de leurs erreurs, avec la grille MQM ;
• le juge : un agent conversationnel à qui l’on demande de les juger ;
• chrF, une métrique automatique de surface ;
• COMET, une métrique automatique apprise à partir de jugements humains.

chrF et COMET comparent chaque traduction à une traduction humaine faite par une autre équipe, la référence.

Le projet se fait en trois équipes de trois, chacune avec son agent : Claude, ChatGPT ou Gemini.

La comparaison des quatre évaluations est le cœur du projet : un texte n’a pas une seule bonne traduction, et les quatre évaluations ne classent pas toujours les traductions de la même manière.

La Figure 1figure 1 résume le travail du projet et, pour chaque partie, où trouver de l’aide.

Le Projet 2 vaut 30 % de la note du cours. Il est noté sur 100 points :

Les gabarits indiquent les points de chaque question.

Votre équipe et vos textes

Choisissez votre équipe : la page indique vos deux textes, et la page d’annotation s’en souviendra.

La composition des équipes et l’agent de chacune sont annoncés sur StudiUM ; l’attribution des agents change d’un projet à l’autre.

Chaque équipe travaille sur deux textes, celui qu’elle traduit à la main et son texte de travail, pour deux raisons :

• Vos deux traductions restent indépendantes. Si vous traduisiez le même texte à la main puis avec l’agent, la seconde traduction reprendrait vos solutions de la première, et ne montrerait plus ce que donne le travail avec l’agent.
• La référence ne favorise aucune de vos traductions. chrF et COMET mesurent la ressemblance avec la référence. Faite par une autre équipe, qui n’a pas travaillé sur ce texte avec un agent, la référence ne ressemble pas d’avance à vos traductions.
• L’ordre est fixe. Sur le texte de travail, les trois traductions avec l’agent viennent en premier, puis la requête unique, puis DeepL : une traduction lue avant de traduire influence la vôtre.

Le projet semaine par semaine

Chaque étape est détaillée, avec son matériel, sur Projet 2 · Pas à pas.

Les traductions et leurs évaluations

Ce que vous remettez

Les remises finales se font sur StudiUM ; les remises intermédiaires, par courriel, à ayla.rigouts.terryn@umontreal.ca. Vos conversations avec l’agent et vos scores ne se remettent pas à part : ils vont dans les rapports. Un lien de partage qui ne fonctionne pas, ou un agent qui ne permet pas le partage, se remplace par une copie de la conversation, ajoutée à la remise du rapport où le lien figure.

1. Lire la théorie sur la traduction automatique, pour la séance 7

• Qu’est-ce que la traduction automatique ;
• Avant les réseaux de neurones : règles et statistiques ;
• La traduction neuronale et les grands modèles de langue.

Toute la théorie se lit avant les séances, qui servent au travail de projet ; nous prendrons le temps de vos questions sur la matière à la séance 7.

2. Traduire, à la séance 7

À la séance 7, après vos questions sur les lectures :

1. toute la classe rédige la requête promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. unique et l’essaie sur le texte d’essai (votre part dans ce travail compte dans la note du processus) ;
2. chaque personne traduit à la main le texte que l’aperçu indique pour son équipe (texte 1 pour l’équipe Claude, par exemple) ;
3. chaque personne traduit le texte de travail avec l’agent de l’équipe.

Puis, en équipe, en classe s’il reste du temps, sinon pour la séance 8 :

4. lancer la requête unique et DeepL sur le texte de travail, une fois les trois traductions avec l’agent terminées ;
5. s’accorder sur une seule version du texte traduit à la main, la référence, et me l’envoyer au plus tard au début de la séance 8.

L’ordre des traductions du texte de travail est fixe : d’abord les trois traductions avec l’agent, puis la requête unique, puis DeepL, jamais l’inverse. Une traduction lue avant de traduire influence la vôtre, et les trois traductions avec l’agent doivent être terminées quand la requête unique est lancée.

MANDAT DE TRADUCTION

Texte à traduire : le résumé d'un article scientifique sur la traduction
automatique, en anglais.

Destination : la page « Recherche récente » du site d'un centre universitaire
de traduction au Québec. Lectorat : traducteurs, terminologues, réviseurs et
étudiants en traduction, francophones, qui ne lisent pas la littérature
spécialisée en anglais mais connaissent les outils de traduction.

Langue : français du Canada. Registre neutre et soutenu, comme dans
l'original ; la première personne du pluriel de l'original est conservée.

Terminologie : les termes attestés, dans cet ordre de priorité : TERMIUM Plus,
puis le Grand dictionnaire terminologique de l'OQLF, puis DataFranca.
Termes imposés :
- machine translation (MT) : traduction automatique (TA)
- large language model (LLM) : grand modèle de langue (GML)
- benchmark : test de performances
- test set : jeu de données de test
- prompt : requête
- shared task : tâche partagée
Un terme technique dont l'équivalent français est peu répandu est donné en
français, suivi du terme anglais entre parenthèses à sa première occurrence,
par exemple « apprentissage en contexte (in-context learning) ». Les noms de
systèmes, de produits, de jeux de données et de conférences restent tels
quels (Google Translate, WMT).

Sigles : développés en français à la première occurrence, le sigle français
entre parenthèses ; ensuite le sigle seul. Un sigle qui est un nom (WMT)
reste tel quel.

Format : virgule décimale ; les nombres restent en chiffres, comme dans
l'original.

Ponctuation : espace insécable entre un nombre et le signe % ; guillemets
français « ».

Fidélité : rien d'ajouté, rien d'omis ; une phrase par ligne, dans le même
ordre que l'original.

Traduis le texte ci-dessous de l'anglais vers le français du Canada. C'est le résumé d'un article scientifique sur la traduction automatique, destiné à la page « Recherche récente » du site d'un centre universitaire de traduction au Québec, lue par des traducteurs, des terminologues, des réviseurs et des étudiants en traduction francophones qui ne lisent pas la littérature spécialisée en anglais mais connaissent les outils de traduction, dans un registre neutre et soutenu comme l'original, en gardant la première personne du pluriel, avec les termes attestés par TERMIUM Plus, sinon par le Grand dictionnaire terminologique de l'OQLF, sinon par DataFranca, et en traduisant machine translation (MT) par traduction automatique (TA), large language model (LLM) par grand modèle de langue (GML), benchmark par test de performances, test set par jeu de données de test, prompt par requête et shared task par tâche partagée, un terme technique dont l'équivalent français est peu répandu étant donné en français suivi du terme anglais entre parenthèses à sa première occurrence, les noms de systèmes, de produits, de jeux de données et de conférences restant tels quels, les sigles étant développés en français à la première occurrence avec le sigle français entre parenthèses puis le sigle seul, avec la virgule décimale, une espace insécable entre un nombre et le signe %, les guillemets français et les nombres en chiffres comme dans l'original, sans rien ajouter ni omettre, une phrase par ligne dans le même ordre que l'original, et sans aucun commentaire, seulement la traduction.

[le texte, une phrase par ligne]

3. Lire la théorie sur l’évaluation, pour la séance 8

• Évaluation de la traduction automatique, dont l’exercice sur BLEU et chrF et la page sur MATEO ;
• La tâche partagée WMT.

Si vous le pouvez, faites une fois l’essai décrit sur la page MATEO, avec un court texte que vous avez traduit vous-même : à la séance 8, vous lancerez MATEO sur les fichiers du projet sans avoir à découvrir l’outil.

4. Évaluer, à la séance 8

À la séance 8, après vos questions sur les lectures : chaque personne annote les erreurs, toute la classe rédige la requête du juge (votre part dans ce travail compte dans la note du processus), puis chaque équipe fait juger ses traductions et calcule chrF et COMET dans MATEO. Ce qui n’est pas fini en classe se termine pour la séance 9.

You are an impartial evaluator of English-to-French (Canada) translations.
You annotate errors with the MQM typology of Freitag et al. (2021).

# Input
- SOURCE: an English scientific abstract, one numbered sentence per line.
- TRANSLATION: its French translation, with the same numbering.
No reference translation is given.

# Task
Identify the errors in the translation, judged against the source and
against the norms of Canadian French, reading the translation as a whole
text. Do not rewrite or correct the translation. A wording that is correct
but that you would phrase differently is not an error.

# Translation brief (applies to every translation)
Target: Canadian French, neutral formal register, for a web page read by
francophone language professionals.
Required terms: machine translation = traduction automatique (TA); large
language model = grand modèle de langue (GML); benchmark = test de
performances; test set = jeu de données de test; prompt = requête; shared
task = tâche partagée. Any other term follows TERMIUM Plus, then the OQLF,
then DataFranca.
Format: decimal comma; numbers as digits, as in the source. Punctuation: a
no-break space before %; French quotation marks « ». Acronyms expanded in
French at first mention, except names such as WMT; names of systems,
products, datasets and conferences unchanged.
A term that departs from the required list is Terminology/Inappropriate. A
number format that departs from the conventions is Locale convention/Format;
a spacing or quotation-mark fault is Fluency/Punctuation. A
French term followed by the English term in brackets at its first
occurrence is not an error.

# Categories (category/subcategory)
- Accuracy/Addition: information not present in the source
- Accuracy/Omission: content of the source missing from the translation
- Accuracy/Mistranslation: the translation does not accurately represent
  the source
- Accuracy/Untranslated: source text left in English
- Fluency/Punctuation: incorrect punctuation, French spacing and quotation
  marks included
- Fluency/Spelling: incorrect spelling or capitalization
- Fluency/Grammar: problems with grammar, other than spelling
- Fluency/Register: wrong grammatical register
- Fluency/Inconsistency: internal inconsistency, not related to terminology
- Terminology/Inappropriate: a term that is non-standard or does not fit
  the field
- Terminology/Inconsistent: the same term translated in different ways
- Style/Awkward: awkward or calqued phrasing
- Locale convention/Format: wrong format for numbers, dates, units or names
- Other: any other issue
- Source error: an error in the English text itself; it does not count
  against the translation

# Rules
- Mark each error separately: two mistranslated words are two errors.
- If one passage has several problems, mark only the most severe; if they
  are equally severe, the category listed first.
- At most five errors per sentence: keep the five most severe.

# Severities
- major: seriously affects the understandability, reliability or
  usability of the text; the reader is misled or cannot follow
- minor: a real imperfection that does not prevent the reader from
  understanding or relying on the text

# Output
One line per error, in this format:
sentence number | category/subcategory | severity | words in error | explanation in French, one sentence
Then the totals, on three lines:
major: n
minor: n
of which minor punctuation: n
If there is no error, write "No errors" and totals of 0.

# Example of the expected output (for another text)
2 | Accuracy/Omission | major | professional | Le mot « professional » n'est pas traduit.
4 | Fluency/Punctuation | minor | modéré: | Il manque l'espace avant le deux-points.
major: 1
minor: 1
of which minor punctuation: 1

# SOURCE
[the source text, one numbered sentence per line]

# TRANSLATION
[the translation, with the same numbering]

5. Comparer, pour la séance 9

En équipe, sur Projet 2 · Annoter les erreurs, chacun ajoute les fichiers exportés des deux autres, échangés entre vous par courriel ou autrement. La page donne alors :

• les scores de chaque traduction : votre annotation, et les trois jugements de l’agent avec leur moyenne ;
• les erreurs par catégorie, pour chaque membre et chaque jugement ;
• l’accord, calculé comme au Projet 1 par un score F1 F1 scorescore F1 evaluationévaluation The harmonic mean of precision and recall: a single number between 0 and 1 that is high only when both are high.Moyenne harmonique de la précision et du rappel : un seul nombre entre 0 et 1, qui n'est élevé que si les deux le sont.  : entre vous sur la requête unique et DeepL, entre chacun de vous et le juge, et entre deux jugements du juge ;
• les phrases où vous divergez, vous et le juge compris.

Avec les scores de MATEO, vous avez alors les quatre classements des cinq traductions avec et sans l’agent : l’annotation (celle de l’auteur pour une traduction avec l’agent, la moyenne de l’équipe pour la requête unique et DeepL), le juge (la moyenne de ses trois jugements), chrF et COMET. Ces quatre classements nourrissent la présentation et sont au cœur des rapports.

Regardez les écarts autant que les rangs. Sur un texte de sept phrases, une seule erreur peut faire passer une traduction de la première à la dernière place : avant de conclure que deux évaluations divergent, regardez de combien les traductions diffèrent dans chacune, et dans quelles phrases.

6. Présenter, à la séance 9

Le 12 novembre 2026, de 15 à 20 minutes par équipe, discussion comprise.

Les diapositives sont obligatoires, et je les partage avec toute la classe sur StudiUM : c’est par elles que chaque équipe a les résultats des deux autres pour son rapport. Elles contiennent au moins le tableau des quatre évaluations des cinq traductions, avec les scores et les rangs (le tableau 5.1 du rapport d’équipe). Envoyez-les-moi par courriel au plus tard le 12 novembre 2026 à 23 h 59.

Une seule personne peut faire l’essentiel de la présentation : vous n’avez pas à vous relayer. Chaque membre de l’équipe doit toutefois pouvoir répondre aux questions et prendre part à la discussion. Je vous suggère aussi que chacun présente brièvement ses propres annotations d’erreurs : c’est là que vos jugements diffèrent le plus d’une personne à l’autre.

L’équipe qui a fait la référence de votre texte de travail est dans la salle : vous pouvez lui demander pourquoi elle a fait ses choix, et elle peut les défendre.

7. Rédiger les deux rapports, pour le 20 novembre 2026

Pour le 20 novembre 2026, 23 h 59, sur StudiUM, en PDF sur les gabarits, dans deux remises : « Projet 2 · Rapport individuel », où vous joignez aussi vos deux traductions (.txt) et votre dernier fichier exporté de l’annotation (.json), avec tous vos jugements, et « Projet 2 · Rapport d’équipe », où chaque membre dépose le même rapport.

Chaque gabarit indique où trouver chaque chiffre, les repères de lecture des scores et les points de chaque question.

La grille

La grille est celle de MQM dans la version de Freitag et al. (2021), que WMT emploie encore pour ses annotations MQM, réduite à ce qu’un résumé scientifique traduit de l’anglais vers le français peut contenir. Depuis 2024, WMT évalue la plupart de ses paires de langues avec ESA, un protocole plus rapide qui garde les erreurs et leur gravité mais pas leur catégorie ; MQM est le cadre sur lequel ESA est construit (Kocmi et al., 2025) (see also the Human evaluation: DA, MQM and ESA page, in the Evaluating language technology module) (voir aussi la page L'évaluation humaine : DA, MQM et ESA, dans le module L'évaluation des technologies langagières).

Pour chaque erreur, vous choisissez une sous-catégorie, qui donne sa catégorie, puis une gravité.

La gravité neutre sert à noter une préférence sans la compter comme une erreur : elle ne pèse rien dans le score, mais elle reste dans votre annotation, et vous pouvez en parler dans vos rapports.

Les règles d’annotation

D’après les consignes d’annotation de Freitag et al. (2021) :

• Le texte source, le mandat de traduction et la traduction. Ni la référence, ni une autre traduction du même texte : MQM juge une traduction par rapport à sa source, et une traduction sous les yeux fait relever ce qui en diffère plutôt que ce qui est faux. L’outil montre donc une seule traduction à la fois. Les dictionnaires et les banques de terminologie restent permis.
• Le mandat compte comme la source. Un terme qui s’écarte de la liste imposée est un terme inadapté (terminologie), un format de nombre qui s’écarte des conventions une erreur de format (conventions locales), une espace ou un guillemet fautif une erreur de ponctuation (fluidité) ; un terme anglais gardé entre parenthèses après son équivalent français n’est pas une erreur. Le mandat est sur Projet 2 · Pas à pas, à l’étape 2.
• Lisez la traduction comme un texte, phrase après phrase. Une formulation qui convient dans ce texte n’est pas une erreur, même si elle serait douteuse ailleurs ; une formulation correcte ailleurs mais fausse dans ce texte en est une.
• Une erreur par problème. Deux mots mal traduits dans une phrase font deux erreurs. Un même passage qui pose plusieurs problèmes n’en compte qu’une, la plus grave ; à gravité égale, la catégorie qui vient la première dans la grille.
• Une erreur répétée dans plusieurs phrases compte dans chacune.
• Une préférence n’est pas une erreur : si la traduction est correcte mais que vous l’auriez formulée autrement, la gravité est neutre.
• Citez les mots en cause : ceux de la traduction, ou ceux de la source pour une omission ou une erreur dans la source. Ajoutez une note quand la catégorie ne suffit pas à comprendre le problème.
• Cinq erreurs au plus par phrase. S’il y en a davantage, gardez les cinq plus graves.

Comment se servir de l’outil

• Préparez quatre fichiers .txt : le texte source, votre traduction avec l’agent, celle de la requête promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. unique et celle de DeepL. Une phrase par ligne, le même nombre de lignes que la source et aucune ligne vide. L’outil vérifie les fichiers et dit lequel pose problème.
• Annotez les trois traductions l’une après l’autre, et cochez la case du bas quand vous avez relu toutes les phrases d’une traduction. Pour ajouter une erreur, sélectionnez à la souris les mots en cause dans la traduction, ou dans la source pour une omission : le formulaire s’ouvre avec ces mots, et une fois l’erreur ajoutée, ils restent marqués dans la couleur de sa catégorie. Le bouton « + erreur » ouvre le formulaire sans sélection.
• Le juge : pour chaque traduction que vous faites juger, le bouton « Copier la source et la traduction numérotées » prépare le texte de la requête, et chaque réponse du juge se colle telle quelle dans sa case. La page lit les erreurs ; une ligne signalée en rouge se corrige directement dans la case. Pour la référence, chargez d’abord son fichier, une fois votre annotation terminée.
• Ajoutez les fichiers de vos coéquipiers pour comparer : les scores de chaque traduction, les erreurs par catégorie, l’accord entre annotateurs inter-annotator agreement (IAA)accord inter-annotateurs evaluationévaluation How far two or more people who annotate the same data independently give the same answers.Mesure dans laquelle deux personnes ou plus qui annotent les mêmes données séparément donnent les mêmes réponses. et avec le juge, calculé comme au Projet 1 par un score F1 F1 scorescore F1 evaluationévaluation The harmonic mean of precision and recall: a single number between 0 and 1 that is high only when both are high.Moyenne harmonique de la précision et du rappel : un seul nombre entre 0 et 1, qui n'est élevé que si les deux le sont. (deux erreurs concordent quand elles sont dans la même phrase et de la même catégorie, ou de la même sous-catégorie ; la gravité et les mots ne sont pas comparés, et les neutres ne comptent pas), et les phrases où vous divergez.
• Rien n’est envoyé : vos fichiers sont lus par votre navigateur et restent sur votre ordinateur.

L’outil