Toutes les traductions du projet suivent ce mandat, les traductions à la main et la référence comprises. Il s’applique aussi à l’annotation : un terme qui s’écarte de la liste imposée est un terme inadapté, un format de nombre qui s’écarte des conventions une erreur de format, une espace ou un guillemet fautif une erreur de ponctuation. Le texte ci-dessous se copie tel quel dans la requête unique.

MANDAT DE TRADUCTION

Texte à traduire : le résumé d'un article scientifique sur la traduction
automatique, en anglais.

Destination : la page « Recherche récente » du site d'un centre universitaire
de traduction au Québec. Lectorat : traducteurs, terminologues, réviseurs et
étudiants en traduction, francophones, qui ne lisent pas la littérature
spécialisée en anglais mais connaissent les outils de traduction.

Langue : français du Canada. Registre neutre et soutenu, comme dans
l'original ; la première personne du pluriel de l'original est conservée.

Terminologie : les termes attestés, dans cet ordre de priorité : TERMIUM Plus,
puis le Grand dictionnaire terminologique de l'OQLF, puis DataFranca.
Termes imposés :
- machine translation (MT) : traduction automatique (TA)
- large language model (LLM) : grand modèle de langue (GML)
- benchmark : test de performances
- test set : jeu de données de test
- prompt : requête
- shared task : tâche partagée
Un terme technique dont l'équivalent français est peu répandu est donné en
français, suivi du terme anglais entre parenthèses à sa première occurrence,
par exemple « apprentissage en contexte (in-context learning) ». Les noms de
systèmes, de produits, de jeux de données et de conférences restent tels
quels (Google Translate, WMT).

Sigles : développés en français à la première occurrence, le sigle français
entre parenthèses ; ensuite le sigle seul. Un sigle qui est un nom (WMT)
reste tel quel.

Format : virgule décimale ; les nombres restent en chiffres, comme dans
l'original.

Ponctuation : espace insécable entre un nombre et le signe % ; guillemets
français « ».

Fidélité : rien d'ajouté, rien d'omis ; une phrase par ligne, dans le même
ordre que l'original.

Quatre résumés d’articles sur la traduction automatique, publiés dans l’ACL Anthology sous licence CC BY 4.0. Les trois textes ont été choisis dans les mêmes actes, ceux de WMT 2025, pour leur longueur, leur sujet et leur difficulté comparables : environ 160 mots en sept phrases chacun. Le choix ne dit rien de la qualité des articles.

Texte 1 : Kayano et Sugawara (2025), Specification-Aware Machine Translation and Evaluation for Purpose Alignment, Proceedings of the Tenth Conference on Machine Translation, p. 113–141.

Texte 2 : Rajaee et al. (2025), An Empirical Analysis of Machine Translation for Expanding Multilingual Benchmarks, Proceedings of the Tenth Conference on Machine Translation, p. 1–30.

Texte 3 : Haq et al. (2025), Audio-Based Crowd-Sourced Evaluation of Machine Translation Quality, Proceedings of the Tenth Conference on Machine Translation, p. 52–63. Quatre coquilles de l’original ont été corrigées.

Texte d’essai : Stanovsky et al. (2019), Evaluating Gender Bias in Machine Translation, Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, p. 1679–1684.

Des conseils, non des exigences : ce qui est noté est dit à la question 1.2 du rapport individuel.

• Une conversation que vous menez. La requête unique montre ce que l’agent produit seul ; ici, c’est vous qui menez la traduction, en allers-retours jusqu’à une version qui vous satisfait. Il n’y a pas de nombre minimal de tours : si la traduction vous satisfait vite, une conversation courte suffit, et elle n’est pas pénalisée. Ce qui est noté est ce que vous avez demandé et vérifié, pas le nombre de tours.
• Ne demandez pas tout le texte traduit dès le premier message. Travaillez par étapes : la préparation (lire le texte, repérer les difficultés, chercher la terminologie avec des sources), un premier jet, puis la révision.
• Donnez le mandat dès le premier message, en entier : le public, le français du Canada, les termes imposés, les conventions. Sans lui, l’agent part dans une mauvaise direction et vous perdez des tours à le corriger.
• Faites des demandes ciblées, un terme, une phrase, un passage : « remplace partout ce terme par celui-ci », « cette phrase suit trop l’anglais », « prends le terme de TERMIUM ».
• Demandez les sources dès le début, jamais après coup : demandées après, elles risquent d’être inventées.
• Le mandat est le vôtre à faire respecter : vérifiez chaque terme imposé et chaque convention dans la version finale, l’agent ne le fera pas pour vous.
• Si l’agent refuse, s’interrompt ou atteint une limite d’usage, reprenez dans une nouvelle conversation et notez-le ; un refus qui persiste est un résultat, à signaler dans le rapport.
• La version finale n’a pas à venir de l’agent. Quand il devient plus rapide de corriger vous-même, faites-le. Une fonction de document partagé, comme le canevas de certains agents, peut aider.

La conversation est notée (rapport individuel, question 1.2), la qualité de la traduction obtenue ne l’est pas.

Une seule requête pour tout le groupe, rédigée ensemble à partir d’une requête de départ et du mandat de traduction, qu’elle contient en entier, et essayée sur le texte d’essai : les traductions faites avec elle ne diffèrent donc que par l’agent. Chaque équipe la lance une seule fois sur son texte de travail, dans une nouvelle conversation, sans rien ajouter ni corriger ensuite. Notez le modèle exact, la date et le niveau de raisonnement.

Le point de départ, à améliorer ensemble en classe :

Traduis le texte ci-dessous de l'anglais vers le français du Canada. C'est le résumé d'un article scientifique sur la traduction automatique, destiné à la page « Recherche récente » du site d'un centre universitaire de traduction au Québec, lue par des traducteurs, des terminologues, des réviseurs et des étudiants en traduction francophones qui ne lisent pas la littérature spécialisée en anglais mais connaissent les outils de traduction, dans un registre neutre et soutenu comme l'original, en gardant la première personne du pluriel, avec les termes attestés par TERMIUM Plus, sinon par le Grand dictionnaire terminologique de l'OQLF, sinon par DataFranca, et en traduisant machine translation (MT) par traduction automatique (TA), large language model (LLM) par grand modèle de langue (GML), benchmark par test de performances, test set par jeu de données de test, prompt par requête et shared task par tâche partagée, un terme technique dont l'équivalent français est peu répandu étant donné en français suivi du terme anglais entre parenthèses à sa première occurrence, les noms de systèmes, de produits, de jeux de données et de conférences restant tels quels, les sigles étant développés en français à la première occurrence avec le sigle français entre parenthèses puis le sigle seul, avec la virgule décimale, une espace insécable entre un nombre et le signe %, les guillemets français et les nombres en chiffres comme dans l'original, sans rien ajouter ni omettre, une phrase par ligne dans le même ordre que l'original, et sans aucun commentaire, seulement la traduction.

[le texte, une phrase par ligne]

1. Comparez les trois traductions à la main phrase par phrase et décidez d’une seule version. Gardez une trace de chaque désaccord : les solutions proposées, celle que l’équipe retient, et pourquoi. Le rapport d’équipe demande ce tableau.
2. Gardez la référence dans l’équipe. L’équipe qui l’utilise ne doit pas la voir avant d’avoir terminé son annotation.
3. Envoyez-la-moi par courriel au plus tard au début de la séance 8, le 5 novembre 2026, en .txt, une phrase par ligne, avec le même découpage que le texte source. Je l’ajoute à cette page, que seuls les étudiants du cours peuvent ouvrir, pour qu’elle soit plus facile à manipuler sur le site, par exemple à charger dans l’outil de la page « Annoter les erreurs » ; si votre équipe n’est pas d’accord, dites-le-moi en me l’envoyant. Vous la collerez aussi dans le rapport d’équipe. Si une référence manque, l’équipe qui l’attend calcule chrF et COMET à la maison dès qu’elle arrive ; le retard est celui de l’équipe qui la devait.

Un membre de l’équipe la fait, une seule fois. Pour que les traductions de DeepL des trois équipes se comparent :

• la version gratuite, sur deepl.com, avec les réglages par défaut : le français comme langue d’arrivée, sans glossaire ni choix de registre ;
• le texte de travail collé en entier, une phrase par ligne : DeepL garde en général les sauts de ligne ; vérifiez le nombre de lignes comme pour les autres fichiers ;
• sans le mandat de traduction, par choix : DeepL est le point de comparaison sans consigne, et ses écarts au mandat comptent comme ceux des autres traductions ;
• une seule traduction, gardée telle quelle, sans retouche ;
• la date notée, comme pour la requête unique.

L’annotation et MATEO comparent les fichiers ligne à ligne. Chaque traduction est un fichier .txt en UTF-8 UTF-8UTF-8 text encodingencodage du texte A variable-length character encoding for Unicode. It represents each valid Unicode code point using a sequence of one to four bytes. Characters in the ASCII repertoire use one byte and retain the same byte values as in ASCII, which helps with compatibility. UTF-8 can represent the same Unicode repertoire as UTF-16 and UTF-32, but it does not imply that every character occupies a single byte. It is widely recommended for multilingual Web content and data exchange.Codage de caractères à longueur variable pour Unicode. Il représente chaque point de code Unicode valide au moyen d'une séquence de un à quatre octets. Les caractères du répertoire ASCII occupent un seul octet et conservent les mêmes valeurs qu'en ASCII, ce qui favorise la compatibilité. UTF-8 permet de représenter le même répertoire Unicode que UTF-16 et UTF-32, mais cela ne signifie pas que chaque caractère occupe un seul octet. Il est largement recommandé pour les contenus Web multilingues et l'échange de données. , une phrase par ligne, avec le même nombre de lignes que le texte source et aucune ligne vide. Là où vous avez fusionné deux phrases en traduisant, coupez la traduction en deux lignes à l’endroit le plus naturel ; là où vous en avez coupé une, réunissez les morceaux sur une ligne : le découpage du texte source fait foi.

Ce que l’agent produit n’est pas toujours à ce format : mettez-y vous-mêmes chaque traduction, celle de la requête unique comprise. Seuls les sauts de ligne et ce qui n’est pas la traduction (une phrase d’introduction de l’agent, par exemple) se touchent ; pas un mot de la traduction. Une ligne qui paraît se couper à l’écran n’est pas forcément un saut de ligne line breaksaut de ligne text encodingencodage du texte The character that ends a line in a file, stored in it like any other and invisible on screen. It is what divides a file into lines, so a file's line count is fixed: two of them make three lines, whatever width the window is. Windows writes it as two characters, a carriage return followed by a line feed (CR LF), where macOS and Linux use one (LF).Caractère qui termine une ligne dans un fichier, enregistré comme n'importe quel autre et invisible à l'écran. C'est lui qui découpe le fichier en lignes, si bien que leur nombre est fixe : deux sauts de ligne font trois lignes, quelle que soit la largeur de la fenêtre. Windows l'écrit au moyen de deux caractères, un retour chariot suivi d'un saut de ligne (CR LF), là où macOS et Linux n'en emploient qu'un (LF). (see also the Plain text and its lines page, in the Exchange formats in translation module) (voir aussi la page Le texte brut et ses lignes, dans le module Les formats d'échange en traduction).

Nommez chaque fichier par le texte, la façon de traduire et, pour une traduction personnelle, vos initiales, sans espace ni accent.

Pour la personne AB de l’équipe Claude, qui traduit le texte 1 à la main et travaille sur le texte 2 :

• texte1_a-la-main_AB.txt et texte2_avec-agent_AB.txt ;
• texte1_reference.txt pour la référence de l’équipe, qui porte sur le texte traduit à la main ;
• texte2_requete-unique.txt pour la requête unique ;
• texte2_deepl.txt pour la traduction de DeepL.

Vérifiez vos fichiers dès qu’ils sont prêts en chargeant le texte source, votre traduction avec l’agent, la requête unique et DeepL sur Projet 2 · Annoter les erreurs : la page dit lequel n’a pas le bon nombre de lignes ou contient une ligne vide. Un fichier décalé d’une phrase qui a pourtant le bon nombre de lignes passe ces vérifications, et celles de MATEO : relisez le début et la fin de chaque fichier en face de la source.

Sur Projet 2 · Annoter les erreurs :

1. Trois traductions : la vôtre avec l’agent, celle de la requête unique et celle de DeepL. Les deux dernières sont les mêmes pour toute l’équipe. Annoter sa propre traduction n’est pas ce que prévoit MQM, où l’annotateur n’a pas fait la traduction : signalez-le dans votre rapport.
2. La grille, les règles d’annotation et le fonctionnement de l’outil sont sur la page.
3. Exportez votre travail à la fin de la séance, et gardez le fichier : il sert à comparer en équipe (étape 5) et il se remet avec le rapport individuel (étape 7).

Rédigée ensemble à la séance 8, à partir de la grille d’annotation et du mandat : les mêmes catégories, les mêmes règles, les mêmes gravités et le même mandat, pour que le jugement de l’agent et le vôtre se comparent. La gravité neutre n’y figure pas : une préférence ne compte pas dans le score. L’agent juge une traduction par requête, sans référence et sans savoir qui l’a faite, et donne un résultat de forme fixe : ses erreurs, puis leur nombre par gravité.

Le point de départ, à améliorer ensemble en classe :

You are an impartial evaluator of English-to-French (Canada) translations.
You annotate errors with the MQM typology of Freitag et al. (2021).

# Input
- SOURCE: an English scientific abstract, one numbered sentence per line.
- TRANSLATION: its French translation, with the same numbering.
No reference translation is given.

# Task
Identify the errors in the translation, judged against the source and
against the norms of Canadian French, reading the translation as a whole
text. Do not rewrite or correct the translation. A wording that is correct
but that you would phrase differently is not an error.

# Translation brief (applies to every translation)
Target: Canadian French, neutral formal register, for a web page read by
francophone language professionals.
Required terms: machine translation = traduction automatique (TA); large
language model = grand modèle de langue (GML); benchmark = test de
performances; test set = jeu de données de test; prompt = requête; shared
task = tâche partagée. Any other term follows TERMIUM Plus, then the OQLF,
then DataFranca.
Format: decimal comma; numbers as digits, as in the source. Punctuation: a
no-break space before %; French quotation marks « ». Acronyms expanded in
French at first mention, except names such as WMT; names of systems,
products, datasets and conferences unchanged.
A term that departs from the required list is Terminology/Inappropriate. A
number format that departs from the conventions is Locale convention/Format;
a spacing or quotation-mark fault is Fluency/Punctuation. A
French term followed by the English term in brackets at its first
occurrence is not an error.

# Categories (category/subcategory)
- Accuracy/Addition: information not present in the source
- Accuracy/Omission: content of the source missing from the translation
- Accuracy/Mistranslation: the translation does not accurately represent
  the source
- Accuracy/Untranslated: source text left in English
- Fluency/Punctuation: incorrect punctuation, French spacing and quotation
  marks included
- Fluency/Spelling: incorrect spelling or capitalization
- Fluency/Grammar: problems with grammar, other than spelling
- Fluency/Register: wrong grammatical register
- Fluency/Inconsistency: internal inconsistency, not related to terminology
- Terminology/Inappropriate: a term that is non-standard or does not fit
  the field
- Terminology/Inconsistent: the same term translated in different ways
- Style/Awkward: awkward or calqued phrasing
- Locale convention/Format: wrong format for numbers, dates, units or names
- Other: any other issue
- Source error: an error in the English text itself; it does not count
  against the translation

# Rules
- Mark each error separately: two mistranslated words are two errors.
- If one passage has several problems, mark only the most severe; if they
  are equally severe, the category listed first.
- At most five errors per sentence: keep the five most severe.

# Severities
- major: seriously affects the understandability, reliability or
  usability of the text; the reader is misled or cannot follow
- minor: a real imperfection that does not prevent the reader from
  understanding or relying on the text

# Output
One line per error, in this format:
sentence number | category/subcategory | severity | words in error | explanation in French, one sentence
Then the totals, on three lines:
major: n
minor: n
of which minor punctuation: n
If there is no error, write "No errors" and totals of 0.

# Example of the expected output (for another text)
2 | Accuracy/Omission | major | professional | Le mot « professional » n'est pas traduit.
4 | Fluency/Punctuation | minor | modéré: | Il manque l'espace avant le deux-points.
major: 1
minor: 1
of which minor punctuation: 1

# SOURCE
[the source text, one numbered sentence per line]

# TRANSLATION
[the translation, with the same numbering]

Trois jugements par traduction, chacun dans une nouvelle conversation, avec la requête du juge et l’agent de votre équipe. Six traductions sont jugées : vos trois traductions avec l’agent, celle de la requête unique, celle de DeepL et la référence.

• Chacun fait juger sa traduction avec l’agent et une des trois traductions communes : répartissez la requête unique, DeepL et la référence entre vous. Cela fait six conversations par personne.
• Les premiers jugements à la séance 8, les deux autres pour la séance 9. Le premier sert à comparer le juge à votre annotation ; les trois ensemble montrent si le juge est constant.
• La page Projet 2 · Annoter les erreurs, partie « 3 · Le juge », prépare chaque requête et lit chaque réponse : un bouton copie la source et la traduction numérotées, à coller dans la requête, et la réponse du juge se colle telle quelle dans sa case. Pour la référence, chargez-la d’abord sur la page, une fois votre annotation terminée.
• Si la réponse ne suit pas le format, demandez dans la même conversation les mêmes erreurs dans le format demandé, sans redemander de jugement : une nouvelle demande donnerait un autre jugement. Une réponse impossible à remettre au format est elle aussi un résultat sur le juge : notez-la.
• Si l’agent refuse ou s’interrompt, recommencez dans une nouvelle conversation ; une limite d’usage atteinte se contourne en répartissant les jugements autrement dans l’équipe, ou en attendant.
• Gardez le lien de chaque conversation de jugement pour le rapport d’équipe (tableau 3.1).

Les trois références sont ajoutées ici au début de la séance 8 ; seule celle de votre texte de travail vous sert. N’ouvrez la référence de votre texte de travail qu’une fois votre annotation terminée : avec la référence en tête, on annote ce qui en diffère plutôt que ce qui est faux.

En équipe, une seule fois : les cinq traductions de votre texte de travail (les trois traductions avec l’agent, la requête unique et DeepL), comparées à la référence de ce texte, avec deux métriques :

• chrF, une métrique de surface, qui compte les suites de caractères communes ;
• COMET, une métrique qui compare le sens, apprise à partir de jugements humains.

La page MATEO décrit l’outil en détail. Sur MATEO, page « Evaluate » :

1. Les métriques, sous « Metric selection » : gardez chrF et COMET, décochez BLEU, et gardez les options proposées par défaut.
2. Les fichiers, sous « Input data » : indiquez d’abord le nombre de traductions (« How many systems do you wish to compare? »), puis déposez la référence dans « Reference file », le texte source dans « Source file » (COMET en a besoin) et chaque traduction dans sa case « System ». MATEO accepte au plus quatre traductions à la fois : faites un premier calcul avec les trois traductions avec l’agent et la requête unique, puis un second avec DeepL. Le score d’une traduction ne dépend pas des autres traductions calculées avec elle.
3. Les scores du texte entier, sous « Evaluation results (corpus) » : téléchargez le tableau. Les intervalles de confiance et les valeurs p ne sont pas demandés.
4. Les scores phrase par phrase, sous « Evaluation results (sentences) » : MATEO ne les donne que pour COMET. Téléchargez-les aussi : ils servent à trouver les phrases où COMET et votre annotation ne sont pas d’accord.

Comparez les traductions à l’intérieur d’une même métrique, jamais un score de chrF à un score de COMET : leurs échelles sont différentes.

La présentation sert à partager votre expérience avec les autres équipes et à en discuter avant d’écrire les rapports. Ce qui compte, ce sont des exemples concrets et ce que vous avez vécu, pas une analyse terminée : l’analyse est notée dans les rapports.

Les agents conversationnels sont permis pour les rapports et la présentation, comme toute autre ressource : un agent qui vous aide à structurer, à reformuler ou à vérifier un calcul ne vous coûte rien, puisque ce qui est noté, c’est votre raisonnement. Déclarez-le brièvement à la fin de chaque rapport : quel agent, et pour quoi. Un usage non déclaré relève du règlement sur l’intégrité.