La grille

La grille est celle de MQM dans la version de Freitag et al. (2021), que WMT emploie encore pour ses annotations MQM, réduite à ce qu’un résumé scientifique traduit de l’anglais vers le français peut contenir. Depuis 2024, WMT évalue la plupart de ses paires de langues avec ESA, un protocole plus rapide qui garde les erreurs et leur gravité mais pas leur catégorie ; MQM est le cadre sur lequel ESA est construit (Kocmi et al., 2025) (see also the Human evaluation: DA, MQM and ESA page, in the Evaluating language technology module) (voir aussi la page L'évaluation humaine : DA, MQM et ESA, dans le module L'évaluation des technologies langagières).

Pour chaque erreur, vous choisissez une sous-catégorie, qui donne sa catégorie, puis une gravité.

CategoryCatégorie	SubcategorySous-catégorie	What it coversCe qu'elle couvre
AccuracyExactitude	AdditionAjout	the translation includes information not present in the sourcela traduction contient une information absente de la source
	OmissionOmission	the translation is missing content from the sourceil manque à la traduction une partie du contenu de la source
	MistranslationErreur de sens	the translation does not accurately represent the sourcela traduction ne rend pas fidèlement la source : faux sens, contresens, non-sens
	Untranslated textPassage non traduit	source text has been left untranslatedun passage de la source est resté en anglais
FluencyFluidité	PunctuationPonctuation	incorrect punctuation for the locale or the style, spacing and quotation marks includedponctuation incorrecte, y compris les espaces et les guillemets du français
	SpellingOrthographe	incorrect spelling or capitalizationorthographe ou majuscules incorrectes
	GrammarGrammaire	problems with grammar, other than spellingaccords, conjugaison, construction de la phrase
	RegisterRegistre	wrong grammatical register, for instance inappropriately informal pronounsregistre grammatical inapproprié, par exemple un tutoiement
	InconsistencyIncohérence	internal inconsistency, not related to terminologyincohérence interne qui ne porte pas sur un terme
TerminologyTerminologie	Inappropriate for contextTerme inadapté	terminology is non-standard or does not fit the contextterme non standard ou qui ne convient pas au domaine
	Inconsistent useTerme incohérent	terminology is used inconsistentlyun même terme est traduit de plusieurs façons
StyleStyle	AwkwardMaladresse	the translation has stylistic problemstournure lourde, peu naturelle ou calquée sur l'anglais
Locale conventionConventions locales	FormatFormat	wrong format for numbers, dates, units or namesformat des nombres, des dates, des unités ou des noms
OtherAutre	OtherAutre	any other issue, explained in the notetout autre problème, expliqué dans la note
Source errorErreur dans la source	Source errorErreur dans la source	an error in the English text; it does not count against the translationune erreur du texte anglais ; elle ne compte pas contre la traduction

SeverityGravité	When to use itQuand l'employer	WeightPoids
majormajeure	seriously affects the understandability, reliability or usability of the text: the reader is misled or cannot follownuit sérieusement à la compréhension, à la fiabilité ou à l'utilité du texte : le lecteur est induit en erreur ou ne comprend pas	5
minormineure	a real imperfection that does not prevent the reader from understanding or relying on the textune imperfection réelle, qui n'empêche pas de comprendre ni de se fier au texte	1 (0.1 for punctuation)1 (0,1 pour la ponctuation)
neutralneutre	a preference: the translation is correct, but you would have phrased it differentlyune préférence : la traduction est correcte, mais vous l'auriez formulée autrement	0

La gravité neutre sert à noter une préférence sans la compter comme une erreur : elle ne pèse rien dans le score, mais elle reste dans votre annotation, et vous pouvez en parler dans vos rapports.

Les règles d’annotation

D’après les consignes d’annotation de Freitag et al. (2021) :

• Le texte source, le mandat de traduction et la traduction. Ni la référence, ni une autre traduction du même texte : MQM juge une traduction par rapport à sa source, et une traduction sous les yeux fait relever ce qui en diffère plutôt que ce qui est faux. L’outil montre donc une seule traduction à la fois. Les dictionnaires et les banques de terminologie restent permis.
• Le mandat compte comme la source. Un terme qui s’écarte de la liste imposée est un terme inadapté (terminologie), un format de nombre qui s’écarte des conventions une erreur de format (conventions locales), une espace ou un guillemet fautif une erreur de ponctuation (fluidité) ; un terme anglais gardé entre parenthèses après son équivalent français n’est pas une erreur. Le mandat est sur Projet 2 · Pas à pas, à l’étape 2.
• Lisez la traduction comme un texte, phrase après phrase. Une formulation qui convient dans ce texte n’est pas une erreur, même si elle serait douteuse ailleurs ; une formulation correcte ailleurs mais fausse dans ce texte en est une.
• Une erreur par problème. Deux mots mal traduits dans une phrase font deux erreurs. Un même passage qui pose plusieurs problèmes n’en compte qu’une, la plus grave ; à gravité égale, la catégorie qui vient la première dans la grille.
• Une erreur répétée dans plusieurs phrases compte dans chacune.
• Une préférence n’est pas une erreur : si la traduction est correcte mais que vous l’auriez formulée autrement, la gravité est neutre.
• Citez les mots en cause : ceux de la traduction, ou ceux de la source pour une omission ou une erreur dans la source. Ajoutez une note quand la catégorie ne suffit pas à comprendre le problème.
• Cinq erreurs au plus par phrase. S’il y en a davantage, gardez les cinq plus graves.

Comment se servir de l’outil

• Préparez quatre fichiers .txt : le texte source, votre traduction avec l’agent, celle de la requête promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. unique et celle de DeepL. Une phrase par ligne, le même nombre de lignes que la source et aucune ligne vide. L’outil vérifie les fichiers et dit lequel pose problème.
• Annotez les trois traductions l’une après l’autre, et cochez la case du bas quand vous avez relu toutes les phrases d’une traduction. Pour ajouter une erreur, sélectionnez à la souris les mots en cause dans la traduction, ou dans la source pour une omission : le formulaire s’ouvre avec ces mots, et une fois l’erreur ajoutée, ils restent marqués dans la couleur de sa catégorie. Le bouton « + erreur » ouvre le formulaire sans sélection.
• Le juge : pour chaque traduction que vous faites juger, le bouton « Copier la source et la traduction numérotées » prépare le texte de la requête, et chaque réponse du juge se colle telle quelle dans sa case. La page lit les erreurs ; une ligne signalée en rouge se corrige directement dans la case. Pour la référence, chargez d’abord son fichier, une fois votre annotation terminée.
• Ajoutez les fichiers de vos coéquipiers pour comparer : les scores de chaque traduction, les erreurs par catégorie, l’accord entre annotateurs inter-annotator agreement (IAA)accord inter-annotateurs evaluationévaluation How far two or more people who annotate the same data independently give the same answers.Mesure dans laquelle deux personnes ou plus qui annotent les mêmes données séparément donnent les mêmes réponses. et avec le juge, calculé comme au Projet 1 par un score F1 F1 scorescore F1 evaluationévaluation The harmonic mean of precision and recall: a single number between 0 and 1 that is high only when both are high.Moyenne harmonique de la précision et du rappel : un seul nombre entre 0 et 1, qui n'est élevé que si les deux le sont. (deux erreurs concordent quand elles sont dans la même phrase et de la même catégorie, ou de la même sous-catégorie ; la gravité et les mots ne sont pas comparés, et les neutres ne comptent pas), et les phrases où vous divergez.
• Rien n’est envoyé : vos fichiers sont lus par votre navigateur et restent sur votre ordinateur.

L’outil