Administrator
This teaching view is for the instructor. Enter the administrator password.
Wrong password · Mot de passe incorrect
Key pointsL'essentiel
The WMT shared taskLa tâche partagée WMT
In a shared task, every participating system translates the same unseen texts and the outputs are judged the same way, so the systems can be compared; WMT has run one for machine translation every year since 2006.
Dans une tâche partagée, chaque système participant traduit les mêmes textes inédits et tous les résultats sont jugés de la même façon, de sorte que les systèmes peuvent être comparés ; WMT en organise une pour la traduction automatique chaque année depuis 2006.
Key pointsL'essentiel
The WMT shared taskLa tâche partagée WMT
The last three editions found that large language models now produce the best translations, that automatic scores and human judges disagree about which system is best, and that human translations are no longer always preferred.
Les trois dernières éditions ont constaté que les grands modèles de langue produisent désormais les meilleures traductions, que les notes automatiques et les juges humains divergent sur le meilleur système, et que les traductions humaines ne sont plus toujours préférées.
Page 1Page 1
The WMT general translation taskLa tâche générale de traduction de WMT
- In a shared task, every participating system is given the same unseen texts, and every output is judged the same way, so the systems can be compared directly.
- WMT's general translation task fixes the conditions of the comparison and publishes them, with the results, in a findings paper every year.
- Dans une tâche partagée, chaque système participant reçoit les mêmes textes inédits, et chaque résultat est jugé de la même façon, de sorte que les systèmes peuvent être comparés directement.
- La tâche générale de traduction de WMT fixe les conditions de la comparaison et les publie chaque année, avec les résultats, dans un article de synthèse.
Page 1Page 1
Page 1Page 1
Page 2Page 2
The trend across editionsLa tendance d'une édition à l'autre
- Each edition changes something about the test and the judging, so the trend is read in the organizers' conclusions rather than in the raw scores.
- Over the last editions, large language models went from newcomers to the best systems, and automatic scores and human judges disagreed about which system was best. Human translations stopped being preferred everywhere, and the remaining weaknesses are speech input, low-resource languages and a few targeted phenomena.
- Chaque édition modifie quelque chose dans le test et dans le jugement ; la tendance se lit donc dans les conclusions des organisateurs plutôt que dans les notes brutes.
- Au fil des dernières éditions, les grands modèles de langue sont passés du statut de nouveaux venus à celui de meilleurs systèmes, et les notes automatiques et les juges humains ont été en désaccord sur le meilleur système. Les traductions humaines ont cessé d'être préférées partout, et les faiblesses restantes sont l'entrée orale, les langues peu dotées et quelques phénomènes ciblés.