Comparing machine and human translationComparer la traduction automatique et la traduction humaine
TRA6008 To read for S8À lire pour la S8
Human parity
In 2018, Microsoft reported that its system translated Chinese news into English “at human parity when compared to professional human translations” (Hassan et al., 2018). Toral et al. (2018) and Läubli et al. (2018, 2020) re-examined the claim and found that the outcome changed with four factors.
Factors in the comparison
| Factor | Effect on the comparison |
|---|---|
| Who judges | professional translators agreed with each other more than non-experts did, and saw a wider gap between human and machine translations machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. |
| How much context | judged as whole documents rather than isolated sentences, the human translations were preferred more clearly |
| The source texts | on the texts originally written in Chinese, rather than translated into Chinese, the difference was significant and parity was not reached |
| The human translation | the result depends on how the human translation used for comparison was produced |
With these taken into account, “the professional human translations contained significantly fewer errors” (Läubli et al., 2020). The paper ends with recommendations for any such comparison: professional translators as raters, whole documents, fluency evaluated as well as adequacy, reference translations not heavily edited for fluency, and original source texts; Toral et al. (2018) add human translations made from scratch by experienced professionals.Measured on the neural systems of 2017 and 2018, for Chinese to English news.
Results since
- Meaning against fluency. In a blind evaluation with context, an English-to-Czech neural system preserved meaning better than professional-agency translations of news, while the human translations were still rated more fluent, and most participants of a “Translation Turing test” struggled to tell the two apart (Popel et al., 2020).Named after Alan Turing’s test, in which a judge tries to tell a machine from a person. Here each participant saw 100 separate sentences, each with its source and a single translation, and said whether a machine or a person had translated it; 15 participants (5 professional translators, 6 MT researchers and 4 others) judged the system’s translations mixed with human ones.
- WMT 2024. The human translations were in the winning cluster for 7 of 11 language pairs (Kocmi et al., 2024b).
- WMT 2025. Gemini 2.5 Pro was on par with or better than the human translation in 10 of 16 language pairs, and of the 15 pairs in which a human translation was ranked, it reached the top group in only 6 (Kocmi et al., 2025).
The WMT organizers add two caveats to their own results: their human translations, made by professionals, “are not necessarily free of errors or undergo the same level of post-editing” as sworn or published translations, and the ranking “could also reflect the stylistic or lexical preferences of the annotators” (Kocmi et al., 2025).
Literary translation
Literary translation is a hard case for the comparison, and the results divide according to who judges and how:
- Experts mostly prefer the human translation. Expert literary translators preferred the published human translation to the output of Google Translate 84 % of the time (Thai et al., 2022), and over a larger evaluation, published human translations consistently outperformed large language model large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. (LLM) translations, which were “considerably more literal and less diverse” (Zhang et al., 2025a).
- Avid readers often cannot tell the two apart, and their guess follows their preference. Fifteen avid readers of recent novels found the machine translations “fine” but preferred the human ones, and could not reliably say which was which. In 28 of 30 comparisons, they took the version they preferred to be the human one: in all 11 where they preferred the machine translation and in 17 of the 19 where they preferred the human one. The study cannot say whether the belief shaped the preference or the preference the belief, but the two could not be separated, which is why such comparisons are run blind (Ferstler et al., 2026).A preprint accepted at Findings of EMNLP 2026; the machine translations came from two coding agents AI agentagent agentsagents An AI system that selects and carries out actions toward a goal, often by using tools or calling other programs and adapting later actions to the results it receives.Système d'IA qui choisit et exécute des actions en vue d'un but, souvent en utilisant des outils ou en appelant d'autres programmes et en adaptant ses actions ultérieures aux résultats reçus. , Claude Code with Claude Opus 4.6 and Codex with GPT-5.4.
- Judgements on fluency favour the machine. Raters who read only the translations preferred a multi-agent LLM system to the human references (Wu et al., 2025a), and in blind evaluations, LLM translations were frequently preferred “particularly in terms of fluency” (Wang et al., 2026b).
- Metrics follow neither the experts nor the readers. Automatic metrics did not correlate with the experts’ preferences (Thai et al., 2022), and automatic metrics and LLM judges favoured the machine translations that readers liked less (Ferstler et al., 2026).
Fluency and expertise
The position of machine translation against human translation has changed with each generation of systems. A neural system of 2018 was judged less fluent than human translators even where it preserved meaning better (Popel et al., 2020), and raters who judged the fluency of the 2017 and 2018 systems without the source preferred the human translations more clearly than raters who saw it (Läubli et al., 2020). GPT-3.5 translated whole paragraphs with fewer mistranslations, grammar errors and stylistic inconsistencies than sentence by sentence, although critical errors such as omissions remained (Karpinska & Iyyer, 2023).Tested on literary paragraphs, in 18 language pairs. In the recent literary comparisons above, LLM translations were preferred for their fluency. These studies differ in their languages, texts and raters, so the contrast is a pattern across studies rather than a measured change.
The better machine translation gets, the less its errors show on the surface. In rule-based and statistical output, an omission usually came with a fluency error around it; in neural output, “the fluency is no indicator that all the source content is being transferred into the target” (Van Brussel et al., 2018). With recent systems, a rater who reads only the translation, or who lacks the expertise to weigh it, is therefore likely to judge mainly on fluency.
With student evaluators and a detailed error scheme, nearly 60 % of the human literary translations were “misjudged as indistinguishable or inferior to machine translations”, but evaluations by professionals were more adequate than those by students (Zhang et al., 2025a); professional translators also ranked news systems differently from crowd workers, with a clearer preference for the human translations (Freitag et al., 2021). I know of no study that has tested directly whether the expertise needed grows as the systems improve. The same question arises for generated text in general.
Reading a parity claim
A claim that a system translates as well as people, or better, says little until it is clear:
- which human translation it was compared with, by whom, and how carefully it was checked;
- who judged: professional translators or not, with the source or only the target;
- what they saw: isolated sentences or whole documents;
- which texts: written in the source language or themselves translated;
- what was measured: meaning, fluency, a preference or errors.
La parité avec l’humain
En 2018, Microsoft a annoncé que son système traduisait des actualités chinoises vers l’anglais « at human parity when compared to professional human translations » [ma traduction : « à parité avec l’humain par rapport à des traductions humaines professionnelles »] (Hassan et al., 2018). Toral et al. (2018) et Läubli et al. (2018, 2020) ont réexaminé cette affirmation et constaté que le résultat changeait selon quatre facteurs.
Les facteurs de la comparaison
| Facteur | Effet sur la comparaison |
|---|---|
| Qui juge | les traducteurs professionnels s’accordaient davantage entre eux que les non-spécialistes, et voyaient un écart plus grand entre les traductions humaines et les traductions automatiques machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. |
| La part de contexte | jugées comme des documents entiers plutôt que comme des phrases isolées, les traductions humaines étaient préférées plus nettement |
| Les textes sources | sur les textes écrits à l’origine en chinois, plutôt que traduits vers le chinois, l’écart était significatif et la parité n’était pas atteinte |
| La traduction humaine | le résultat dépend de la façon dont la traduction humaine employée pour la comparaison a été produite |
Une fois ces facteurs pris en compte, « the professional human translations contained significantly fewer errors » [ma traduction : « les traductions humaines professionnelles contenaient significativement moins d’erreurs »] (Läubli et al., 2020). L’article se termine par des recommandations pour toute comparaison de ce genre : des traducteurs professionnels comme évaluateurs, des documents entiers, une évaluation de la fluidité en plus de l’adéquation, des traductions de référence qui n’ont pas été fortement retouchées pour la fluidité, et des textes sources originaux ; Toral et al. (2018) y ajoutent des traductions humaines faites de zéro par des professionnels expérimentés.Mesuré sur les systèmes neuronaux de 2017 et 2018, pour des actualités traduites du chinois vers l’anglais.
Les résultats depuis
- Le sens contre la fluidité. Dans une évaluation à l’aveugle avec contexte, un système neuronal de l’anglais vers le tchèque rendait mieux le sens que des traductions d’actualités faites par des agences professionnelles, alors que les traductions humaines étaient encore jugées plus fluides, et la plupart des participants d’un « test de Turing de la traduction » avaient du mal à distinguer les deux (Popel et al., 2020).D’après le test d’Alan Turing, où un juge tente de distinguer une machine d’une personne. Ici, chaque participant voyait 100 phrases séparées, chacune avec sa source et une seule traduction, et disait si une machine ou une personne l’avait traduite ; 15 participants (5 traducteurs professionnels, 6 chercheurs en traduction automatique et 4 autres personnes) ont jugé les traductions du système mêlées à des traductions humaines.
- WMT 2024. Les traductions humaines figuraient dans le groupe gagnant pour 7 paires de langues sur 11 (Kocmi et al., 2024b).
- WMT 2025. Gemini 2.5 Pro égalait ou dépassait la traduction humaine pour 10 paires de langues sur 16, et sur les 15 paires pour lesquelles une traduction humaine a été classée, celle-ci n’a atteint le groupe de tête que pour 6 (Kocmi et al., 2025).
Les organisateurs de WMT assortissent leurs propres résultats de deux réserves : leurs traductions humaines, faites par des professionnels, « are not necessarily free of errors or undergo the same level of post-editing » [ma traduction : « ne sont pas forcément exemptes d’erreurs ni révisées au même degré »] que des traductions assermentées ou publiées, et le classement « could also reflect the stylistic or lexical preferences of the annotators » [ma traduction : « pourrait aussi refléter les préférences stylistiques ou lexicales des annotateurs »] (Kocmi et al., 2025).
La traduction littéraire
La traduction littéraire est un cas difficile pour la comparaison, et les résultats divergent selon qui juge et comment :
- Les experts préfèrent le plus souvent la traduction humaine. Des traducteurs littéraires experts préféraient la traduction humaine publiée à la sortie de Google Translate dans 84 % des cas (Thai et al., 2022), et sur une évaluation plus vaste, les traductions humaines publiées surpassaient de façon constante celles des grands modèles de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. (GML), qui étaient « considerably more literal and less diverse » [ma traduction : « nettement plus littérales et moins variées »] (Zhang et al., 2025a).
- Les lecteurs assidus ne distinguent souvent pas les deux, et leur hypothèse suit leur préférence. Quinze grands lecteurs de romans récents trouvaient les traductions automatiques « fine » [ma traduction : « correctes »], mais préféraient les traductions humaines, et ne savaient pas dire de façon fiable laquelle était laquelle. Dans 28 comparaisons sur 30, ils ont pris la version qu’ils préféraient pour la version humaine : dans les 11 où ils préféraient la traduction automatique, et dans 17 des 19 où ils préféraient la traduction humaine. L’étude ne peut pas dire si la croyance a façonné la préférence ou la préférence la croyance, mais les deux n’ont pas pu être séparées, ce qui explique que de telles comparaisons se fassent à l’aveugle (Ferstler et al., 2026).Prépublication acceptée aux Findings of EMNLP 2026 ; les traductions automatiques venaient de deux agents AI agentagent agentsagents An AI system that selects and carries out actions toward a goal, often by using tools or calling other programs and adapting later actions to the results it receives.Système d'IA qui choisit et exécute des actions en vue d'un but, souvent en utilisant des outils ou en appelant d'autres programmes et en adaptant ses actions ultérieures aux résultats reçus. de programmation, Claude Code avec Claude Opus 4.6 et Codex avec GPT-5.4.
- Les jugements sur la fluidité avantagent la machine. Des évaluateurs qui ne lisaient que les traductions préféraient un système de GML à plusieurs agents aux traductions humaines de référence (Wu et al., 2025a), et dans des évaluations à l’aveugle, les traductions des GML étaient souvent préférées « particularly in terms of fluency » [ma traduction : « en particulier pour la fluidité »] (Wang et al., 2026b).
- Les métriques ne suivent ni les experts ni les lecteurs. Les métriques automatiques n’étaient pas corrélées aux préférences des experts (Thai et al., 2022), et les métriques automatiques et les GML employés comme juges favorisaient les traductions automatiques que les lecteurs aimaient moins (Ferstler et al., 2026).
La fluidité et l’expertise
La position de la traduction automatique par rapport à la traduction humaine a changé à chaque génération de systèmes. Un système neuronal de 2018 était jugé moins fluide que des traducteurs humains, même là où il rendait mieux le sens (Popel et al., 2020), et les évaluateurs qui jugeaient la fluidité des systèmes de 2017 et 2018 sans la source préféraient les traductions humaines plus nettement que ceux qui la voyaient (Läubli et al., 2020). GPT-3.5 traduisait des paragraphes entiers avec moins d’erreurs de sens, de fautes de grammaire et d’incohérences de style que phrase par phrase, même si des erreurs critiques comme les omissions subsistaient (Karpinska & Iyyer, 2023).Testé sur des paragraphes littéraires, dans 18 paires de langues. Dans les comparaisons littéraires récentes présentées plus haut, les traductions des GML étaient préférées pour leur fluidité. Ces études diffèrent par leurs langues, leurs textes et leurs évaluateurs : le contraste est donc une tendance d’une étude à l’autre plutôt qu’un changement mesuré.
Plus la traduction automatique s’améliore, moins ses erreurs se voient en surface. Dans la sortie des systèmes à base de règles et des systèmes statistiques, une omission s’accompagnait d’ordinaire d’une erreur de fluidité autour d’elle ; dans la sortie neuronale, « the fluency is no indicator that all the source content is being transferred into the target » [ma traduction : « la fluidité n’indique pas que tout le contenu de la source a été transféré dans la cible »] (Van Brussel et al., 2018). Avec les systèmes récents, un évaluateur qui ne lit que la traduction, ou qui n’a pas l’expertise pour la juger, risque donc de juger surtout sur la fluidité.
Avec des évaluateurs étudiants et un système d’erreurs détaillé, près de 60 % des traductions littéraires humaines ont été « misjudged as indistinguishable or inferior to machine translations » [ma traduction : « jugées à tort impossibles à distinguer des traductions automatiques, ou inférieures à celles-ci »], mais les évaluations faites par des professionnels étaient plus justes que celles des étudiants (Zhang et al., 2025a) ; des traducteurs professionnels ont aussi classé des systèmes de traduction d’actualités autrement que des travailleurs recrutés sur une plateforme de production participative, avec une préférence plus nette pour les traductions humaines (Freitag et al., 2021). Je ne connais aucune étude qui ait vérifié directement si l’expertise nécessaire augmente à mesure que les systèmes s’améliorent. La même question se pose pour les textes générés en général.
Lire une affirmation de parité
Une affirmation selon laquelle un système traduit aussi bien que des personnes, ou mieux, ne dit pas grand-chose tant qu’on ne sait pas clairement :
- à quelle traduction humaine il a été comparé, faite par qui, et vérifiée avec quel soin ;
- qui a jugé : des traducteurs professionnels ou non, avec la source ou seulement le texte cible ;
- ce que les évaluateurs ont vu : des phrases isolées ou des documents entiers ;
- quels textes : écrits dans la langue source ou eux-mêmes traduits ;
- ce qui a été mesuré : le sens, la fluidité, une préférence ou des erreurs.
Sources
- Ferstler, Y., Podoxin, A., Brassington, T., Laperrière, G., Grundkiewicz, R., Meurs, M.-J., et al. (2026). AI translation of literary texts is "fine", but readers still prefer human translations. arXiv preprint arXiv:2606.26040; accepted at Findings of EMNLP 2026. https://doi.org/10.48550/arXiv.2606.26040
- Freitag, M., Foster, G., Grangier, D., Ratnakar, V., Tan, Q., & Macherey, W. (2021). Experts, Errors, and Context: A Large-Scale Study of Human Evaluation for Machine Translation. Transactions of the Association for Computational Linguistics, 9, 1460–1474. https://doi.org/10.1162/tacl_a_00437
- Hassan, H., Aue, A., Chen, C., Chowdhary, V., Clark, J., Federmann, C., et al. (2018). Achieving Human Parity on Automatic Chinese to English News Translation. arXiv preprint arXiv:1803.05567. https://doi.org/10.48550/arXiv.1803.05567
- Karpinska, M., & Iyyer, M. (2023). Large language models effectively leverage document-level context for literary translation, but critical errors persist. Proceedings of the Eighth Conference on Machine Translation (WMT 2023). https://aclanthology.org/2023.wmt-1.41/
- Kocmi, T., Artemova, E., Avramidis, E., Bawden, R., Bojar, O., Dranch, K., et al. (2025). Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 355–413. https://doi.org/10.18653/v1/2025.wmt-1.22
- Kocmi, T., Avramidis, E., Bawden, R., Bojar, O., Dvorkovich, A., Federmann, C., et al. (2024b). Findings of the WMT24 General Machine Translation Shared Task: The LLM Era Is Here but MT Is Not Solved Yet. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1–46. https://doi.org/10.18653/v1/2024.wmt-1.1
- Läubli, S., Castilho, S., Neubig, G., Sennrich, R., Shen, Q., & Toral, A. (2020). A Set of Recommendations for Assessing Human–Machine Parity in Language Translation. Journal of Artificial Intelligence Research, 67. https://doi.org/10.1613/jair.1.11371
- Läubli, S., Sennrich, R., & Volk, M. (2018). Has machine translation achieved human parity? A case for document-level evaluation. Proceedings of EMNLP 2018, 4791–4796. https://aclanthology.org/D18-1512/
- Popel, M., Tomkova, M., Tomek, J., Kaiser, Ł., Uszkoreit, J., Bojar, O., & Žabokrtský, Z. (2020). Transforming machine translation: a deep learning system reaches news translation quality comparable to human professionals. Nature Communications, 11, 4381. https://doi.org/10.1038/s41467-020-18073-9
- Thai, K., Karpinska, M., Krishna, K., Ray, B., Inghilleri, M., Wieting, J., & Iyyer, M. (2022). Exploring Document-Level Literary Machine Translation with Parallel Paragraphs from World Literature. Proceedings of EMNLP 2022, 9882–9902. https://doi.org/10.18653/v1/2022.emnlp-main.672
- Toral, A., Castilho, S., Hu, K., & Way, A. (2018). Attaining the Unattainable? Reassessing Claims of Human Parity in Neural Machine Translation. Proceedings of the Third Conference on Machine Translation: Research Papers, 113–123. https://doi.org/10.18653/v1/W18-6312
- Van Brussel, L., Tezcan, A., & Macken, L. (2018). A fine-grained error analysis of NMT, SMT and RBMT output for English-to-Dutch. Proceedings of LREC 2018. https://aclanthology.org/L18-1600/
- Wang, L., Sun, S., Wang, X., Gu, J., & Liu, K. (2026b). Workflow matters: Comparing human translators and multi-agent LLMs in literary translation. Target. International Journal of Translation Studies, 38(3), 422–453. https://doi.org/10.1075/target.25081.wan
- Wu, M., Xu, J., Yuan, Y., Haffari, G., Wang, L., Luo, W., & Zhang, K. (2025a). (Perhaps) Beyond Human Translation: Harnessing Multi-Agent Collaboration for Translating Ultra-Long Literary Texts. Transactions of the Association for Computational Linguistics, 13, 901–922. https://doi.org/10.1162/TACL.a.25
- Zhang, R., Zhao, W., & Eger, S. (2025a). How Good Are LLMs for Literary Translation, Really? Literary Translation Evaluation with Humans and LLMs. Proceedings of NAACL 2025 (Long Papers), 10961–10988. https://doi.org/10.18653/v1/2025.naacl-long.548
Sources
- Ferstler, Y., Podoxin, A., Brassington, T., Laperrière, G., Grundkiewicz, R., Meurs, M.-J., et al. (2026). AI translation of literary texts is "fine", but readers still prefer human translations. arXiv preprint arXiv:2606.26040; accepted at Findings of EMNLP 2026. https://doi.org/10.48550/arXiv.2606.26040
- Freitag, M., Foster, G., Grangier, D., Ratnakar, V., Tan, Q., & Macherey, W. (2021). Experts, Errors, and Context: A Large-Scale Study of Human Evaluation for Machine Translation. Transactions of the Association for Computational Linguistics, 9, 1460–1474. https://doi.org/10.1162/tacl_a_00437
- Hassan, H., Aue, A., Chen, C., Chowdhary, V., Clark, J., Federmann, C., et al. (2018). Achieving Human Parity on Automatic Chinese to English News Translation. arXiv preprint arXiv:1803.05567. https://doi.org/10.48550/arXiv.1803.05567
- Karpinska, M., & Iyyer, M. (2023). Large language models effectively leverage document-level context for literary translation, but critical errors persist. Proceedings of the Eighth Conference on Machine Translation (WMT 2023). https://aclanthology.org/2023.wmt-1.41/
- Kocmi, T., Artemova, E., Avramidis, E., Bawden, R., Bojar, O., Dranch, K., et al. (2025). Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets. Proceedings of the Tenth Conference on Machine Translation (WMT 2025), Volume 2: Shared Task Papers, 355–413. https://doi.org/10.18653/v1/2025.wmt-1.22
- Kocmi, T., Avramidis, E., Bawden, R., Bojar, O., Dvorkovich, A., Federmann, C., et al. (2024b). Findings of the WMT24 General Machine Translation Shared Task: The LLM Era Is Here but MT Is Not Solved Yet. Proceedings of the Ninth Conference on Machine Translation (WMT 2024), 1–46. https://doi.org/10.18653/v1/2024.wmt-1.1
- Läubli, S., Castilho, S., Neubig, G., Sennrich, R., Shen, Q., & Toral, A. (2020). A Set of Recommendations for Assessing Human–Machine Parity in Language Translation. Journal of Artificial Intelligence Research, 67. https://doi.org/10.1613/jair.1.11371
- Läubli, S., Sennrich, R., & Volk, M. (2018). Has machine translation achieved human parity? A case for document-level evaluation. Proceedings of EMNLP 2018, 4791–4796. https://aclanthology.org/D18-1512/
- Popel, M., Tomkova, M., Tomek, J., Kaiser, Ł., Uszkoreit, J., Bojar, O., & Žabokrtský, Z. (2020). Transforming machine translation: a deep learning system reaches news translation quality comparable to human professionals. Nature Communications, 11, 4381. https://doi.org/10.1038/s41467-020-18073-9
- Thai, K., Karpinska, M., Krishna, K., Ray, B., Inghilleri, M., Wieting, J., & Iyyer, M. (2022). Exploring Document-Level Literary Machine Translation with Parallel Paragraphs from World Literature. Proceedings of EMNLP 2022, 9882–9902. https://doi.org/10.18653/v1/2022.emnlp-main.672
- Toral, A., Castilho, S., Hu, K., & Way, A. (2018). Attaining the Unattainable? Reassessing Claims of Human Parity in Neural Machine Translation. Proceedings of the Third Conference on Machine Translation: Research Papers, 113–123. https://doi.org/10.18653/v1/W18-6312
- Van Brussel, L., Tezcan, A., & Macken, L. (2018). A fine-grained error analysis of NMT, SMT and RBMT output for English-to-Dutch. Proceedings of LREC 2018. https://aclanthology.org/L18-1600/
- Wang, L., Sun, S., Wang, X., Gu, J., & Liu, K. (2026b). Workflow matters: Comparing human translators and multi-agent LLMs in literary translation. Target. International Journal of Translation Studies, 38(3), 422–453. https://doi.org/10.1075/target.25081.wan
- Wu, M., Xu, J., Yuan, Y., Haffari, G., Wang, L., Luo, W., & Zhang, K. (2025a). (Perhaps) Beyond Human Translation: Harnessing Multi-Agent Collaboration for Translating Ultra-Long Literary Texts. Transactions of the Association for Computational Linguistics, 13, 901–922. https://doi.org/10.1162/TACL.a.25
- Zhang, R., Zhao, W., & Eger, S. (2025a). How Good Are LLMs for Literary Translation, Really? Literary Translation Evaluation with Humans and LLMs. Proceedings of NAACL 2025 (Long Papers), 10961–10988. https://doi.org/10.18653/v1/2025.naacl-long.548