Two kinds of hallucinationsDeux types de fabulations

TRA6008 S3 · in classS3 · en classe

Maynez et al. (2020) separated two kinds of hallucination in summarization, and the difference decides how you catch one in any output checked against a source you supplied.

The two call for different checks (Figure 2figure 2). For an intrinsic one, everything needed is in front of you: the summary says the lease permits something the lease forbids, and reading both catches it. For an extrinsic one, the output is internally consistent and the error is a fact about the world, so catching it means knowing the subject or looking it up.

Two panels, each with the same lease as the source: the tenant may not sublet the apartment, and the lease runs for twelve months. On the left, the model's summary says the tenant may sublet with notice, which contradicts the lease; it is checked against the lease. On the right, the summary adds that the lease was signed in Montréal in 2019, which the lease does not say; it is checked against knowledge from outside the lease.
Figure 2. An intrinsic and an extrinsic hallucination in a summary of the same lease.
Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Updated 22 September 2026

Maynez et al. (2020) ont distingué deux types de fabulations en résumé automatique, et la différence détermine comment vous pouvez en repérer une dans toute sortie vérifiable contre une source que vous avez fournie.

Les deux appellent des vérifications différentes (Figure 2figure 2). Pour une fabulation intrinsèque, tout ce qu’il faut est devant vous : le résumé dit que le bail permet ce que le bail interdit, et lire les deux suffit à la repérer. Pour une fabulation extrinsèque, la sortie est cohérente avec elle-même et l’erreur porte sur un fait du monde : la repérer suppose de connaître le sujet ou d’aller le vérifier.

Deux panneaux, chacun avec le même bail comme source : le locataire ne peut pas sous-louer le logement, et le bail court sur douze mois. À gauche, le résumé du modèle dit que le locataire peut sous-louer avec préavis, ce qui contredit le bail ; il est confronté au bail. À droite, le résumé ajoute que le bail a été signé à Montréal en 2019, ce que le bail ne dit pas ; il est confronté à des connaissances extérieures au bail.
Figure 2. Une fabulation intrinsèque et une fabulation extrinsèque dans le résumé d'un même bail.
Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Mise à jour 23 septembre 2026

Sources

  • Maynez, J., Narayan, S., Bohnet, B., & McDonald, R. (2020). On Faithfulness and Factuality in Abstractive Summarization. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. https://doi.org/10.18653/v1/2020.acl-main.173

Sources

  • Maynez, J., Narayan, S., Bohnet, B., & McDonald, R. (2020). On Faithfulness and Factuality in Abstractive Summarization. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. https://doi.org/10.18653/v1/2020.acl-main.173

Spotted an error? Une erreur ?

Language, content, a broken link: e-mail me what you saw and I will fix it. Langue, contenu, lien brisé : écrivez-moi ce que vous avez vu et je corrige.

ayla.rigouts.terryn@umontreal.ca

Please mention the page: Mentionnez la page :