Two kinds of hallucinationsDeux types de fabulations
TRA6008 S3 · in classS3 · en classe
Maynez et al. (2020) separated two kinds of hallucination in summarization, and the difference decides how you catch one in any output checked against a source you supplied.
The two call for different checks (Figure 2figure 2). For an intrinsic one, everything needed is in front of you: the summary says the lease permits something the lease forbids, and reading both catches it. For an extrinsic one, the output is internally consistent and the error is a fact about the world, so catching it means knowing the subject or looking it up.
Maynez et al. (2020) ont distingué deux types de fabulations en résumé automatique, et la différence détermine comment vous pouvez en repérer une dans toute sortie vérifiable contre une source que vous avez fournie.
Les deux appellent des vérifications différentes (Figure 2figure 2). Pour une fabulation intrinsèque, tout ce qu’il faut est devant vous : le résumé dit que le bail permet ce que le bail interdit, et lire les deux suffit à la repérer. Pour une fabulation extrinsèque, la sortie est cohérente avec elle-même et l’erreur porte sur un fait du monde : la repérer suppose de connaître le sujet ou d’aller le vérifier.
Sources
- Maynez, J., Narayan, S., Bohnet, B., & McDonald, R. (2020). On Faithfulness and Factuality in Abstractive Summarization. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. https://doi.org/10.18653/v1/2020.acl-main.173
Sources
- Maynez, J., Narayan, S., Bohnet, B., & McDonald, R. (2020). On Faithfulness and Factuality in Abstractive Summarization. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. https://doi.org/10.18653/v1/2020.acl-main.173