Why detecting hallucinations is hardPourquoi les fabulations sont difficiles à détecter

TRA6008 S3 · in classS3 · en classe

Reading does not tell you which parts are true

Asked for a quick biography of me, a chatbot opened with a warning that it might hallucinate details, then wrote five confident, well-organized paragraphs (Figure 3figure 3). The field is right. The doctorate is right, down to its subject, and the corpus it credits me with is one I did build. The university it puts me at is wrong: I have not worked at Ghent since 2022. Nothing in the manner of that one sentence separates it from the ones around it.

It also leaves things out. My work has moved well beyond term extraction, and none of that appears here. That is the knowledge cutoff knowledge cutoffdate de coupure des connaissances language modelsmodèles de langue The point in time up to which the text a model was trained on was gathered, and after which nothing reached it during training.Moment jusqu'auquel le texte ayant servi à entraîner un modèle a été rassemblé, et après lequel plus rien ne lui est parvenu pendant l'entraînement. showing: recent material is thinner in the training text than older material, and the most recent information is missing altogether, unless the model also searches the web. The wrong university is the same gradient at work. At the cutoff there was far more text linking me to Ghent, where I did my doctorate, than to the universities I moved to afterwards, so the best-attested answer was the out-of-date one.

Being well known is not the same as being well covered in the training text. Gurky is far more famous than I am, but his fame is in video rather than in writing, and a model is trained on text. In January 2025, asked in French for a short biography of Gurky, a Québécois YouTuber, a chatbot had the general picture right, a francophone YouTuber, and every specific wrong. It gave him a real name, a nationality, a birth year and a start on YouTube, all four wrong, as was the kind of videos it said he makes (Figure 4figure 4).A 2023 profile in the Québec press gives his first name as Jules, and the date of his first video as 6 May 2012, when he was 13: Adam Bourbonnière, 7 choses à savoir sur Gurky, youtubeur de l’année, Le Sac de chips, 10 February 2023, read 17 September 2026.

Such errors are hard to see. They are plausible enough that nothing jars, the correct details around them vouch for them, and apart from the rare general hedge, as in the first example, no uncertainty is expressed about any particular claim.

Careful reading checks a text against itself, so it tests coherence. It does not test factuality, which is a question about the world rather than about the text.

A text can be perfectly coherent and still correspond to nothing, so an error of this kind passes a careful reading every time.

The 90 % problem

Hallucinations are becoming less common in LLMs.Fabricated references, for instance, fell sharply from GPT-3.5 to GPT-4 (Walters & Wilder, 2023). A measured rate is always for one task, and rates have not fallen evenly on all of them. While this is on the whole a good thing, it also makes the remaining ones trickier. Think of it as the 90 % (or even 99 %) problem: if the vast majority of the information presented to you is correct, and all of it is presented equally confidently and all of it seems plausible, the remaining errors are very hard to detect. And the more often you see good output, the “lazier” you can become with fact-checking, because on average the output is, or looks, pretty good.

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Updated 1 October 2026

La lecture ne dit pas quelles parties sont vraies

À qui lui demandait en anglais une courte biographie de moi, un agent conversationnel a commencé par avertir qu’il risquait de fabuler certains détails, puis a écrit cinq paragraphes assurés et bien organisés (Figure 3figure 3). Le domaine est exact. Le doctorat est exact, jusqu’à son sujet, et le corpus qu’il m’attribue est bien un corpus que j’ai construit. L’université où il me place est fausse : je ne travaille plus à Gand depuis 2022. Rien, dans la manière de cette phrase-là, ne la distingue de celles qui l’entourent.

Il omet aussi des choses. Mon travail a largement dépassé l’extraction de termes, et rien de cela n’apparaît ici. C’est la date de coupure des connaissances knowledge cutoffdate de coupure des connaissances language modelsmodèles de langue The point in time up to which the text a model was trained on was gathered, and after which nothing reached it during training.Moment jusqu'auquel le texte ayant servi à entraîner un modèle a été rassemblé, et après lequel plus rien ne lui est parvenu pendant l'entraînement. qui se manifeste : le matériel récent est plus mince dans le texte d’entraînement que le matériel ancien, et l’information la plus récente manque tout à fait, à moins que le modèle ne fasse aussi une recherche sur le Web. L’université fausse relève du même gradient. À la date de coupure, il y avait beaucoup plus de texte me reliant à Gand, où j’ai fait mon doctorat, qu’aux universités où je suis allée ensuite, si bien que la réponse la mieux attestée était la réponse périmée.

Être connu n’est pas la même chose qu’être bien représenté dans le texte d’entraînement. Gurky est bien plus célèbre que moi, mais sa notoriété passe par la vidéo plutôt que par l’écrit, et un modèle est entraîné sur du texte. En janvier 2025, à qui lui demandait en français une courte biographie de Gurky, un youtubeur québécois, un agent conversationnel a vu juste sur le tableau d’ensemble, un youtubeur francophone, et faux sur chaque détail. Il lui a donné un nom civil, une nationalité, une année de naissance et un début sur YouTube, les quatre faux, tout comme le genre de vidéos qu’il lui prêtait (Figure 4figure 4).Un portrait paru dans la presse québécoise en 2023 donne Jules comme prénom, et le 6 mai 2012 comme date de sa première vidéo, alors qu’il avait 13 ans : Adam Bourbonnière, 7 choses à savoir sur Gurky, youtubeur de l’année, Le Sac de chips, 10 février 2023, consulté le 17 septembre 2026.

De telles erreurs sont difficiles à voir. Elles sont assez plausibles pour que rien ne détonne, les détails exacts qui les entourent leur servent de caution, et à part la rare réserve générale, comme dans le premier exemple, aucune incertitude n’est exprimée sur une affirmation en particulier.

Une lecture attentive confronte un texte à lui-même : elle vérifie donc sa cohérence. Elle ne vérifie pas sa factualité, qui est une question sur le monde plutôt que sur le texte.

Un texte peut être parfaitement cohérent et ne correspondre à rien, si bien qu’une erreur de ce genre passe une lecture attentive à tout coup.

Le problème des 90 %

Les fabulations se raréfient dans les GML.Les références fabriquées, par exemple, ont nettement reculé de GPT-3.5 à GPT-4 (Walters et Wilder, 2023). Un taux mesuré vaut toujours pour une tâche, et les taux n’ont pas baissé également partout. Si c’est dans l’ensemble une bonne chose, cela rend aussi les fabulations restantes plus retorses. Voyez cela comme le problème des 90 % (voire des 99 %) : si la grande majorité de l’information qui vous est présentée est exacte, qu’elle est présentée partout avec la même assurance et qu’elle paraît partout plausible, les erreurs restantes sont très difficiles à détecter. Et plus vous voyez de bonnes sorties, plus vous pouvez devenir « paresseux » dans la vérification des faits, parce qu’en moyenne la sortie est bonne, ou en a l’air.

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Mise à jour 1er octobre 2026