Prompt injectionL'infiltration de requête

TRA6008 OptionalFacultatif

Instructions and content look alike to a model

Everything a model reads arrives as the same tokens token²jeton textuel² language modelsmodèles de langue A unit of text that a language model processes or generates.Unité de texte qu'un modèle de langue traite ou génère. Un jeton peut correspondre à un mot entier, à une partie de mot, à un signe de ponctuation ou à une séquence plus petite de caractères ou d'octets. : the system prompt system promptrequête générative système promptingrequêtes An instruction supplied to a language model before or alongside the user's input that establishes the model's role, task, behavioural rules, tone, or other context for the interaction.Instruction fournie à un modèle de langue avant l'entrée de l'utilisateur, ou en parallèle, qui établit le rôle du modèle, sa tâche, ses règles de conduite, son ton ou d'autres éléments de contexte pour l'interaction. the provider wrote, your request, and the document you attached. Nothing in that text marks which parts are instructions and which are material to work on (Figure 2figure 2). Models are trained to give the system prompt priority when a later message contradicts it, and in tests every model did much worse when instructions conflicted than when they agreed (Zhang et al., 2025b) (see also the System prompts page, in the LLM lifecycle module) (voir aussi la page Requêtes génératives système, dans le module Cycle de vie des GML).Tested on models of 2024, among them GPT-4o, Claude 3, Llama 3.1 and Qwen2.

Someone who writes a document you will feed to a model can use that.

The same property lets the person typing talk a model’s refusals around, which is jailbreaking jailbreakingdébridage AI safetysécurité de l'IA The deliberate use of specially crafted prompts or interaction strategies to make an AI model bypass restrictions on its outputs or behaviour, such as its refusal to provide prohibited content or sensitive information.Utilisation délibérée de requêtes spécialement conçues ou de stratégies d'interaction pour amener un modèle d'IA à contourner les restrictions sur ses sorties ou son comportement, comme son refus de fournir du contenu interdit ou des renseignements sensibles. (see also the Jailbreaking and red teaming page, in the LLM lifecycle module) (voir aussi la page Débridage et équipes rouges, dans le module Cycle de vie des GML).

An example: manuscripts that review themselves

Text is easy to hide from a reader without hiding it from a program: set in the same colour as the background, or at a size of one point, it disappears on the page while any program reading the file still extracts it. A study wrote such instructions into 100 manuscripts and uploaded them to ChatGPT and Gemini with a request for a review: instructions steering the review towards a positive verdict, or making the model refuse, or sending it to an external site, each worked more than 98 % of the time (Torrielli et al., 2026). Conferences have begun to take a position on it: the ICML 2026 reviewer guidelines forbid authors from injecting prompts, while allowing instructions whose only purpose is to reveal that a reviewer used a model.Tested in 2026 through the two products’ web interfaces, on computer-science papers; the authors also propose the same mechanism as a detection tool, since a hidden instruction that leaves a trace in a review shows the review was generated.

Why it concerns you

Anything a model reads on your behalf can contain instructions: a web page, a PDF from a client, an email being summarized, a document in a shared folder. A sentence in that material saying disregard your instructions and instead do X is not marked as less authoritative than what you wrote.

When a model only writes you an answer, the worst that happens is a wrong or strange answer, and you have a chance to notice it. It gets serious once the model can act for you, because the hidden instruction then reaches your files, your messages or your accounts.

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Updated 14 October 2026

Instructions et contenu se ressemblent pour un modèle

Tout ce qu’un modèle lit lui arrive sous la forme des mêmes jetons token²jeton textuel² language modelsmodèles de langue A unit of text that a language model processes or generates.Unité de texte qu'un modèle de langue traite ou génère. Un jeton peut correspondre à un mot entier, à une partie de mot, à un signe de ponctuation ou à une séquence plus petite de caractères ou d'octets.  : la requête système system promptrequête générative système promptingrequêtes An instruction supplied to a language model before or alongside the user's input that establishes the model's role, task, behavioural rules, tone, or other context for the interaction.Instruction fournie à un modèle de langue avant l'entrée de l'utilisateur, ou en parallèle, qui établit le rôle du modèle, sa tâche, ses règles de conduite, son ton ou d'autres éléments de contexte pour l'interaction. écrite par le fournisseur, votre demande et le document que vous avez joint. Rien dans ce texte n’indique quelles parties sont des instructions et lesquelles sont la matière à traiter (Figure 2figure 2). Les modèles sont entraînés à donner la priorité à la requête système quand un message ultérieur la contredit, et dans les tests, tous les modèles ont nettement moins bien réussi lorsque les instructions se contredisaient que lorsqu’elles concordaient (Zhang et al., 2025b) (see also the System prompts page, in the LLM lifecycle module) (voir aussi la page Requêtes génératives système, dans le module Cycle de vie des GML).Testé sur des modèles de 2024, dont GPT-4o, Claude 3, Llama 3.1 et Qwen2.

Qui écrit un document que vous donnerez à un modèle peut s’en servir.

La même propriété permet à la personne qui écrit de contourner les refus d’un modèle, ce qu’on appelle le débridage jailbreakingdébridage AI safetysécurité de l'IA The deliberate use of specially crafted prompts or interaction strategies to make an AI model bypass restrictions on its outputs or behaviour, such as its refusal to provide prohibited content or sensitive information.Utilisation délibérée de requêtes spécialement conçues ou de stratégies d'interaction pour amener un modèle d'IA à contourner les restrictions sur ses sorties ou son comportement, comme son refus de fournir du contenu interdit ou des renseignements sensibles. (see also the Jailbreaking and red teaming page, in the LLM lifecycle module) (voir aussi la page Débridage et équipes rouges, dans le module Cycle de vie des GML).

Un exemple : des manuscrits qui s’évaluent eux-mêmes

Un texte se cache facilement à un lecteur sans se cacher à un programme : écrit dans la couleur du fond, ou en corps un, il disparaît sur la page alors que tout programme qui lit le fichier l’extrait encore. Une étude a inséré de telles instructions dans 100 manuscrits, puis a soumis ceux-ci à ChatGPT et à Gemini en demandant une évaluation : les instructions qui orientaient l’évaluation vers un verdict favorable, celles qui poussaient le modèle à refuser et celles qui le renvoyaient vers un site externe ont fonctionné plus de 98 % du temps (Torrielli et al., 2026). Les conférences commencent à prendre position : les consignes aux évaluateurs d’ICML 2026 interdisent aux auteurs d’insérer des instructions, tout en tolérant celles dont le seul but est de révéler qu’un évaluateur a utilisé un modèle.Testé en 2026 par les interfaces web des deux produits, sur des articles d’informatique ; les auteurs proposent aussi ce mécanisme comme outil de détection, puisqu’une instruction cachée qui laisse une trace dans une évaluation montre que celle-ci a été générée.

Pourquoi cela vous concerne

Tout ce qu’un modèle lit pour vous peut contenir des instructions : une page web, un PDF envoyé par un client, un courriel à résumer, un document dans un dossier partagé. Une phrase de cette matière qui dit ignore tes instructions et fais plutôt X n’est pas signalée comme moins autoritaire que ce que vous avez écrit.

Quand un modèle se contente de vous écrire une réponse, le pire qui arrive est une réponse fausse ou étrange, et vous avez une chance de le remarquer. Cela devient sérieux dès que le modèle peut agir pour vous, car l’instruction cachée atteint alors vos fichiers, vos messages ou vos comptes.

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Mise à jour 14 octobre 2026