In-context learningApprentissage en contexte

Adapting to what is in the prompt

When you give a chatbot a few lines that follow a pattern and leave the last one unfinished, it usually completes the pattern without being told what to do. In Figure 1figure 1, each input sentence is followed by the same sentence in capital letters, and Gemini writes the last one in capitals, although nothing in the prompt asks for capitals.

The model itself did not change to do this: its parameters stay the same during inference inferenceinférence machine learningapprentissage automatique The stage in which a trained AI model processes new input to produce a prediction, classification, decision, or generated output.Étape au cours de laquelle un modèle d'IA entraîné traite une nouvelle entrée pour produire une prédiction, une classification, une décision ou une sortie générée. , so the only thing that changed is the text in its context window context windowfenêtre contextuelle language modelsmodèles de langue "The amount of input (like text) that an AI system can process at one time during a task. Think of it as a model's short-term memory. A model can only consider so much text when generating its next response, and once the conversation exceeds its context window, the model starts 'forgetting' prior responses." (Stanford HAI).Quantité d'entrée (du texte, par exemple) qu'un système d'IA peut traiter à la fois pendant une tâche ; en quelque sorte, la mémoire à court terme du modèle. Un modèle ne peut considérer qu'une quantité limitée de texte pour générer sa prochaine réponse et, quand la conversation dépasse sa fenêtre contextuelle, il commence à « oublier » les réponses antérieures (d'après Stanford HAI, traduction libre). . This kind of adaptation to what is in the context window is called in-context learning (ICL).

In-context learning vs. fine-tuning

Brown et al. (2020) described GPT-3 as a few-shot learner: a model that could carry out a new task after seeing a few examples in its prompt. The word learning can be misleading, though. During fine-tuning fine-tuningaffinage machine learningapprentissage automatique Further training of a pretrained model on new data to adapt it for a particular task, domain, or intended behaviour.Poursuite de l'entraînement d'un modèle préentraîné sur un jeu de données généralement plus restreint et spécialisé, afin de l'adapter à une tâche ou à un domaine particulier. , examples change the model’s parameters, and the changed model is used in every conversation after it. In in-context learning, the examples change one conversation only. In tests by de Wynter (2026), models mostly deduced patterns from regularities in the prompt, and their ability to carry this over to tasks unlike the ones they had seen was limited.

	Fine-tuning	In-context learning
What changes	the parameters	nothing in the model
How long it lasts	every later conversation with that model	this conversation
Who can do it	whoever controls the model	anyone who can type a prompt
What it costs	a training run	room in the context window

Sources

• Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., et al. (2020). Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems 33 (NeurIPS 2020). https://proceedings.neurips.cc/paper/2020/hash/1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html
• de Wynter, A. (2026). Is In-Context Learning Learning?. The Fourteenth International Conference on Learning Representations (ICLR 2026). https://arxiv.org/abs/2509.10414
• Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/

S’adapter à ce que contient la requête

Quand vous donnez à un agent conversationnel quelques lignes qui suivent un même schéma et laissez la dernière inachevée, il complète généralement le schéma sans qu’on lui dise quoi faire. Dans la Figure 1figure 1, chaque phrase d’entrée est suivie de la même phrase en majuscules, et Gemini écrit la dernière en majuscules, alors que rien dans la requête ne demande de majuscules.

Le modèle lui-même n’a pas changé pour y parvenir : ses paramètres restent les mêmes pendant l’inférence inferenceinférence machine learningapprentissage automatique The stage in which a trained AI model processes new input to produce a prediction, classification, decision, or generated output.Étape au cours de laquelle un modèle d'IA entraîné traite une nouvelle entrée pour produire une prédiction, une classification, une décision ou une sortie générée. , si bien que seul le texte de sa fenêtre contextuelle context windowfenêtre contextuelle language modelsmodèles de langue "The amount of input (like text) that an AI system can process at one time during a task. Think of it as a model's short-term memory. A model can only consider so much text when generating its next response, and once the conversation exceeds its context window, the model starts 'forgetting' prior responses." (Stanford HAI).Quantité d'entrée (du texte, par exemple) qu'un système d'IA peut traiter à la fois pendant une tâche ; en quelque sorte, la mémoire à court terme du modèle. Un modèle ne peut considérer qu'une quantité limitée de texte pour générer sa prochaine réponse et, quand la conversation dépasse sa fenêtre contextuelle, il commence à « oublier » les réponses antérieures (d'après Stanford HAI, traduction libre). a changé. Cette forme d’adaptation à ce que contient la fenêtre contextuelle s’appelle l’apprentissage en contexte (angl. in-context learning).

Apprentissage en contexte et affinage

Brown et al. (2020) ont décrit GPT-3 comme un modèle qui apprend avec peu d’exemples : un modèle capable d’accomplir une nouvelle tâche après avoir vu quelques exemples dans sa requête. Le mot apprentissage peut toutefois induire en erreur. Pendant l’affinage fine-tuningaffinage machine learningapprentissage automatique Further training of a pretrained model on new data to adapt it for a particular task, domain, or intended behaviour.Poursuite de l'entraînement d'un modèle préentraîné sur un jeu de données généralement plus restreint et spécialisé, afin de l'adapter à une tâche ou à un domaine particulier. , les exemples modifient les paramètres du modèle, et le modèle modifié sert dans toutes les conversations qui suivent. Dans l’apprentissage en contexte, les exemples ne modifient qu’une conversation. Dans les expériences de de Wynter (2026), les modèles déduisaient surtout des schémas à partir de régularités de la requête, et leur capacité à transposer ces schémas à des tâches différentes de celles qu’ils avaient vues était limitée.

	Affinage	Apprentissage en contexte
Ce qui change	les paramètres	rien dans le modèle
Combien de temps cela dure	toutes les conversations suivantes avec ce modèle	cette conversation
Qui peut le faire	qui contrôle le modèle	quiconque peut écrire une requête
Ce que cela coûte	un entraînement	de la place dans la fenêtre contextuelle

Sources

• Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., et al. (2020). Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems 33 (NeurIPS 2020). https://proceedings.neurips.cc/paper/2020/hash/1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html
• de Wynter, A. (2026). Is In-Context Learning Learning?. The Fourteenth International Conference on Learning Representations (ICLR 2026). https://arxiv.org/abs/2509.10414
• Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/

Instructions added before your message

When you send a message to a chatbot, the model does not receive your message on its own. The service first adds instructions of its own, called a system prompt, and your message comes after them in the same context window context windowfenêtre contextuelle language modelsmodèles de langue "The amount of input (like text) that an AI system can process at one time during a task. Think of it as a model's short-term memory. A model can only consider so much text when generating its next response, and once the conversation exceeds its context window, the model starts 'forgetting' prior responses." (Stanford HAI).Quantité d'entrée (du texte, par exemple) qu'un système d'IA peut traiter à la fois pendant une tâche ; en quelque sorte, la mémoire à court terme du modèle. Un modèle ne peut considérer qu'une quantité limitée de texte pour générer sa prochaine réponse et, quand la conversation dépasse sa fenêtre contextuelle, il commence à « oublier » les réponses antérieures (d'après Stanford HAI, traduction libre). .

What a system prompt contains

Not every provider makes its system prompts public, but Anthropic, for instance, publishes what it calls the core system prompt of its Claude apps. The text the model receives can contain more, such as descriptions of the tools you have switched on and your own custom instructions custom instructionsinstructions personnalisées promptingrequêtes User-provided preferences, background information, or requirements that an AI assistant stores and applies automatically across conversations, so that they do not need to be repeated in every prompt.Préférences, informations contextuelles ou exigences fournies par l'utilisateur, qu'un assistant d'IA enregistre et applique automatiquement d'une conversation à l'autre, sans qu'il faille les répéter dans chaque requête. . The core system prompt for Claude Fable 5.1, dated 1 September 2026, gives the model:

• information about itself and the provider’s products, such as the other Claude models and apps;
• requests to decline, and how to decline them;
• instructions on tone and formatting, such as “Claude keeps responses focused, brief, and concise”;
• its knowledge cutoff knowledge cutoffdate de coupure des connaissances language modelsmodèles de langue The point in time up to which the text a model was trained on was gathered, and after which nothing reached it during training.Moment jusqu'auquel le texte ayant servi à entraîner un modèle a été rassemblé, et après lequel plus rien ne lui est parvenu pendant l'entraînement. , and how to answer questions about later events.

Instructions, not settings

A system prompt can look like a set of settings that the model then applies, and so can the custom instructions you add yourself. ChatGPT, for instance, presents custom instructions as a form, with fields to fill in, a personality to choose and traits to add (Figure 2figure 2). The model receives these instructions as text in its context window, though, processed like the rest of the conversation (see also the Custom instructions, memory, projects and skills page, in the Using LLMs module) (voir aussi la page Instructions personnalisées, mémoire, projets et compétences, dans le module Utiliser les GML).

A setting is applied every time. A system prompt is followed because the model was trained to follow instructions (see also the Instruction tuning: learning from examples page) (voir aussi la page L'affinage par instructions : apprendre à partir d'exemples), and to give the system prompt priority over later messages, an order known as the instruction hierarchy (Zhang et al., 2025b). This usually works, but not always, and two situations make it less reliable:

• Long conversations. Instructions at the start are followed less reliably as the conversation goes on (Li et al., 2024; Qin et al., 2025).
• Conflicting instructions. When a later message or document contradicts the system prompt, the model does not always give the system prompt priority: all the models Zhang et al. (2025b) tested did much worse when instructions conflicted than when they agreed. Messages written on purpose to get around a model’s restrictions are called jailbreaking jailbreakingdébridage AI safetysécurité de l'IA The deliberate use of specially crafted prompts or interaction strategies to make an AI model bypass restrictions on its outputs or behaviour, such as its refusal to provide prohibited content or sensitive information.Utilisation délibérée de requêtes spécialement conçues ou de stratégies d'interaction pour amener un modèle d'IA à contourner les restrictions sur ses sorties ou son comportement, comme son refus de fournir du contenu interdit ou des renseignements sensibles. , and instructions hidden in a document or web page the model reads are called prompt injection prompt injectioninfiltration de requête AI safetysécurité de l'IA An attack in which untrusted input is incorporated into a prompt and interpreted by a generative AI system as instructions, causing the system to disregard or conflict with its intended instructions or to produce unintended outputs or actions.Attaque dans laquelle une entrée non fiable est incorporée à une requête et interprétée par un système d'IA générative comme des instructions, amenant le système à ignorer ou à contredire ses instructions prévues, ou à produire des sorties ou des actions non voulues. (see also the Prompt injection page, in the Using LLMs module) (voir aussi la page L'infiltration de requête, dans le module Utiliser les GML).

Anthropic’s own system prompt takes both situations into account: it mentions a reminder that the service adds to long conversations to help Claude keep its instructions, and warns that text in a user’s message may falsely claim to come from Anthropic.

Sources

• Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
• Li, K., Liu, T., Bashkansky, N., Bau, D., Viégas, F., Pfister, H., & Wattenberg, M. (2024). Measuring and Controlling Instruction (In)Stability in Language Model Dialogs. First Conference on Language Modeling (COLM 2024). https://openreview.net/forum?id=60a1SAtH4e
• Qin, Y., Zhang, T., Zhang, T., Shen, Y., Luo, W., Sun, H., et al. (2025). SysBench: Can LLMs Follow System Message?. The Thirteenth International Conference on Learning Representations (ICLR 2025). https://mlanthology.org/iclr/2025/qin2025iclr-sysbench/
• Zhang, Z., Li, S., Zhang, Z., Liu, X., Jiang, H., Tang, X., et al. (2025b). IHEval: Evaluating Language Models on Following the Instruction Hierarchy. Proceedings of the 2025 Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics (NAACL 2025), 8374–8398. https://doi.org/10.18653/v1/2025.naacl-long.425

Des instructions ajoutées avant votre message

Quand vous envoyez un message à un agent conversationnel, le modèle ne reçoit pas votre message seul. Le service ajoute d’abord ses propres instructions, appelées requête générative système (angl. system prompt), et votre message vient après elles, dans la même fenêtre contextuelle context windowfenêtre contextuelle language modelsmodèles de langue "The amount of input (like text) that an AI system can process at one time during a task. Think of it as a model's short-term memory. A model can only consider so much text when generating its next response, and once the conversation exceeds its context window, the model starts 'forgetting' prior responses." (Stanford HAI).Quantité d'entrée (du texte, par exemple) qu'un système d'IA peut traiter à la fois pendant une tâche ; en quelque sorte, la mémoire à court terme du modèle. Un modèle ne peut considérer qu'une quantité limitée de texte pour générer sa prochaine réponse et, quand la conversation dépasse sa fenêtre contextuelle, il commence à « oublier » les réponses antérieures (d'après Stanford HAI, traduction libre). .

Ce que contient une requête générative système

Tous les fournisseurs ne rendent pas publiques leurs requêtes génératives système, mais Anthropic, par exemple, publie ce qu’elle appelle la requête système de base de ses applications Claude. Le texte que reçoit le modèle peut en contenir davantage, comme la description des outils que vous avez activés et vos propres instructions personnalisées custom instructionsinstructions personnalisées promptingrequêtes User-provided preferences, background information, or requirements that an AI assistant stores and applies automatically across conversations, so that they do not need to be repeated in every prompt.Préférences, informations contextuelles ou exigences fournies par l'utilisateur, qu'un assistant d'IA enregistre et applique automatiquement d'une conversation à l'autre, sans qu'il faille les répéter dans chaque requête. . La requête système de base de Claude Fable 5.1, datée du 1er septembre 2026, fournit au modèle :

• des informations sur lui-même et sur les produits du fournisseur, comme les autres modèles et applications Claude ;
• les demandes à refuser, et la manière de les refuser ;
• des instructions sur le ton et la mise en forme, comme « Claude keeps responses focused, brief, and concise » (des réponses ciblées, brèves et concises) ;
• sa date de coupure des connaissances knowledge cutoffdate de coupure des connaissances language modelsmodèles de langue The point in time up to which the text a model was trained on was gathered, and after which nothing reached it during training.Moment jusqu'auquel le texte ayant servi à entraîner un modèle a été rassemblé, et après lequel plus rien ne lui est parvenu pendant l'entraînement. , et la manière de répondre aux questions sur des événements postérieurs.

Des instructions, pas des réglages

Une requête générative système peut ressembler à un ensemble de réglages que le modèle appliquerait ensuite, tout comme les instructions personnalisées que vous ajoutez vous-même. ChatGPT, par exemple, présente les instructions personnalisées sous la forme d’un formulaire, avec des champs à remplir, une personnalité à choisir et des traits à ajouter (Figure 2figure 2). Le modèle reçoit pourtant ces instructions sous forme de texte dans sa fenêtre contextuelle, et les traite comme le reste de la conversation (see also the Custom instructions, memory, projects and skills page, in the Using LLMs module) (voir aussi la page Instructions personnalisées, mémoire, projets et compétences, dans le module Utiliser les GML).

Un réglage s’applique chaque fois. Une requête générative système est suivie parce que le modèle a été entraîné à suivre des instructions (see also the Instruction tuning: learning from examples page) (voir aussi la page L'affinage par instructions : apprendre à partir d'exemples), et à donner la priorité à la requête générative système sur les messages suivants, un ordre appelé hiérarchie des instructions (Zhang et al., 2025b). Cela fonctionne généralement, mais pas toujours, et deux situations le rendent moins fiable :

• Les longues conversations. Les instructions données au début sont suivies de moins en moins fidèlement à mesure que la conversation avance (Li et al., 2024 ; Qin et al., 2025).
• Les instructions contradictoires. Quand un message ou un document ultérieur contredit la requête générative système, le modèle ne lui donne pas toujours la priorité : tous les modèles testés par Zhang et al. (2025b) obtenaient des résultats nettement moins bons quand les instructions se contredisaient que quand elles concordaient. Les messages rédigés exprès pour contourner les restrictions d’un modèle relèvent du débridage jailbreakingdébridage AI safetysécurité de l'IA The deliberate use of specially crafted prompts or interaction strategies to make an AI model bypass restrictions on its outputs or behaviour, such as its refusal to provide prohibited content or sensitive information.Utilisation délibérée de requêtes spécialement conçues ou de stratégies d'interaction pour amener un modèle d'IA à contourner les restrictions sur ses sorties ou son comportement, comme son refus de fournir du contenu interdit ou des renseignements sensibles. , et les instructions cachées dans un document ou une page Web que lit le modèle constituent une infiltration de requête prompt injectioninfiltration de requête AI safetysécurité de l'IA An attack in which untrusted input is incorporated into a prompt and interpreted by a generative AI system as instructions, causing the system to disregard or conflict with its intended instructions or to produce unintended outputs or actions.Attaque dans laquelle une entrée non fiable est incorporée à une requête et interprétée par un système d'IA générative comme des instructions, amenant le système à ignorer ou à contredire ses instructions prévues, ou à produire des sorties ou des actions non voulues. (see also the Prompt injection page, in the Using LLMs module) (voir aussi la page L'infiltration de requête, dans le module Utiliser les GML).

La requête système d’Anthropic elle-même tient compte de ces deux situations : elle mentionne un rappel que le service ajoute aux longues conversations pour aider Claude à respecter ses instructions, et avertit que du texte figurant dans le message d’une personne peut prétendre à tort venir d’Anthropic.

Sources

• Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
• Li, K., Liu, T., Bashkansky, N., Bau, D., Viégas, F., Pfister, H., & Wattenberg, M. (2024). Measuring and Controlling Instruction (In)Stability in Language Model Dialogs. First Conference on Language Modeling (COLM 2024). https://openreview.net/forum?id=60a1SAtH4e
• Qin, Y., Zhang, T., Zhang, T., Shen, Y., Luo, W., Sun, H., et al. (2025). SysBench: Can LLMs Follow System Message?. The Thirteenth International Conference on Learning Representations (ICLR 2025). https://mlanthology.org/iclr/2025/qin2025iclr-sysbench/
• Zhang, Z., Li, S., Zhang, Z., Liu, X., Jiang, H., Tang, X., et al. (2025b). IHEval: Evaluating Language Models on Following the Instruction Hierarchy. Proceedings of the 2025 Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics (NAACL 2025), 8374–8398. https://doi.org/10.18653/v1/2025.naacl-long.425

Describing a task or showing it

You can describe a task in your prompt and let the model carry it out, which is called zero-shot prompting, or first show it a few examples of what you want, which is called few-shot prompting. With a single example, it is sometimes called one-shot prompting.

In Figure 3figure 3, ChatGPT is first asked, in French, for a few phrases of five words with exemple as the middle word. None of its five answers fits. In the same conversation, after being told that the answers were wrong and given one example, four of its five answers fit, although one simply repeats the example. After four examples, seven of its eight answers fit. Because everything happened in one conversation, part of the improvement may come from the correction rather than from the examples alone (see also the Giving examples page, in the Using LLMs module) (voir aussi la page Donner des exemples, dans le module Utiliser les GML).

What examples show the model

Examples show a model more than the answer to each case: what an input looks like, which answers are possible and what format an answer takes. With older, smaller models, these could matter more than whether the answers in the examples were right (Min et al., 2022), but larger models follow the answers in the examples more closely, so wrong examples are more likely to mislead them (Wei et al., 2023b; Shi et al., 2024).

Sources

• Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., et al. (2020). Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems 33 (NeurIPS 2020). https://proceedings.neurips.cc/paper/2020/hash/1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html
• Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
• Min, S., Lyu, X., Holtzman, A., Artetxe, M., Lewis, M., Hajishirzi, H., & Zettlemoyer, L. (2022). Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?. Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, 11048–11064. https://aclanthology.org/2022.emnlp-main.759/
• Shi, Z., Wei, J., Xu, Z., & Liang, Y. (2024). Why Larger Language Models Do In-context Learning Differently?. Proceedings of the 41st International Conference on Machine Learning (ICML 2024), PMLR 235, 44991–45013. https://proceedings.mlr.press/v235/shi24f.html
• Wei, J., Wei, J., Tay, Y., Tran, D., Webson, A., Lu, Y., et al. (2023b). Larger language models do in-context learning differently. Preprint, arXiv:2303.03846 (submitted to ICLR 2024). https://openreview.net/forum?id=DRGnEkbiQZ

Décrire une tâche ou la montrer

Vous pouvez décrire une tâche dans votre requête et laisser le modèle l’exécuter, ce qu’on appelle la formulation de requête sans exemple (angl. zero-shot prompting), ou lui montrer d’abord quelques exemples de ce que vous voulez, ce qu’on appelle la formulation de requête avec quelques exemples (angl. few-shot prompting). Avec un seul exemple, on parle parfois en anglais de one-shot prompting.

Dans la Figure 3figure 3, on demande d’abord à ChatGPT quelques phrases de cinq mots dont le mot central est exemple. Aucune de ses cinq réponses ne convient. Dans la même conversation, après s’être fait dire que les réponses étaient fausses et avoir reçu un exemple, il en donne cinq dont quatre conviennent, même si l’une se contente de répéter l’exemple. Après quatre exemples, sept de ses huit réponses conviennent. Comme tout s’est passé dans une seule conversation, une partie de l’amélioration peut venir de la correction plutôt que des seuls exemples (see also the Giving examples page, in the Using LLMs module) (voir aussi la page Donner des exemples, dans le module Utiliser les GML).

Ce que les exemples montrent au modèle

Les exemples montrent au modèle davantage que la réponse à chaque cas : à quoi ressemble une entrée, quelles réponses sont possibles et quelle forme prend une réponse. Avec des modèles plus anciens et plus petits, ces éléments pouvaient compter davantage que l’exactitude des réponses données en exemple (Min et coll., 2022), mais les modèles plus grands suivent de plus près les réponses des exemples, si bien que des exemples erronés risquent davantage de les induire en erreur (Wei et al., 2023b ; Shi et al., 2024).

Sources

• Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., et al. (2020). Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems 33 (NeurIPS 2020). https://proceedings.neurips.cc/paper/2020/hash/1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html
• Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
• Min, S., Lyu, X., Holtzman, A., Artetxe, M., Lewis, M., Hajishirzi, H., & Zettlemoyer, L. (2022). Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?. Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, 11048–11064. https://aclanthology.org/2022.emnlp-main.759/
• Shi, Z., Wei, J., Xu, Z., & Liang, Y. (2024). Why Larger Language Models Do In-context Learning Differently?. Proceedings of the 41st International Conference on Machine Learning (ICML 2024), PMLR 235, 44991–45013. https://proceedings.mlr.press/v235/shi24f.html
• Wei, J., Wei, J., Tay, Y., Tran, D., Webson, A., Lu, Y., et al. (2023b). Larger language models do in-context learning differently. Preprint, arXiv:2303.03846 (submitted to ICLR 2024). https://openreview.net/forum?id=DRGnEkbiQZ

What context can do

Usually, a model can already carry out a task to some extent, and instructions and examples in its context window context windowfenêtre contextuelle language modelsmodèles de langue "The amount of input (like text) that an AI system can process at one time during a task. Think of it as a model's short-term memory. A model can only consider so much text when generating its next response, and once the conversation exceeds its context window, the model starts 'forgetting' prior responses." (Stanford HAI).Quantité d'entrée (du texte, par exemple) qu'un système d'IA peut traiter à la fois pendant une tâche ; en quelque sorte, la mémoire à court terme du modèle. Un modèle ne peut considérer qu'une quantité limitée de texte pour générer sa prochaine réponse et, quand la conversation dépasse sa fenêtre contextuelle, il commence à « oublier » les réponses antérieures (d'après Stanford HAI, traduction libre). improve how well it does so. Where the model has no basis to start from, context helps much less (Figure 4figure 4).

• It shows the model what you want: what an input looks like, which answers are possible and what format an answer takes (see also the Zero-shot and few-shot prompting page) (voir aussi la page Requêtes sans exemple et avec quelques exemples).
• It supplies information the model can use, such as your terminology or the content of a document you attach (see also the context window page) (voir aussi la page La fenêtre contextuelle).
• More examples can help further. On many tasks, performance kept improving with hundreds or thousands of examples, well past the few of few-shot prompting few-shot promptingformulation de requête avec quelques exemples promptingrequêtes A prompting technique in which a small number of demonstrations, typically examples pairing an input with its desired output, are included in the prompt to show a language model how to perform a task.Technique de formulation de requêtes consistant à inclure dans la requête un petit nombre de démonstrations, typiquement des exemples associant une entrée à la sortie souhaitée, pour montrer à un modèle de langue comment accomplir une tâche. (Agarwal et al., 2024; Bertsch et al., 2025). For translation, the results are mixed: Agarwal et al. (2024) report gains for two low-resource languages, but in the tests of Zou et al. (2025), translation hardly improved as examples were added.The models tested in these studies date from 2023 and 2024.
• It does not give good performance where the model has no basis, in a field or a language it knows little about, even with a whole book of material.

What context cannot do

Context also has limits:

• It is not kept. Instructions and examples are gone in the next conversation, unless you or a feature such as memory supply them again (see also the Custom instructions, memory, projects and skills page, in the Using LLMs module) (voir aussi la page Instructions personnalisées, mémoire, projets et compétences, dans le module Utiliser les GML).
• It fades in long conversations. Instructions given at the start are followed less reliably as the conversation goes on (see also the System prompts page) (voir aussi la page Requêtes génératives système).
• It does not always override training. When the context contradicts what a model learned during training, the model does not always go with the context. Goyal et al. (2025) even found that the longer instruction tuning instruction tuningaffinage par instructions language modelsmodèles de langue A form of supervised fine-tuning in which a pretrained language model is trained further on examples pairing instructions or questions with appropriate responses.Forme d'affinage supervisé dans laquelle un modèle de langue préentraîné est entraîné davantage sur des exemples associant des instructions ou des questions à des réponses appropriées. went on, the less the models they tested relied on the context in such cases.Goyal et al. (2025) tested open models from the Llama, Mistral and Pythia families.
• It is not followed the same way every time, partly because the model’s answers are not deterministic deterministicdéterministe computinginformatique Describes a process, algorithm, or system that, under the same initial conditions and with the same input, always produces the same output.Se dit d'un processus, d'un algorithme ou d'un système qui, dans les mêmes conditions initiales et avec la même entrée, produit toujours la même sortie. (see also the LLMs are non-deterministic page) (voir aussi la page Les GML ne sont pas déterministes).
• It has a cost. All of it is sent again with every request, which makes each request slower and, on a service that charges per token, more expensive (see also the Counting in tokens page, in the Language as numbers module) (voir aussi la page Compter en jetons, dans le module Le langage en nombres).

Context is therefore well suited to adapting a model to one document, client or conversation. Behaviour that has to be the same across thousands of requests calls for changing the model itself, or for a check outside the model.

Sources

• Agarwal, R., Singh, A., Zhang, L., Bohnet, B., Rosias, L., Chan, S., et al. (2024). Many-Shot In-Context Learning. Advances in Neural Information Processing Systems 37 (NeurIPS 2024). https://proceedings.neurips.cc/paper_files/paper/2024/hash/8cb564df771e9eacbfe9d72bd46a24a9-Abstract-Conference.html
• Aycock, S., Stap, D., Wu, D., Monz, C., & Sima'an, K. (2025). Can LLMs Really Learn to Translate a Low-Resource Language from One Grammar Book?. The Thirteenth International Conference on Learning Representations (ICLR 2025). https://proceedings.iclr.cc/paper_files/paper/2025/hash/20f44da80080d76bbc35bca0027f14e6-Abstract-Conference.html
• Bertsch, A., Ivgi, M., Xiao, E., Alon, U., Berant, J., Gormley, M. R., & Neubig, G. (2025). In-Context Learning with Long-Context Models: An In-Depth Exploration. Proceedings of the 2025 Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics (NAACL 2025), 12119–12149. https://doi.org/10.18653/v1/2025.naacl-long.605
• Goyal, S., Baek, C., Kolter, J. Z., & Raghunathan, A. (2025). Context-Parametric Inversion: Why Instruction Finetuning May Not Actually Improve Context Reliance. The Thirteenth International Conference on Learning Representations (ICLR 2025). https://arxiv.org/abs/2410.10796
• Tanzer, G., Suzgun, M., Visser, E., Jurafsky, D., & Melas-Kyriazi, L. (2024). A Benchmark for Learning to Translate a New Language from One Grammar Book. Proceedings of the Twelfth International Conference on Learning Representations (ICLR 2024). https://proceedings.iclr.cc/paper_files/paper/2024/hash/52d63f9e4b81f866bf69fb3c834aad47-Abstract-Conference.html
• Zou, K., Khalifa, M., & Wang, L. (2025). On Many-Shot In-Context Learning for Long-Context Evaluation. Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (ACL 2025), 25605–25639. https://doi.org/10.18653/v1/2025.acl-long.1245

Ce que le contexte peut faire

En général, un modèle sait déjà accomplir une tâche dans une certaine mesure, et les instructions et les exemples présents dans sa fenêtre contextuelle context windowfenêtre contextuelle language modelsmodèles de langue "The amount of input (like text) that an AI system can process at one time during a task. Think of it as a model's short-term memory. A model can only consider so much text when generating its next response, and once the conversation exceeds its context window, the model starts 'forgetting' prior responses." (Stanford HAI).Quantité d'entrée (du texte, par exemple) qu'un système d'IA peut traiter à la fois pendant une tâche ; en quelque sorte, la mémoire à court terme du modèle. Un modèle ne peut considérer qu'une quantité limitée de texte pour générer sa prochaine réponse et, quand la conversation dépasse sa fenêtre contextuelle, il commence à « oublier » les réponses antérieures (d'après Stanford HAI, traduction libre). améliorent la manière dont il s’en acquitte. Quand le modèle n’a aucune base de départ, le contexte aide beaucoup moins (Figure 4figure 4).

• Il montre au modèle ce que vous voulez : à quoi ressemble une entrée, quelles réponses sont possibles et quelle forme prend une réponse (see also the Zero-shot and few-shot prompting page) (voir aussi la page Requêtes sans exemple et avec quelques exemples).
• Il fournit des informations que le modèle peut utiliser, comme votre terminologie ou le contenu d’un document que vous joignez (see also the context window page) (voir aussi la page La fenêtre contextuelle).
• Plus d’exemples peuvent aider davantage. Sur de nombreuses tâches, les résultats ont continué de s’améliorer avec des centaines ou des milliers d’exemples, bien au-delà des quelques exemples de la formulation de requête avec quelques exemples few-shot promptingformulation de requête avec quelques exemples promptingrequêtes A prompting technique in which a small number of demonstrations, typically examples pairing an input with its desired output, are included in the prompt to show a language model how to perform a task.Technique de formulation de requêtes consistant à inclure dans la requête un petit nombre de démonstrations, typiquement des exemples associant une entrée à la sortie souhaitée, pour montrer à un modèle de langue comment accomplir une tâche. (Agarwal et al., 2024 ; Bertsch et al., 2025). Pour la traduction, les résultats sont mitigés : Agarwal et al. (2024) font état de gains pour deux langues peu dotées, mais dans les tests de Zou et al. (2025), la traduction ne s’est guère améliorée à mesure qu’on ajoutait des exemples.Les modèles testés dans ces études datent de 2023 et de 2024.
• Il ne donne pas de bons résultats là où le modèle n’a aucune base, dans un domaine ou une langue qu’il connaît mal, même avec tout un livre de documentation.

Ce que le contexte ne peut pas faire

Le contexte a aussi ses limites :

• Il n’est pas conservé. Les instructions et les exemples disparaissent à la conversation suivante, à moins que vous ou une fonction comme la mémoire ne les fournissiez de nouveau (see also the Custom instructions, memory, projects and skills page, in the Using LLMs module) (voir aussi la page Instructions personnalisées, mémoire, projets et compétences, dans le module Utiliser les GML).
• Il s’estompe dans les longues conversations. Les instructions données au début sont suivies de moins en moins fidèlement à mesure que la conversation avance (see also the System prompts page) (voir aussi la page Requêtes génératives système).
• Il ne l’emporte pas toujours sur l’entraînement. Quand le contexte contredit ce qu’un modèle a appris pendant l’entraînement, le modèle ne suit pas toujours le contexte. Goyal et al. (2025) ont même constaté que plus l’affinage par instructions instruction tuningaffinage par instructions language modelsmodèles de langue A form of supervised fine-tuning in which a pretrained language model is trained further on examples pairing instructions or questions with appropriate responses.Forme d'affinage supervisé dans laquelle un modèle de langue préentraîné est entraîné davantage sur des exemples associant des instructions ou des questions à des réponses appropriées. se prolongeait, moins les modèles testés s’appuyaient sur le contexte dans ces cas.Goyal et al. (2025) ont testé des modèles ouverts des familles Llama, Mistral et Pythia.
• Il n’est pas suivi de la même manière chaque fois, en partie parce que les réponses du modèle ne sont pas déterministes deterministicdéterministe computinginformatique Describes a process, algorithm, or system that, under the same initial conditions and with the same input, always produces the same output.Se dit d'un processus, d'un algorithme ou d'un système qui, dans les mêmes conditions initiales et avec la même entrée, produit toujours la même sortie. (see also the LLMs are non-deterministic page) (voir aussi la page Les GML ne sont pas déterministes).
• Il a un coût. Tout ce contenu est renvoyé à chaque requête, ce qui rend chacune plus lente et, sur un service facturé au jeton, plus coûteuse (see also the Counting in tokens page, in the Language as numbers module) (voir aussi la page Compter en jetons, dans le module Le langage en nombres).

Le contexte convient donc bien pour adapter un modèle à un document, à un client ou à une conversation. Un comportement qui doit être identique sur des milliers de requêtes exige de modifier le modèle lui-même, ou d’ajouter une vérification en dehors du modèle.

Sources

• Agarwal, R., Singh, A., Zhang, L., Bohnet, B., Rosias, L., Chan, S., et al. (2024). Many-Shot In-Context Learning. Advances in Neural Information Processing Systems 37 (NeurIPS 2024). https://proceedings.neurips.cc/paper_files/paper/2024/hash/8cb564df771e9eacbfe9d72bd46a24a9-Abstract-Conference.html
• Aycock, S., Stap, D., Wu, D., Monz, C., & Sima'an, K. (2025). Can LLMs Really Learn to Translate a Low-Resource Language from One Grammar Book?. The Thirteenth International Conference on Learning Representations (ICLR 2025). https://proceedings.iclr.cc/paper_files/paper/2025/hash/20f44da80080d76bbc35bca0027f14e6-Abstract-Conference.html
• Bertsch, A., Ivgi, M., Xiao, E., Alon, U., Berant, J., Gormley, M. R., & Neubig, G. (2025). In-Context Learning with Long-Context Models: An In-Depth Exploration. Proceedings of the 2025 Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics (NAACL 2025), 12119–12149. https://doi.org/10.18653/v1/2025.naacl-long.605
• Goyal, S., Baek, C., Kolter, J. Z., & Raghunathan, A. (2025). Context-Parametric Inversion: Why Instruction Finetuning May Not Actually Improve Context Reliance. The Thirteenth International Conference on Learning Representations (ICLR 2025). https://arxiv.org/abs/2410.10796
• Tanzer, G., Suzgun, M., Visser, E., Jurafsky, D., & Melas-Kyriazi, L. (2024). A Benchmark for Learning to Translate a New Language from One Grammar Book. Proceedings of the Twelfth International Conference on Learning Representations (ICLR 2024). https://proceedings.iclr.cc/paper_files/paper/2024/hash/52d63f9e4b81f866bf69fb3c834aad47-Abstract-Conference.html
• Zou, K., Khalifa, M., & Wang, L. (2025). On Many-Shot In-Context Learning for Long-Context Evaluation. Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (ACL 2025), 25605–25639. https://doi.org/10.18653/v1/2025.acl-long.1245