In-context learningApprentissage en contexte

TRA6008 To read for S3À lire pour la S3

Adapting to what is in the prompt

When you give a chatbot a few lines that follow a pattern and leave the last one unfinished, it usually completes the pattern without being told what to do. In Figure 1figure 1, each input sentence is followed by the same sentence in capital letters, and Gemini writes the last one in capitals, although nothing in the prompt asks for capitals.

The model itself did not change to do this: its parameters stay the same during inference inferenceinférence machine learningapprentissage automatique The stage in which a trained AI model processes new input to produce a prediction, classification, decision, or generated output.Étape au cours de laquelle un modèle d'IA entraîné traite une nouvelle entrée pour produire une prédiction, une classification, une décision ou une sortie générée. , so the only thing that changed is the text in its context window context windowfenêtre contextuelle language modelsmodèles de langue "The amount of input (like text) that an AI system can process at one time during a task. Think of it as a model's short-term memory. A model can only consider so much text when generating its next response, and once the conversation exceeds its context window, the model starts 'forgetting' prior responses." (Stanford HAI).Quantité d'entrée (du texte, par exemple) qu'un système d'IA peut traiter à la fois pendant une tâche ; en quelque sorte, la mémoire à court terme du modèle. Un modèle ne peut considérer qu'une quantité limitée de texte pour générer sa prochaine réponse et, quand la conversation dépasse sa fenêtre contextuelle, il commence à « oublier » les réponses antérieures (d'après Stanford HAI, traduction libre). . This kind of adaptation to what is in the context window is called in-context learning (ICL).

In-context learning vs. fine-tuning

Brown et al. (2020) described GPT-3 as a few-shot learner: a model that could carry out a new task after seeing a few examples in its prompt. The word learning can be misleading, though. During fine-tuning fine-tuningaffinage machine learningapprentissage automatique Further training of a pretrained model on new data to adapt it for a particular task, domain, or intended behaviour.Poursuite de l'entraînement d'un modèle préentraîné sur un jeu de données généralement plus restreint et spécialisé, afin de l'adapter à une tâche ou à un domaine particulier. , examples change the model’s parameters, and the changed model is used in every conversation after it. In in-context learning, the examples change one conversation only. In tests by de Wynter (2026), models mostly deduced patterns from regularities in the prompt, and their ability to carry this over to tasks unlike the ones they had seen was limited.

	Fine-tuning	In-context learning
What changes	the parameters	nothing in the model
How long it lasts	every later conversation with that model	this conversation
Who can do it	whoever controls the model	anyone who can type a prompt
What it costs	a training run	room in the context window

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Updated 16 September 2026

S’adapter à ce que contient la requête

Quand vous donnez à un agent conversationnel quelques lignes qui suivent un même schéma et laissez la dernière inachevée, il complète généralement le schéma sans qu’on lui dise quoi faire. Dans la Figure 1figure 1, chaque phrase d’entrée est suivie de la même phrase en majuscules, et Gemini écrit la dernière en majuscules, alors que rien dans la requête ne demande de majuscules.

Le modèle lui-même n’a pas changé pour y parvenir : ses paramètres restent les mêmes pendant l’inférence inferenceinférence machine learningapprentissage automatique The stage in which a trained AI model processes new input to produce a prediction, classification, decision, or generated output.Étape au cours de laquelle un modèle d'IA entraîné traite une nouvelle entrée pour produire une prédiction, une classification, une décision ou une sortie générée. , si bien que seul le texte de sa fenêtre contextuelle context windowfenêtre contextuelle language modelsmodèles de langue "The amount of input (like text) that an AI system can process at one time during a task. Think of it as a model's short-term memory. A model can only consider so much text when generating its next response, and once the conversation exceeds its context window, the model starts 'forgetting' prior responses." (Stanford HAI).Quantité d'entrée (du texte, par exemple) qu'un système d'IA peut traiter à la fois pendant une tâche ; en quelque sorte, la mémoire à court terme du modèle. Un modèle ne peut considérer qu'une quantité limitée de texte pour générer sa prochaine réponse et, quand la conversation dépasse sa fenêtre contextuelle, il commence à « oublier » les réponses antérieures (d'après Stanford HAI, traduction libre). a changé. Cette forme d’adaptation à ce que contient la fenêtre contextuelle s’appelle l’apprentissage en contexte (angl. in-context learning).

Apprentissage en contexte et affinage

Brown et al. (2020) ont décrit GPT-3 comme un modèle qui apprend avec peu d’exemples : un modèle capable d’accomplir une nouvelle tâche après avoir vu quelques exemples dans sa requête. Le mot apprentissage peut toutefois induire en erreur. Pendant l’affinage fine-tuningaffinage machine learningapprentissage automatique Further training of a pretrained model on new data to adapt it for a particular task, domain, or intended behaviour.Poursuite de l'entraînement d'un modèle préentraîné sur un jeu de données généralement plus restreint et spécialisé, afin de l'adapter à une tâche ou à un domaine particulier. , les exemples modifient les paramètres du modèle, et le modèle modifié sert dans toutes les conversations qui suivent. Dans l’apprentissage en contexte, les exemples ne modifient qu’une conversation. Dans les expériences de de Wynter (2026), les modèles déduisaient surtout des schémas à partir de régularités de la requête, et leur capacité à transposer ces schémas à des tâches différentes de celles qu’ils avaient vues était limitée.

	Affinage	Apprentissage en contexte
Ce qui change	les paramètres	rien dans le modèle
Combien de temps cela dure	toutes les conversations suivantes avec ce modèle	cette conversation
Qui peut le faire	qui contrôle le modèle	quiconque peut écrire une requête
Ce que cela coûte	un entraînement	de la place dans la fenêtre contextuelle

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Mise à jour 23 septembre 2026