Instruction tuning: learning from examples · Fine-tuning

Showing the model what a good answer looks like

Instruction tuning is done by giving pairs of examples: instructions and responses. One half is an instruction, the kind of thing a user would actually type, which in this context is called a prompt. The other half is a response worth imitating.

Prompt: Explain photosynthesis to a 10-year-old.

Response: Photosynthesis is how plants make their own food using sunlight. Think of leaves as tiny factories that take in sunlight, water and air…

language modelsmodèles de langue DefinitionDéfinition · supervised fine-tuning (SFT)affinage supervisé · fr: affinage supervisé· en : supervised fine-tuning

Additional training of a pretrained model on labelled examples that pair an input with a desired output, with the model's parameters adjusted to make the desired outputs more likely.Entraînement supplémentaire d'un modèle préentraîné sur des exemples étiquetés associant une entrée à une sortie souhaitée, les paramètres du modèle étant ajustés pour rendre ces sorties plus probables. (Jurafsky & Martin, 2026, pp. 209–211)

NotesRemarques For LLMs, SFT often uses instruction-and-response examples, in which case it is also called instruction tuning. Instruction tuning is a common subtype of SFT, but SFT can also be used for classification, domain adaptation, and other labelled tasks.Pour les GML, il s'appuie souvent sur des exemples d'instructions et de réponses, auquel cas on parle aussi d'affinage par instructions. Ce dernier en est un sous-type courant, mais l'affinage supervisé sert aussi à la classification, à l'adaptation à un domaine et à d'autres tâches étiquetées.

Other attested French terms: affinage par apprentissage supervisé, peaufinage par apprentissage superviséAutres termes français attestés : affinage par apprentissage supervisé, peaufinage par apprentissage supervisé

Training on enough of these teaches a pattern that pretraining rarely presented so consistently: an instruction is followed by a response to it. Thus, the text completion system becomes a question answering system.

language modelsmodèles de langue DefinitionDéfinition · instruction tuningaffinage par instructions · fr: affinage par instructions· en : instruction tuning

A form of supervised fine-tuning in which a pretrained language model is trained further on examples pairing instructions or questions with appropriate responses.Forme d'affinage supervisé dans laquelle un modèle de langue préentraîné est entraîné davantage sur des exemples associant des instructions ou des questions à des réponses appropriées. (Jurafsky & Martin, 2026, p. 210)

NotesRemarques This makes the model better able to follow instructions across a range of tasks, including tasks not represented exactly in the training examples.Le modèle devient ainsi plus apte à suivre des instructions dans un éventail de tâches, y compris des tâches qui ne figurent pas exactement dans les exemples d'entraînement.

Other attested English terms: instruction fine-tuningAutres termes anglais attestés : instruction fine-tuning

Instruction tuning is one kind of supervised fine-tuning, which is itself one kind of fine-tuning. Supervised fine-tuning is also used outside assistants, to adapt a model to a task, such as translating with one organization’s terminology from its translation memory.

Three nested ovals. The outer one is fine-tuning, which also contains preference tuning. Inside it is supervised fine-tuning, which also contains adapting to a task. Inside that is instruction tuning. — Figure 2. How the three names nest.

The term instruction tuning was introduced by Wei et al. (2022), who fine-tuned a pretrained model on more than 60 datasets phrased as instructions and found that it could then follow instructions for tasks it had not seen.

Small data, chosen carefully

Two panels. Pretraining is a block of text lines, labelled trillions of tokens, collected at scale and filtered in bulk, each document counts for little. Instruction tuning is three cards each containing an instruction, labelled far fewer examples, each chosen or written for the purpose. — Figure 3. Where the two kinds of training data come from, and what each is judged on.

Pretraining text was written by people too, but not for this purpose, and it is filtered in bulk. Instruction-tuning examples are chosen or written for the behaviour wanted. For InstructGPT, that meant about 13 000 prompts with answers written by hired labellers (Ouyang et al., 2022). Later sets also reuse questions and answers from community sites (Zhou et al., 2023) and instructions and answers generated by a model, then filtered (Wang et al., 2023).

Quality counts for more than quantity here: a thousand carefully chosen examples can be enough: doubling their number did not improve the answers, and filtering them for quality did (Zhou et al., 2023). The authors take this as a sign that the model learns a manner rather than a subject.

Where the examples are written for the purpose, the work is often paid: Ouyang et al. (2022) recruited and screened about 40 labellers for it.

Not quite the helpful assistant chatbot yet

After this stage the model answers questions and can keep up a conversation. Its finer judgement goes only as far as its examples showed it: how long an answer should be, when to say it is unsure, when a request should be declined. Those qualities are easy to recognize in a response and hard to specify in advance.

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Updated 2 October 2026

Montrer au modèle à quoi ressemble une bonne réponse

L’affinage par instructions se fait en fournissant des paires d’exemples : des instructions et des réponses. Une moitié est une instruction, le genre de chose qu’un utilisateur taperait réellement, ce qu’on appelle dans ce contexte une requête. L’autre moitié est une réponse digne d’être imitée.

Requête : Explique la photosynthèse à un enfant de 10 ans.

Réponse : La photosynthèse, c’est la façon dont les plantes fabriquent leur propre nourriture avec la lumière du soleil. Imagine les feuilles comme de petites usines qui captent la lumière, l’eau et l’air…

language modelsmodèles de langue DefinitionDéfinition · supervised fine-tuning (SFT)affinage supervisé · fr: affinage supervisé· en : supervised fine-tuning

Additional training of a pretrained model on labelled examples that pair an input with a desired output, with the model's parameters adjusted to make the desired outputs more likely.Entraînement supplémentaire d'un modèle préentraîné sur des exemples étiquetés associant une entrée à une sortie souhaitée, les paramètres du modèle étant ajustés pour rendre ces sorties plus probables. (Jurafsky & Martin, 2026, pp. 209–211)

NotesRemarques For LLMs, SFT often uses instruction-and-response examples, in which case it is also called instruction tuning. Instruction tuning is a common subtype of SFT, but SFT can also be used for classification, domain adaptation, and other labelled tasks.Pour les GML, il s'appuie souvent sur des exemples d'instructions et de réponses, auquel cas on parle aussi d'affinage par instructions. Ce dernier en est un sous-type courant, mais l'affinage supervisé sert aussi à la classification, à l'adaptation à un domaine et à d'autres tâches étiquetées.

Other attested French terms: affinage par apprentissage supervisé, peaufinage par apprentissage superviséAutres termes français attestés : affinage par apprentissage supervisé, peaufinage par apprentissage supervisé

S’entraîner sur assez de ces paires enseigne une régularité que le préentraînement présentait rarement de façon aussi constante : une instruction est suivie d’une réponse. Le système qui complète du texte devient ainsi un système qui répond aux questions.

language modelsmodèles de langue DefinitionDéfinition · instruction tuningaffinage par instructions · fr: affinage par instructions· en : instruction tuning

A form of supervised fine-tuning in which a pretrained language model is trained further on examples pairing instructions or questions with appropriate responses.Forme d'affinage supervisé dans laquelle un modèle de langue préentraîné est entraîné davantage sur des exemples associant des instructions ou des questions à des réponses appropriées. (Jurafsky & Martin, 2026, p. 210)

NotesRemarques This makes the model better able to follow instructions across a range of tasks, including tasks not represented exactly in the training examples.Le modèle devient ainsi plus apte à suivre des instructions dans un éventail de tâches, y compris des tâches qui ne figurent pas exactement dans les exemples d'entraînement.

Other attested English terms: instruction fine-tuningAutres termes anglais attestés : instruction fine-tuning

L’affinage par instructions est une sorte d’affinage supervisé, qui est lui-même une sorte d’affinage. L’affinage supervisé sert aussi en dehors des assistants, pour adapter un modèle à une tâche, comme traduire avec la terminologie d’une organisation à partir de sa mémoire de traduction.

Trois ovales emboîtés. Le plus grand est l'affinage, qui contient aussi le réglage des préférences. À l'intérieur se trouve l'affinage supervisé, qui contient aussi l'adaptation à une tâche. À l'intérieur de celui-ci se trouve l'affinage par instructions. — Figure 2. Comment les trois noms s'emboîtent.

Le terme anglais instruction tuning a été introduit par Wei et al. (2022), qui ont affiné un modèle préentraîné sur plus de 60 jeux de données formulés comme des instructions et constaté qu’il pouvait ensuite suivre des instructions pour des tâches qu’il n’avait pas vues.

Peu de données, choisies avec soin

Deux panneaux. Le préentraînement est un bloc de lignes de texte, étiqueté milliers de milliards de jetons, collectés à grande échelle et filtrés en bloc, chaque document compte peu. L'affinage par instructions est trois fiches portant chacune une instruction, étiquetées beaucoup moins d'exemples, chacun choisi ou rédigé exprès. — Figure 3. D'où viennent les deux sortes de données d'entraînement, et sur quoi chacune est jugée.

Le texte du préentraînement a lui aussi été écrit par des personnes, mais pas dans ce but, et il est filtré en bloc. Les exemples de l’affinage par instructions sont choisis ou rédigés selon le comportement recherché. Pour InstructGPT, il s’agissait d’environ 13 000 requêtes accompagnées de réponses rédigées par des étiqueteurs recrutés à cette fin (Ouyang et al., 2022). Les ensembles plus récents reprennent aussi des questions et des réponses de sites communautaires (Zhou et al., 2023) et des instructions et des réponses générées par un modèle, puis filtrées (Wang et al., 2023).

Ici, la qualité compte plus que la quantité : un millier d’exemples soigneusement choisis peut suffire. En doubler le nombre n’a pas amélioré les réponses, alors que les filtrer selon leur qualité les a améliorées (Zhou et al., 2023). Les auteurs y voient le signe que le modèle apprend une manière plutôt qu’un sujet.

Là où les exemples sont rédigés exprès, le travail est souvent rémunéré : Ouyang et coll. (2022) ont recruté et sélectionné une quarantaine d’étiqueteurs pour cette tâche.

Pas encore tout à fait l’agent conversationnel serviable

Après cette étape, le modèle répond aux questions et peut soutenir une conversation. Son jugement plus fin ne va pas plus loin que ce que ses exemples lui ont montré : quelle longueur donner à une réponse, quand dire qu’il n’est pas sûr, quand une demande devrait être refusée. Ces qualités sont faciles à reconnaître dans une réponse et difficiles à préciser d’avance.

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Mise à jour 1er octobre 2026

Sources

Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C., Mishkin, P., et al. (2022). Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems 35 (NeurIPS 2022). https://proceedings.neurips.cc/paper_files/paper/2022/hash/b1efde53be364a73914f58805a001731-Abstract-Conference.html
Wang, Y., Kordi, Y., Mishra, S., Liu, A., Smith, N. A., Khashabi, D., & Hajishirzi, H. (2023). Self-Instruct: Aligning Language Models with Self-Generated Instructions. Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 13484–13508. https://aclanthology.org/2023.acl-long.754/
Wei, J., Bosma, M., Zhao, V. Y., Guu, K., Yu, A. W., Lester, B., Du, N., Dai, A. M., & Le, Q. V. (2022). Finetuned Language Models Are Zero-Shot Learners. International Conference on Learning Representations (ICLR 2022). https://openreview.net/forum?id=gEZrGCozdqR
Zhou, C., Liu, P., Xu, P., Iyer, S., Sun, J., Mao, Y., et al. (2023). LIMA: Less Is More for Alignment. Advances in Neural Information Processing Systems 36 (NeurIPS 2023). https://openreview.net/forum?id=KBMOKmX2he

Sources

Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C., Mishkin, P., et al. (2022). Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems 35 (NeurIPS 2022). https://proceedings.neurips.cc/paper_files/paper/2022/hash/b1efde53be364a73914f58805a001731-Abstract-Conference.html
Wang, Y., Kordi, Y., Mishra, S., Liu, A., Smith, N. A., Khashabi, D., & Hajishirzi, H. (2023). Self-Instruct: Aligning Language Models with Self-Generated Instructions. Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 13484–13508. https://aclanthology.org/2023.acl-long.754/
Wei, J., Bosma, M., Zhao, V. Y., Guu, K., Yu, A. W., Lester, B., Du, N., Dai, A. M., & Le, Q. V. (2022). Finetuned Language Models Are Zero-Shot Learners. International Conference on Learning Representations (ICLR 2022). https://openreview.net/forum?id=gEZrGCozdqR
Zhou, C., Liu, P., Xu, P., Iyer, S., Sun, J., Mao, Y., et al. (2023). LIMA: Less Is More for Alignment. Advances in Neural Information Processing Systems 36 (NeurIPS 2023). https://openreview.net/forum?id=KBMOKmX2he

Instruction tuning: learning from examplesL'affinage par instructions : apprendre à partir d'exemples

Showing the model what a good answer looks like

Small data, chosen carefully

Not quite the helpful assistant chatbot yet

Montrer au modèle à quoi ressemble une bonne réponse

Peu de données, choisies avec soin

Pas encore tout à fait l’agent conversationnel serviable

Sources

Sources

Spotted an error? Une erreur ?

Instruction tuning: learning from examplesL'affinage par instructions : apprendre à partir d'exemples

Showing the model what a good answer looks like

Small data, chosen carefully

Not quite the helpful assistant chatbot yet

Montrer au modèle à quoi ressemble une bonne réponse

Peu de données, choisies avec soin

Pas encore tout à fait l’agent conversationnel serviable

Sources

Sources

Instruction tuning: learning from examplesL'affinage par instructions : apprendre à partir d'exemples