Using a pretrained modelUtiliser un modèle préentraîné

TRA6008 S2 · in classS2 · en classe

What pretraining leaves you with

Pretraining leaves you with a model that turns any sentence into contextual embeddings contextual embeddingplongement contextuel embeddingsplongements A numerical representation generated for a particular occurrence of a token by taking account of the other tokens available to the model.Représentation numérique générée pour une occurrence particulière d'un jeton en tenant compte des autres jetons accessibles au modèle. . It knows a great deal about the language it read and nothing about any particular task, which makes it worth keeping: one expensive training run, then many uses.

Two ways to use it

Its embeddings can be taken as they are and fed into a model of your own, which is how ELMo was used. Or the whole model can be kept and fine-tuned: a small output layer is added and trained on labelled examples for one task, so that what the model learned about language carries over to it (Devlin et al., 2019) (see also the Fine-tuning chapter, in the LLM lifecycle module) (voir aussi le chapitre Affinage, dans le module Cycle de vie des GML). Sentiment analysis, named-entity recognition and question answering were all built that way, and the task-specific training is small beside the pretraining.

That recipe still applies to a model like BERT. For large generative models, much of what once took a fine-tuned model of its own is now done by putting examples in the prompt promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. instead (Brown et al., 2020) (see also the In-context learning chapter, in the LLM lifecycle module) (voir aussi le chapitre Apprentissage en contexte, dans le module Cycle de vie des GML).

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Updated 9 September 2026

Ce que laisse le préentraînement

Le préentraînement pre-trainingpréentraînement language modelsmodèles de langue An initial stage in which a model learns general patterns and reusable representations from a large dataset, often through self-supervised learning, before any later adaptation for particular tasks or uses.Étape initiale au cours de laquelle un modèle apprend des régularités générales et des représentations réutilisables à partir d'un grand jeu de données, souvent par apprentissage autosupervisé, avant toute adaptation ultérieure à des tâches ou à des usages particuliers. laisse un modèle qui transforme n’importe quelle phrase en plongements contextuels contextual embeddingplongement contextuel embeddingsplongements A numerical representation generated for a particular occurrence of a token by taking account of the other tokens available to the model.Représentation numérique générée pour une occurrence particulière d'un jeton en tenant compte des autres jetons accessibles au modèle. . Il en sait beaucoup sur la langue qu’il a lue et rien sur une tâche particulière, ce qui le rend précieux : un entraînement coûteux, puis de nombreux usages.

Deux façons de s’en servir

Ses plongements peuvent être pris tels quels et fournis à un modèle à vous, comme ELMo était utilisé. Ou le modèle entier peut être conservé et affiné (fine-tuning, aussi appelé réglage fin) : on y ajoute une petite couche de sortie, entraînée sur des exemples annotés pour une seule tâche, de sorte que ce que le modèle a appris de la langue lui profite (Devlin et al., 2019) (see also the Fine-tuning chapter, in the LLM lifecycle module) (voir aussi le chapitre Affinage, dans le module Cycle de vie des GML). L’analyse de sentiments, la reconnaissance d’entités nommées named entity recognition (NER)reconnaissance d'entités nommées (REN) NLPTAL The task of finding the spans of a text that are proper names, and labelling the category, most often a person, a location or an organization.Tâche qui consiste à repérer dans un texte les segments qui sont des noms propres, et à en étiqueter la catégorie, le plus souvent une personne, un lieu ou une organisation. et la réponse aux questions ont toutes été construites ainsi, et l’entraînement propre à la tâche est petit à côté du préentraînement.

Cette recette s’applique toujours à un modèle comme BERT. Pour les grands modèles génératifs, une bonne part de ce qui demandait autrefois un modèle affiné à part se fait maintenant en mettant des exemples dans la requête promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. (Brown et al., 2020) (see also the In-context learning chapter, in the LLM lifecycle module) (voir aussi le chapitre Apprentissage en contexte, dans le module Cycle de vie des GML).

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Mise à jour 10 septembre 2026