LLM lifecycleCycle de vie des GML

From next-word prediction through data, pretraining, fine-tuning and alignment, to inference and in-context learning.De la prédiction du mot suivant aux données, à l'entraînement et à l'alignement, jusqu'à l'inférence et à l'apprentissage en contexte.

What to expectÀ quoi s'attendre

This module explains how a large language model (LLM) is made and what happens when you use one: which data it is trained on, what each step of training aims for, and why its answers vary. Knowing how a model was created gives you a better idea of how it works, and so of how to use it.Ce module explique comment un grand modèle de langue (GML) est créé et ce qui se passe quand vous l'utilisez : sur quelles données il est entraîné, ce que vise chaque étape de l'entraînement et pourquoi ses réponses varient. Savoir comment un modèle a été créé donne une meilleure idée de son fonctionnement, et donc de la manière de l'utiliser.

PrerequisitesPréalables

The language as numbers module, in particular its chapters on tokenization and attention. The foundations module's chapter on supervised learning helps with the chapters on training. No mathematics is needed.Le module sur le langage en nombres, en particulier ses chapitres sur la jetonisation et sur l'attention. Le chapitre sur l'apprentissage supervisé du module sur les fondements aide à comprendre les chapitres sur l'entraînement. Aucune mathématique n'est nécessaire.

→Foundations of AI & NLPFondements de l'IA et du TAL→Language as numbersLe langage en nombres

StructureStructure

The first chapter explains what exactly is meant when people say LLMs are "(just) next-word predictors". The next four chapters follow how an LLM is trained: the data it learns from, pretraining, the fine-tuning that turns it into an assistant, and the alignment that shapes how that assistant behaves. The last two show what happens when you use a model: how it produces its answers, and how instructions and examples in your prompt change what it does.Le premier chapitre explique ce qu'on veut dire exactement quand on affirme que les GML ne sont « que des prédicteurs du mot suivant ». Les quatre chapitres suivants montrent comment un GML est entraîné : les données dont il apprend, le préentraînement, l'affinage qui en fait un assistant, et l'alignement qui façonne le comportement de cet assistant. Les deux derniers montrent ce qui se passe quand vous utilisez un modèle : comment il produit ses réponses, et comment les instructions et les exemples de votre requête changent ce qu'il fait.

Print / PDFImprimer / PDF

Concepts in this moduleLes concepts de ce moduleaccuracyexactitude accuracyexactitude evaluationévaluation The share of all decisions of a system that are correct, true positives and true negatives together.Part de toutes les décisions d'un système qui sont correctes, vrais positifs et vrais négatifs ensemble. · alignment taxtaxe d'alignement alignment taxtaxe d'alignement AI safetysécurité de l'IA The loss of ability on some tasks that can come with training a language model to behave as intended, seen as lower scores after alignment training on tests the model handled before it.Perte de capacité sur certaines tâches qui peut accompagner l'entraînement d'un modèle de langue à se comporter comme prévu, visible sous forme de scores plus faibles, après l'entraînement d'alignement, à des tests que le modèle réussissait auparavant. · alignment¹alignement de l'IA alignment¹alignement de l'IA AIIA The process and goal of ensuring AI systems behave according to human values and intentions.Processus et objectif consistant à faire en sorte que les systèmes d'IA se comportent conformément aux valeurs et aux intentions humaines. · annotationannotation data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. · application programming interfaceinterface de programmation d'application application programming interface (API)interface de programmation d'application (API) computinginformatique A standardized interface that allows software applications to communicate by sending requests and receiving responses, without needing to know how the other application works internally.Interface normalisée qui permet à des applications logicielles de communiquer en envoyant des demandes et en recevant des réponses, sans avoir à connaître le fonctionnement interne de l'autre application. · ASCIIcode ASCII ASCIIcode ASCII text encodingencodage du texte A 7-bit coded character set of 128 characters for information interchange, standardized as ANSI X3.4 and adopted as the US national variant of ISO/IEC 646. It contains the unaccented letters of the English alphabet, the digits, common punctuation and a set of control codes, and no accented letter. The first 128 characters of Unicode are the ASCII ones, in the same order, which is why UTF-8 stores them in a single byte.Jeu de caractères codés sur sept bits comptant 128 caractères, destiné à l'échange d'information, normalisé sous le nom ANSI X3.4 et repris comme variante nationale américaine de la norme ISO/IEC 646. Il contient les lettres non accentuées de l'alphabet anglais, les chiffres, la ponctuation courante et un ensemble de codes de commande, et aucune lettre accentuée. Les 128 premiers caractères d'Unicode sont ceux d'ASCII, dans le même ordre, ce qui explique qu'UTF-8 les stocke sur un seul octet. · attention mechanismmécanisme d'attention attention mechanismmécanisme d'attention deep learningapprentissage profond A "method in neural networks that helps a model focus on the most relevant parts of the input when producing an output. For example, when translating a sentence, it 'pays attention' to the words that matter most for the next translated word, which improves accuracy and handling of long sequences." (Stanford HAI).Méthode utilisée dans les réseaux de neurones pour aider un modèle à se concentrer sur les parties les plus pertinentes de l'entrée au moment de produire une sortie. Par exemple, lors de la traduction d'une phrase, le modèle « prête attention » aux mots qui comptent le plus pour le prochain mot traduit, ce qui améliore la précision et le traitement des longues séquences (d'après Stanford HAI, traduction libre). · autoregressive generationgénération autorégressive autoregressive generationgénération autorégressive language modelsmodèles de langue A method of generating a sequence, such as text, one token at a time.Méthode de génération d'une séquence, comme un texte, un jeton à la fois. · base modelmodèle de base base modelmodèle de base language modelsmodèles de langue A language model that has completed pretraining but has not yet undergone post-training.Modèle de langue qui a terminé son préentraînement mais n'a pas encore reçu de postentraînement. · chain-of-thoughtchaîne de résolution chain-of-thought (CoT)chaîne de résolution promptingrequêtes A sequence of intermediate, reasoning-like steps generated by a language model as it works toward an answer.Séquence d'étapes intermédiaires, semblables à un raisonnement, générée par un modèle de langue pendant qu'il progresse vers une réponse. · Common CrawlCommon Crawl Common CrawlCommon Crawl datadonnées A nonprofit organization that regularly collects publicly accessible web data and makes the resulting archives and datasets freely available.Organisme sans but lucratif qui recueille régulièrement des données Web accessibles au public et rend librement disponibles les archives et jeux de données qui en résultent. · context windowfenêtre contextuelle context windowfenêtre contextuelle language modelsmodèles de langue "The amount of input (like text) that an AI system can process at one time during a task. Think of it as a model's short-term memory. A model can only consider so much text when generating its next response, and once the conversation exceeds its context window, the model starts 'forgetting' prior responses." (Stanford HAI).Quantité d'entrée (du texte, par exemple) qu'un système d'IA peut traiter à la fois pendant une tâche ; en quelque sorte, la mémoire à court terme du modèle. Un modèle ne peut considérer qu'une quantité limitée de texte pour générer sa prochaine réponse et, quand la conversation dépasse sa fenêtre contextuelle, il commence à « oublier » les réponses antérieures (d'après Stanford HAI, traduction libre). · custom instructionsinstructions personnalisées custom instructionsinstructions personnalisées promptingrequêtes User-provided preferences, background information, or requirements that an AI assistant stores and applies automatically across conversations, so that they do not need to be repeated in every prompt.Préférences, informations contextuelles ou exigences fournies par l'utilisateur, qu'un assistant d'IA enregistre et applique automatiquement d'une conversation à l'autre, sans qu'il faille les répéter dans chaque requête. · decodingdécodage decodingdécodage language modelsmodèles de langue The process used during text generation to turn a language model's predicted probabilities into an actual sequence of output tokens.Processus qui, pendant la génération de texte, transforme les probabilités prédites par un modèle de langue en une séquence réelle de jetons de sortie. · deploymentdéploiement deploymentdéploiement computinginformatique Putting a system into operation where it will be used: installing it with what it needs to run and making it available to its users. For an AI system, it means making a trained model available to people, for instance behind an application or a chat interface.Mise en service d'un système là où il sera utilisé : son installation, avec ce dont il a besoin pour fonctionner, et sa mise à la disposition de ses utilisateurs. Pour un système d'IA, il s'agit de rendre un modèle entraîné accessible aux personnes, par exemple derrière une application ou une interface conversationnelle. · deterministicdéterministe deterministicdéterministe computinginformatique Describes a process, algorithm, or system that, under the same initial conditions and with the same input, always produces the same output.Se dit d'un processus, d'un algorithme ou d'un système qui, dans les mêmes conditions initiales et avec la même entrée, produit toujours la même sortie. · direct preference optimizationoptimisation directe des préférences direct preference optimization (DPO)optimisation directe des préférences (DPO) language modelsmodèles de langue A preference-tuning method that trains a language model directly from pairs of preferred and rejected responses.Méthode de réglage des préférences qui entraîne un modèle de langue directement à partir de paires de réponses préférées et rejetées. · few-shot promptingformulation de requête avec quelques exemples few-shot promptingformulation de requête avec quelques exemples promptingrequêtes A prompting technique in which a small number of demonstrations, typically examples pairing an input with its desired output, are included in the prompt to show a language model how to perform a task.Technique de formulation de requêtes consistant à inclure dans la requête un petit nombre de démonstrations, typiquement des exemples associant une entrée à la sortie souhaitée, pour montrer à un modèle de langue comment accomplir une tâche. · fine-tuningaffinage fine-tuningaffinage machine learningapprentissage automatique Further training of a pretrained model on new data to adapt it for a particular task, domain, or intended behaviour.Poursuite de l'entraînement d'un modèle préentraîné sur un jeu de données généralement plus restreint et spécialisé, afin de l'adapter à une tâche ou à un domaine particulier. · foundation modelmodèle de fondation foundation modelmodèle de fondation machine learningapprentissage automatique A pre-trained model that serves as the starting point for multiple downstream applications.Modèle préentraîné servant de point de départ à de multiples applications en aval. Le terme met l'accent sur l'approche « entraîner une fois, adapter plusieurs fois » du développement de l'IA. · graphics processing unitprocesseur graphique graphics processing unit (GPU)processeur graphique (GPU) computinginformatique A processor with a large number of cores that work in parallel, designed to render images, and now the standard hardware for training and running neural networks.Processeur doté d'un grand nombre de cœurs fonctionnant en parallèle, conçu pour produire des images, et devenu le matériel de référence pour entraîner et faire fonctionner des réseaux de neurones. · greedy decodingdécodage glouton greedy decodingdécodage glouton language modelsmodèles de langue A decoding method that selects the single most probable next token at every generation step. The selected token is added to the sequence, and the procedure repeats until generation stops.Méthode de décodage qui retient, à chaque étape de génération, l'unique jeton le plus probable. · ground truthréalité de terrain ground truthréalité de terrain evaluationévaluation The values, labels or observations treated as the correct description of the cases in a dataset.Valeurs, étiquettes ou observations tenues pour la description correcte des cas d'un jeu de données. · harnessappareillage harnessappareillage agentsagents The software around a language model that turns it into a working system. It determines what the model receives and which tools it may use, carries out the actions the model requests, and passes the results back to it.Logiciel qui entoure un modèle de langue et en fait un système opérationnel. Il détermine ce que le modèle reçoit et quels outils il peut utiliser, exécute les actions que le modèle demande et lui transmet les résultats. · in-context learningapprentissage en contexte in-context learning (ICL)apprentissage en contexte promptingrequêtes The temporary adaptation of a language model's behaviour to information, instructions, or examples provided in its current prompt or context, without changing the model's parameters.Adaptation temporaire du comportement d'un modèle de langue à des informations, à des instructions ou à des exemples fournis dans sa requête ou son contexte courant, sans modification de ses paramètres. · inferenceinférence inferenceinférence machine learningapprentissage automatique The stage in which a trained AI model processes new input to produce a prediction, classification, decision, or generated output.Étape au cours de laquelle un modèle d'IA entraîné traite une nouvelle entrée pour produire une prédiction, une classification, une décision ou une sortie générée. · instruction tuningaffinage par instructions instruction tuningaffinage par instructions language modelsmodèles de langue A form of supervised fine-tuning in which a pretrained language model is trained further on examples pairing instructions or questions with appropriate responses.Forme d'affinage supervisé dans laquelle un modèle de langue préentraîné est entraîné davantage sur des exemples associant des instructions ou des questions à des réponses appropriées. · jailbreakingdébridage jailbreakingdébridage AI safetysécurité de l'IA The deliberate use of specially crafted prompts or interaction strategies to make an AI model bypass restrictions on its outputs or behaviour, such as its refusal to provide prohibited content or sensitive information.Utilisation délibérée de requêtes spécialement conçues ou de stratégies d'interaction pour amener un modèle d'IA à contourner les restrictions sur ses sorties ou son comportement, comme son refus de fournir du contenu interdit ou des renseignements sensibles. · knowledge cutoffdate de coupure des connaissances knowledge cutoffdate de coupure des connaissances language modelsmodèles de langue The point in time up to which the text a model was trained on was gathered, and after which nothing reached it during training.Moment jusqu'auquel le texte ayant servi à entraîner un modèle a été rassemblé, et après lequel plus rien ne lui est parvenu pendant l'entraînement. · language modelmodèle de langue language model (LM)modèle de langue language modelsmodèles de langue A machine-learning model that estimates how likely different sequences of language are.Modèle d'apprentissage automatique qui estime la probabilité de différentes séquences de langue. · large language modelgrand modèle de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. · lossy compressioncompression avec perte lossy compressioncompression avec perte computinginformatique A method of reducing the amount of data needed to represent information by discarding some information, so that the original cannot be reconstructed exactly.Méthode de réduction de la quantité de données nécessaire pour représenter une information, qui en écarte une partie, de sorte que l'original ne peut pas être reconstruit exactement. · model collapseeffondrement du modèle model collapseeffondrement du modèle language modelsmodèles de langue A degenerative process in which successive generations of a generative model become less faithful to the original data because they are trained recursively on data produced by earlier models.Processus dégénératif par lequel les générations successives d'un modèle génératif deviennent moins fidèles aux données d'origine parce qu'elles sont entraînées de façon récursive sur des données produites par des modèles antérieurs. · model specificationspécification de modèle model specificationspécification de modèle AIIA A detailed document in which a developer of AI models sets out how its models should behave, as behavioural guidelines and ethical principles for their responses.Document détaillé dans lequel un développeur de modèles d'IA décrit comment ses modèles doivent se comporter, sous forme de lignes directrices de comportement et de principes éthiques pour leurs réponses. · Move 37coup 37 Move 37coup 37 AIIA The 37th move played by the Go program AlphaGo in the second game of its 2016 match against Lee Sedol, one of the strongest players in the world: a move so far outside human playing convention that one of the match's two commentators first took it for a mistake, and that proved central to winning the game.Le 37e coup joué par le programme de go AlphaGo dans la deuxième partie de son match de 2016 contre Lee Sedol, l'un des plus forts joueurs du monde : un coup si éloigné des conventions humaines que l'un des deux commentateurs du match l'a d'abord pris pour une erreur, et qui s'est révélé décisif dans la victoire. · multimodal modelmodèle multimodal multimodal modelmodèle multimodal AIIA An AI model that processes and relates information from two or more data modalities, such as text, images, audio, video, or sensor data.Modèle d'IA qui traite et met en relation l'information de deux modalités de données ou plus, comme le texte, les images, l'audio, la vidéo ou les données de capteurs. · natural language processingtraitement automatique de la langue natural language processing (NLP)traitement automatique de la langue (TAL) NLPTAL An interdisciplinary field that develops and studies computational methods for analyzing, processing, and generating human language.Domaine interdisciplinaire qui développe et étudie des méthodes computationnelles pour analyser, traiter et générer le langage humain. · neural networkréseau de neurones neural network (NN)réseau de neurones (RNA) machine learningapprentissage automatique A machine-learning model composed of interconnected layers of small computational units.Modèle d'apprentissage automatique composé de couches interconnectées de petites unités de calcul. · next-token predictionprédiction du jeton suivant next-token predictionprédiction du jeton suivant language modelsmodèles de langue The task of estimating the probabilities of the tokens that could follow a given sequence of tokens.Tâche consistant à estimer les probabilités des jetons qui pourraient suivre une séquence de jetons donnée. · next-word predictionprédiction du mot suivant next-token predictionprédiction du jeton suivant language modelsmodèles de langue The task of estimating the probabilities of the tokens that could follow a given sequence of tokens.Tâche consistant à estimer les probabilités des jetons qui pourraient suivre une séquence de jetons donnée. · open-weight modelmodèle à poids ouverts open-weight modelmodèle à poids ouverts AIIA An AI model whose trained parameters, commonly called weights, are made available for others to download.Modèle d'IA dont les paramètres entraînés, appelés poids, sont offerts au téléchargement. · parameterparamètre de modèle parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. · persistent memorymémoire persistante persistent memorymémoire persistante promptingrequêtes An AI assistant's ability to retain information from earlier interactions and retrieve relevant information in later conversations, allowing it to maintain continuity and personalize its responses across sessions.Capacité d'un assistant d'IA à retenir de l'information d'interactions antérieures et à en récupérer les éléments pertinents dans des conversations ultérieures, ce qui lui permet d'assurer une continuité et de personnaliser ses réponses d'une session à l'autre. · personally identifiable informationrenseignements personnels personally identifiable information (PII)renseignements personnels datadonnées Information that can identify, distinguish, or trace a person, either on its own or when combined with other information that can be linked to that person.Information qui permet d'identifier, de distinguer ou de retracer une personne, seule ou combinée à d'autres informations pouvant lui être reliées. · post-trainingpostentraînement post-trainingpostentraînement language modelsmodèles de langue Additional training applied to a pretrained model to adapt its capabilities or behaviour for intended uses.Entraînement supplémentaire appliqué à un modèle préentraîné pour adapter ses capacités ou son comportement aux usages visés. · pre-trainingpréentraînement pre-trainingpréentraînement language modelsmodèles de langue An initial stage in which a model learns general patterns and reusable representations from a large dataset, often through self-supervised learning, before any later adaptation for particular tasks or uses.Étape initiale au cours de laquelle un modèle apprend des régularités générales et des représentations réutilisables à partir d'un grand jeu de données, souvent par apprentissage autosupervisé, avant toute adaptation ultérieure à des tâches ou à des usages particuliers. · preference tuningréglage des préférences preference tuningréglage des préférences language modelsmodèles de langue A form of fine-tuning, applied in post-training, that adjusts a language model so that it becomes more likely to produce responses judged preferable and less likely to produce responses judged undesirable.Forme d'affinage, appliquée au postentraînement, qui ajuste un modèle de langue pour qu'il produise plus volontiers des réponses jugées préférables et moins volontiers des réponses jugées indésirables. · probability distributiondistribution de probabilité probability distributiondistribution de probabilité machine learningapprentissage automatique A description of how probability is allocated among the possible values of a random variable.Description de la répartition de la probabilité entre les valeurs possibles d'une variable aléatoire. · promptrequête promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. · prompt injectioninfiltration de requête prompt injectioninfiltration de requête AI safetysécurité de l'IA An attack in which untrusted input is incorporated into a prompt and interpreted by a generative AI system as instructions, causing the system to disregard or conflict with its intended instructions or to produce unintended outputs or actions.Attaque dans laquelle une entrée non fiable est incorporée à une requête et interprétée par un système d'IA générative comme des instructions, amenant le système à ignorer ou à contredire ses instructions prévues, ou à produire des sorties ou des actions non voulues. · reasoning modelmodèle de raisonnement reasoning modelmodèle de raisonnement language modelsmodèles de langue A language model designed to improve its performance on complex, multi-step problems by using additional computation during inference.Modèle de langue conçu pour améliorer sa performance sur des problèmes complexes en plusieurs étapes en recourant à un surcroît de calcul pendant l'inférence. · red-teamingapproche par l'équipe rouge red-teamingapproche par l'équipe rouge AI safetysécurité de l'IA A structured testing process in which testers adopt an adversarial perspective and deliberately try to expose vulnerabilities, harmful or unexpected behaviour, and possible ways of misusing an AI model or system.Processus d'essai structuré dans lequel les testeurs adoptent une perspective antagoniste et tentent délibérément de mettre au jour des vulnérabilités, des comportements nuisibles ou inattendus et des façons possibles de détourner un modèle ou un système d'IA. · reinforcement learningapprentissage par renforcement reinforcement learning (RL)apprentissage par renforcement (AR) machine learningapprentissage automatique A type of machine learning in which an agent learns how to act by receiving rewards or penalties in response to its actions, with the aim of maximizing its overall reward.Type d'apprentissage automatique dans lequel un agent apprend à agir en recevant des récompenses ou des pénalités en réponse à ses actions, avec l'objectif de maximiser sa récompense globale. · reinforcement learning from human feedbackapprentissage par renforcement avec rétroaction humaine reinforcement learning from human feedback (RLHF)apprentissage par renforcement avec rétroaction humaine (ARRH) language modelsmodèles de langue A method for post-training a language model in which human evaluations of possible responses are used to create a reward signal, often by training a separate reward model.Méthode de postentraînement d'un modèle de langue dans laquelle des évaluations humaines de réponses possibles servent à créer un signal de récompense, souvent en entraînant un modèle de récompense distinct. · reinforcement learning with verifiable rewardsapprentissage par renforcement vérifiable reinforcement learning with verifiable rewards (RLVR)apprentissage par renforcement vérifiable (ARV) language modelsmodèles de langue A method for post-training a language model in which rewards are based on whether its responses satisfy criteria that can be checked automatically.Méthode de postentraînement d'un modèle de langue dans laquelle les récompenses dépendent du respect, par ses réponses, de critères vérifiables automatiquement. · reward modelmodèle de récompense reward modelmodèle de récompense language modelsmodèles de langue A model trained to assign a numerical score to a candidate output, usually by learning from human judgements of which outputs are better.Modèle entraîné à attribuer une note numérique à une sortie candidate, généralement à partir de jugements humains indiquant quelles sorties sont meilleures. · samplingéchantillonnage samplingéchantillonnage language modelsmodèles de langue A decoding method that uses an element of randomness to select the next token generated by a language model.Méthode de décodage qui introduit une part de hasard dans le choix du prochain jeton généré par un modèle de langue. · self-supervised learningapprentissage autosupervisé self-supervised learningapprentissage autosupervisé machine learningapprentissage automatique A machine-learning approach in which the targets used for training are created automatically from the structure or content of the training data, rather than being supplied as separate human-written labels.Approche d'apprentissage automatique dans laquelle les cibles servant à l'entraînement sont créées automatiquement à partir de la structure ou du contenu des données, plutôt que fournies sous forme d'étiquettes rédigées par des humains. · shared tasktâche partagée shared tasktâche partagée evaluationévaluation A public evaluation exercise in which every participating team is given the same task, the same data and the same scoring, so that their systems can be compared directly.Exercice d'évaluation public où toutes les équipes participantes reçoivent la même tâche, les mêmes données et la même notation, de sorte que leurs systèmes se comparent directement. · supervised (machine) learningapprentissage supervisé supervised (machine) learningapprentissage supervisé machine learningapprentissage automatique A form of machine learning in which a model learns from labelled examples.Forme d'apprentissage automatique dans laquelle un modèle apprend à partir d'exemples étiquetés. · supervised fine-tuningaffinage supervisé supervised fine-tuning (SFT)affinage supervisé language modelsmodèles de langue Additional training of a pretrained model on labelled examples that pair an input with a desired output, with the model's parameters adjusted to make the desired outputs more likely.Entraînement supplémentaire d'un modèle préentraîné sur des exemples étiquetés associant une entrée à une sortie souhaitée, les paramètres du modèle étant ajustés pour rendre ces sorties plus probables. · sycophancycomplaisance de l'IA sycophancycomplaisance de l'IA AI safetysécurité de l'IA The tendency of a language model trained on human preferences to agree with the user, revise a correct answer under challenge, or flatter, partly because agreement was rated well during training.Tendance d'un modèle de langue entraîné sur des préférences humaines à abonder dans le sens de l'utilisateur, à revenir sur une réponse correcte quand on la conteste ou à flatter, en partie parce que l'accord a été bien noté pendant l'entraînement. · system promptrequête générative système system promptrequête générative système promptingrequêtes An instruction supplied to a language model before or alongside the user's input that establishes the model's role, task, behavioural rules, tone, or other context for the interaction.Instruction fournie à un modèle de langue avant l'entrée de l'utilisateur, ou en parallèle, qui établit le rôle du modèle, sa tâche, ses règles de conduite, son ton ou d'autres éléments de contexte pour l'interaction. · temperaturetempérature temperaturetempérature language modelsmodèles de langue A setting that influences how predictable or varied a language model's output will be.Réglage qui influence le caractère prévisible ou varié de la sortie d'un modèle de langue. · tokenizersegmenteur tokenization²jetonisation² language modelsmodèles de langue The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. · top-k samplingéchantillonnage top-k top-k samplingéchantillonnage top-k language modelsmodèles de langue A sampling method that, at each generation step, retains only the k tokens with the highest probabilities, renormalizes their probabilities and randomly selects the next token from that group. A smaller value of k restricts the choice more strongly, while a larger value permits greater variety.Méthode d'échantillonnage qui, à chaque étape de génération, ne conserve que les k jetons les plus probables, renormalise leurs probabilités et choisit le jeton suivant au hasard dans ce groupe. · top-p samplingéchantillonnage à troncature de masse p top-p samplingéchantillonnage à troncature de masse p language modelsmodèles de langue A method for choosing the next token in generated text.Méthode de choix du jeton suivant dans un texte généré. · training corpusbase d'apprentissage training corpusbase d'apprentissage datadonnées A collection of text or other language data used to estimate or update a model's parameters during training or pretraining.Collection de textes ou d'autres données langagières servant à estimer ou à mettre à jour les paramètres d'un modèle pendant l'entraînement ou le préentraînement. · transformertransformeur transformertransformeur deep learningapprentissage profond A neural-network architecture for processing sequences, such as text.Architecture de réseau de neurones pour le traitement des séquences, comme le texte. · translation memorymémoire de traduction translation memory (TM)mémoire de traduction (MT) CAT toolsTAO A bilingual database of previously translated source segments and their corresponding target segments, which a translation-memory system searches to propose exact or similar matches for new source text.Base de données bilingue de segments source déjà traduits et de leurs segments cibles correspondants, dans laquelle un système de mémoire de traduction cherche des correspondances exactes ou similaires pour un nouveau texte source. · unsupervised learningapprentissage non supervisé unsupervised learningapprentissage non supervisé machine learningapprentissage automatique A machine-learning approach that seeks patterns or structure in data without being given a target label or expected output for each training example.Approche d'apprentissage automatique qui cherche des régularités ou des structures dans les données sans recevoir d'étiquette cible ni de sortie attendue pour chaque exemple d'entraînement. · web crawlingexploration du Web web crawlingexploration du Web datadonnées The automated process of systematically discovering and retrieving pages or other resources from the Web.Processus automatisé de découverte et de récupération systématiques de pages ou d'autres ressources du Web. · word embeddingplongement lexical word embeddingplongement lexical embeddingsplongements A learned numerical representation of a word as a short, dense vector, meaning a list of numbers.Représentation numérique apprise d'un mot sous la forme d'un vecteur dense et court, c'est-à-dire une liste de nombres. · zero-shot promptingformulation de requête sans exemple zero-shot promptingformulation de requête sans exemple promptingrequêtes Asking a (large language) model to perform a task through instructions without including worked examples or demonstrations in the prompt.Fait de demander à un (grand) modèle de langue d'accomplir une tâche au moyen d'instructions, sans inclure d'exemples travaillés ni de démonstrations dans la requête. fine-tuningaffinage fine-tuningaffinage machine learningapprentissage automatique Further training of a pretrained model on new data to adapt it for a particular task, domain, or intended behaviour.Poursuite de l'entraînement d'un modèle préentraîné sur un jeu de données généralement plus restreint et spécialisé, afin de l'adapter à une tâche ou à un domaine particulier. · instruction tuningaffinage par instructions instruction tuningaffinage par instructions language modelsmodèles de langue A form of supervised fine-tuning in which a pretrained language model is trained further on examples pairing instructions or questions with appropriate responses.Forme d'affinage supervisé dans laquelle un modèle de langue préentraîné est entraîné davantage sur des exemples associant des instructions ou des questions à des réponses appropriées. · supervised fine-tuningaffinage supervisé supervised fine-tuning (SFT)affinage supervisé language modelsmodèles de langue Additional training of a pretrained model on labelled examples that pair an input with a desired output, with the model's parameters adjusted to make the desired outputs more likely.Entraînement supplémentaire d'un modèle préentraîné sur des exemples étiquetés associant une entrée à une sortie souhaitée, les paramètres du modèle étant ajustés pour rendre ces sorties plus probables. · alignment¹alignement de l'IA alignment¹alignement de l'IA AIIA The process and goal of ensuring AI systems behave according to human values and intentions.Processus et objectif consistant à faire en sorte que les systèmes d'IA se comportent conformément aux valeurs et aux intentions humaines. · annotationannotation data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. · harnessappareillage harnessappareillage agentsagents The software around a language model that turns it into a working system. It determines what the model receives and which tools it may use, carries out the actions the model requests, and passes the results back to it.Logiciel qui entoure un modèle de langue et en fait un système opérationnel. Il détermine ce que le modèle reçoit et quels outils il peut utiliser, exécute les actions que le modèle demande et lui transmet les résultats. · self-supervised learningapprentissage autosupervisé self-supervised learningapprentissage autosupervisé machine learningapprentissage automatique A machine-learning approach in which the targets used for training are created automatically from the structure or content of the training data, rather than being supplied as separate human-written labels.Approche d'apprentissage automatique dans laquelle les cibles servant à l'entraînement sont créées automatiquement à partir de la structure ou du contenu des données, plutôt que fournies sous forme d'étiquettes rédigées par des humains. · in-context learningapprentissage en contexte in-context learning (ICL)apprentissage en contexte promptingrequêtes The temporary adaptation of a language model's behaviour to information, instructions, or examples provided in its current prompt or context, without changing the model's parameters.Adaptation temporaire du comportement d'un modèle de langue à des informations, à des instructions ou à des exemples fournis dans sa requête ou son contexte courant, sans modification de ses paramètres. · unsupervised learningapprentissage non supervisé unsupervised learningapprentissage non supervisé machine learningapprentissage automatique A machine-learning approach that seeks patterns or structure in data without being given a target label or expected output for each training example.Approche d'apprentissage automatique qui cherche des régularités ou des structures dans les données sans recevoir d'étiquette cible ni de sortie attendue pour chaque exemple d'entraînement. · reinforcement learningapprentissage par renforcement reinforcement learning (RL)apprentissage par renforcement (AR) machine learningapprentissage automatique A type of machine learning in which an agent learns how to act by receiving rewards or penalties in response to its actions, with the aim of maximizing its overall reward.Type d'apprentissage automatique dans lequel un agent apprend à agir en recevant des récompenses ou des pénalités en réponse à ses actions, avec l'objectif de maximiser sa récompense globale. · reinforcement learning from human feedbackapprentissage par renforcement avec rétroaction humaine reinforcement learning from human feedback (RLHF)apprentissage par renforcement avec rétroaction humaine (ARRH) language modelsmodèles de langue A method for post-training a language model in which human evaluations of possible responses are used to create a reward signal, often by training a separate reward model.Méthode de postentraînement d'un modèle de langue dans laquelle des évaluations humaines de réponses possibles servent à créer un signal de récompense, souvent en entraînant un modèle de récompense distinct. · reinforcement learning with verifiable rewardsapprentissage par renforcement vérifiable reinforcement learning with verifiable rewards (RLVR)apprentissage par renforcement vérifiable (ARV) language modelsmodèles de langue A method for post-training a language model in which rewards are based on whether its responses satisfy criteria that can be checked automatically.Méthode de postentraînement d'un modèle de langue dans laquelle les récompenses dépendent du respect, par ses réponses, de critères vérifiables automatiquement. · supervised (machine) learningapprentissage supervisé supervised (machine) learningapprentissage supervisé machine learningapprentissage automatique A form of machine learning in which a model learns from labelled examples.Forme d'apprentissage automatique dans laquelle un modèle apprend à partir d'exemples étiquetés. · red-teamingapproche par l'équipe rouge red-teamingapproche par l'équipe rouge AI safetysécurité de l'IA A structured testing process in which testers adopt an adversarial perspective and deliberately try to expose vulnerabilities, harmful or unexpected behaviour, and possible ways of misusing an AI model or system.Processus d'essai structuré dans lequel les testeurs adoptent une perspective antagoniste et tentent délibérément de mettre au jour des vulnérabilités, des comportements nuisibles ou inattendus et des façons possibles de détourner un modèle ou un système d'IA. · training corpusbase d'apprentissage training corpusbase d'apprentissage datadonnées A collection of text or other language data used to estimate or update a model's parameters during training or pretraining.Collection de textes ou d'autres données langagières servant à estimer ou à mettre à jour les paramètres d'un modèle pendant l'entraînement ou le préentraînement. · chain-of-thoughtchaîne de résolution chain-of-thought (CoT)chaîne de résolution promptingrequêtes A sequence of intermediate, reasoning-like steps generated by a language model as it works toward an answer.Séquence d'étapes intermédiaires, semblables à un raisonnement, générée par un modèle de langue pendant qu'il progresse vers une réponse. · ASCIIcode ASCII ASCIIcode ASCII text encodingencodage du texte A 7-bit coded character set of 128 characters for information interchange, standardized as ANSI X3.4 and adopted as the US national variant of ISO/IEC 646. It contains the unaccented letters of the English alphabet, the digits, common punctuation and a set of control codes, and no accented letter. The first 128 characters of Unicode are the ASCII ones, in the same order, which is why UTF-8 stores them in a single byte.Jeu de caractères codés sur sept bits comptant 128 caractères, destiné à l'échange d'information, normalisé sous le nom ANSI X3.4 et repris comme variante nationale américaine de la norme ISO/IEC 646. Il contient les lettres non accentuées de l'alphabet anglais, les chiffres, la ponctuation courante et un ensemble de codes de commande, et aucune lettre accentuée. Les 128 premiers caractères d'Unicode sont ceux d'ASCII, dans le même ordre, ce qui explique qu'UTF-8 les stocke sur un seul octet. · Common CrawlCommon Crawl Common CrawlCommon Crawl datadonnées A nonprofit organization that regularly collects publicly accessible web data and makes the resulting archives and datasets freely available.Organisme sans but lucratif qui recueille régulièrement des données Web accessibles au public et rend librement disponibles les archives et jeux de données qui en résultent. · sycophancycomplaisance de l'IA sycophancycomplaisance de l'IA AI safetysécurité de l'IA The tendency of a language model trained on human preferences to agree with the user, revise a correct answer under challenge, or flatter, partly because agreement was rated well during training.Tendance d'un modèle de langue entraîné sur des préférences humaines à abonder dans le sens de l'utilisateur, à revenir sur une réponse correcte quand on la conteste ou à flatter, en partie parce que l'accord a été bien noté pendant l'entraînement. · lossy compressioncompression avec perte lossy compressioncompression avec perte computinginformatique A method of reducing the amount of data needed to represent information by discarding some information, so that the original cannot be reconstructed exactly.Méthode de réduction de la quantité de données nécessaire pour représenter une information, qui en écarte une partie, de sorte que l'original ne peut pas être reconstruit exactement. · Move 37coup 37 Move 37coup 37 AIIA The 37th move played by the Go program AlphaGo in the second game of its 2016 match against Lee Sedol, one of the strongest players in the world: a move so far outside human playing convention that one of the match's two commentators first took it for a mistake, and that proved central to winning the game.Le 37e coup joué par le programme de go AlphaGo dans la deuxième partie de son match de 2016 contre Lee Sedol, l'un des plus forts joueurs du monde : un coup si éloigné des conventions humaines que l'un des deux commentateurs du match l'a d'abord pris pour une erreur, et qui s'est révélé décisif dans la victoire. · knowledge cutoffdate de coupure des connaissances knowledge cutoffdate de coupure des connaissances language modelsmodèles de langue The point in time up to which the text a model was trained on was gathered, and after which nothing reached it during training.Moment jusqu'auquel le texte ayant servi à entraîner un modèle a été rassemblé, et après lequel plus rien ne lui est parvenu pendant l'entraînement. · jailbreakingdébridage jailbreakingdébridage AI safetysécurité de l'IA The deliberate use of specially crafted prompts or interaction strategies to make an AI model bypass restrictions on its outputs or behaviour, such as its refusal to provide prohibited content or sensitive information.Utilisation délibérée de requêtes spécialement conçues ou de stratégies d'interaction pour amener un modèle d'IA à contourner les restrictions sur ses sorties ou son comportement, comme son refus de fournir du contenu interdit ou des renseignements sensibles. · decodingdécodage decodingdécodage language modelsmodèles de langue The process used during text generation to turn a language model's predicted probabilities into an actual sequence of output tokens.Processus qui, pendant la génération de texte, transforme les probabilités prédites par un modèle de langue en une séquence réelle de jetons de sortie. · greedy decodingdécodage glouton greedy decodingdécodage glouton language modelsmodèles de langue A decoding method that selects the single most probable next token at every generation step. The selected token is added to the sequence, and the procedure repeats until generation stops.Méthode de décodage qui retient, à chaque étape de génération, l'unique jeton le plus probable. · deploymentdéploiement deploymentdéploiement computinginformatique Putting a system into operation where it will be used: installing it with what it needs to run and making it available to its users. For an AI system, it means making a trained model available to people, for instance behind an application or a chat interface.Mise en service d'un système là où il sera utilisé : son installation, avec ce dont il a besoin pour fonctionner, et sa mise à la disposition de ses utilisateurs. Pour un système d'IA, il s'agit de rendre un modèle entraîné accessible aux personnes, par exemple derrière une application ou une interface conversationnelle. · deterministicdéterministe deterministicdéterministe computinginformatique Describes a process, algorithm, or system that, under the same initial conditions and with the same input, always produces the same output.Se dit d'un processus, d'un algorithme ou d'un système qui, dans les mêmes conditions initiales et avec la même entrée, produit toujours la même sortie. · probability distributiondistribution de probabilité probability distributiondistribution de probabilité machine learningapprentissage automatique A description of how probability is allocated among the possible values of a random variable.Description de la répartition de la probabilité entre les valeurs possibles d'une variable aléatoire. · samplingéchantillonnage samplingéchantillonnage language modelsmodèles de langue A decoding method that uses an element of randomness to select the next token generated by a language model.Méthode de décodage qui introduit une part de hasard dans le choix du prochain jeton généré par un modèle de langue. · top-p samplingéchantillonnage à troncature de masse p top-p samplingéchantillonnage à troncature de masse p language modelsmodèles de langue A method for choosing the next token in generated text.Méthode de choix du jeton suivant dans un texte généré. · top-k samplingéchantillonnage top-k top-k samplingéchantillonnage top-k language modelsmodèles de langue A sampling method that, at each generation step, retains only the k tokens with the highest probabilities, renormalizes their probabilities and randomly selects the next token from that group. A smaller value of k restricts the choice more strongly, while a larger value permits greater variety.Méthode d'échantillonnage qui, à chaque étape de génération, ne conserve que les k jetons les plus probables, renormalise leurs probabilités et choisit le jeton suivant au hasard dans ce groupe. · model collapseeffondrement du modèle model collapseeffondrement du modèle language modelsmodèles de langue A degenerative process in which successive generations of a generative model become less faithful to the original data because they are trained recursively on data produced by earlier models.Processus dégénératif par lequel les générations successives d'un modèle génératif deviennent moins fidèles aux données d'origine parce qu'elles sont entraînées de façon récursive sur des données produites par des modèles antérieurs. · accuracyexactitude accuracyexactitude evaluationévaluation The share of all decisions of a system that are correct, true positives and true negatives together.Part de toutes les décisions d'un système qui sont correctes, vrais positifs et vrais négatifs ensemble. · web crawlingexploration du Web web crawlingexploration du Web datadonnées The automated process of systematically discovering and retrieving pages or other resources from the Web.Processus automatisé de découverte et de récupération systématiques de pages ou d'autres ressources du Web. · context windowfenêtre contextuelle context windowfenêtre contextuelle language modelsmodèles de langue "The amount of input (like text) that an AI system can process at one time during a task. Think of it as a model's short-term memory. A model can only consider so much text when generating its next response, and once the conversation exceeds its context window, the model starts 'forgetting' prior responses." (Stanford HAI).Quantité d'entrée (du texte, par exemple) qu'un système d'IA peut traiter à la fois pendant une tâche ; en quelque sorte, la mémoire à court terme du modèle. Un modèle ne peut considérer qu'une quantité limitée de texte pour générer sa prochaine réponse et, quand la conversation dépasse sa fenêtre contextuelle, il commence à « oublier » les réponses antérieures (d'après Stanford HAI, traduction libre). · few-shot promptingformulation de requête avec quelques exemples few-shot promptingformulation de requête avec quelques exemples promptingrequêtes A prompting technique in which a small number of demonstrations, typically examples pairing an input with its desired output, are included in the prompt to show a language model how to perform a task.Technique de formulation de requêtes consistant à inclure dans la requête un petit nombre de démonstrations, typiquement des exemples associant une entrée à la sortie souhaitée, pour montrer à un modèle de langue comment accomplir une tâche. · zero-shot promptingformulation de requête sans exemple zero-shot promptingformulation de requête sans exemple promptingrequêtes Asking a (large language) model to perform a task through instructions without including worked examples or demonstrations in the prompt.Fait de demander à un (grand) modèle de langue d'accomplir une tâche au moyen d'instructions, sans inclure d'exemples travaillés ni de démonstrations dans la requête. · autoregressive generationgénération autorégressive autoregressive generationgénération autorégressive language modelsmodèles de langue A method of generating a sequence, such as text, one token at a time.Méthode de génération d'une séquence, comme un texte, un jeton à la fois. · large language modelgrand modèle de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. · inferenceinférence inferenceinférence machine learningapprentissage automatique The stage in which a trained AI model processes new input to produce a prediction, classification, decision, or generated output.Étape au cours de laquelle un modèle d'IA entraîné traite une nouvelle entrée pour produire une prédiction, une classification, une décision ou une sortie générée. · prompt injectioninfiltration de requête prompt injectioninfiltration de requête AI safetysécurité de l'IA An attack in which untrusted input is incorporated into a prompt and interpreted by a generative AI system as instructions, causing the system to disregard or conflict with its intended instructions or to produce unintended outputs or actions.Attaque dans laquelle une entrée non fiable est incorporée à une requête et interprétée par un système d'IA générative comme des instructions, amenant le système à ignorer ou à contredire ses instructions prévues, ou à produire des sorties ou des actions non voulues. · custom instructionsinstructions personnalisées custom instructionsinstructions personnalisées promptingrequêtes User-provided preferences, background information, or requirements that an AI assistant stores and applies automatically across conversations, so that they do not need to be repeated in every prompt.Préférences, informations contextuelles ou exigences fournies par l'utilisateur, qu'un assistant d'IA enregistre et applique automatiquement d'une conversation à l'autre, sans qu'il faille les répéter dans chaque requête. · application programming interfaceinterface de programmation d'application application programming interface (API)interface de programmation d'application (API) computinginformatique A standardized interface that allows software applications to communicate by sending requests and receiving responses, without needing to know how the other application works internally.Interface normalisée qui permet à des applications logicielles de communiquer en envoyant des demandes et en recevant des réponses, sans avoir à connaître le fonctionnement interne de l'autre application. · attention mechanismmécanisme d'attention attention mechanismmécanisme d'attention deep learningapprentissage profond A "method in neural networks that helps a model focus on the most relevant parts of the input when producing an output. For example, when translating a sentence, it 'pays attention' to the words that matter most for the next translated word, which improves accuracy and handling of long sequences." (Stanford HAI).Méthode utilisée dans les réseaux de neurones pour aider un modèle à se concentrer sur les parties les plus pertinentes de l'entrée au moment de produire une sortie. Par exemple, lors de la traduction d'une phrase, le modèle « prête attention » aux mots qui comptent le plus pour le prochain mot traduit, ce qui améliore la précision et le traitement des longues séquences (d'après Stanford HAI, traduction libre). · translation memorymémoire de traduction translation memory (TM)mémoire de traduction (MT) CAT toolsTAO A bilingual database of previously translated source segments and their corresponding target segments, which a translation-memory system searches to propose exact or similar matches for new source text.Base de données bilingue de segments source déjà traduits et de leurs segments cibles correspondants, dans laquelle un système de mémoire de traduction cherche des correspondances exactes ou similaires pour un nouveau texte source. · persistent memorymémoire persistante persistent memorymémoire persistante promptingrequêtes An AI assistant's ability to retain information from earlier interactions and retrieve relevant information in later conversations, allowing it to maintain continuity and personalize its responses across sessions.Capacité d'un assistant d'IA à retenir de l'information d'interactions antérieures et à en récupérer les éléments pertinents dans des conversations ultérieures, ce qui lui permet d'assurer une continuité et de personnaliser ses réponses d'une session à l'autre. · open-weight modelmodèle à poids ouverts open-weight modelmodèle à poids ouverts AIIA An AI model whose trained parameters, commonly called weights, are made available for others to download.Modèle d'IA dont les paramètres entraînés, appelés poids, sont offerts au téléchargement. · base modelmodèle de base base modelmodèle de base language modelsmodèles de langue A language model that has completed pretraining but has not yet undergone post-training.Modèle de langue qui a terminé son préentraînement mais n'a pas encore reçu de postentraînement. · foundation modelmodèle de fondation foundation modelmodèle de fondation machine learningapprentissage automatique A pre-trained model that serves as the starting point for multiple downstream applications.Modèle préentraîné servant de point de départ à de multiples applications en aval. Le terme met l'accent sur l'approche « entraîner une fois, adapter plusieurs fois » du développement de l'IA. · language modelmodèle de langue language model (LM)modèle de langue language modelsmodèles de langue A machine-learning model that estimates how likely different sequences of language are.Modèle d'apprentissage automatique qui estime la probabilité de différentes séquences de langue. · reasoning modelmodèle de raisonnement reasoning modelmodèle de raisonnement language modelsmodèles de langue A language model designed to improve its performance on complex, multi-step problems by using additional computation during inference.Modèle de langue conçu pour améliorer sa performance sur des problèmes complexes en plusieurs étapes en recourant à un surcroît de calcul pendant l'inférence. · reward modelmodèle de récompense reward modelmodèle de récompense language modelsmodèles de langue A model trained to assign a numerical score to a candidate output, usually by learning from human judgements of which outputs are better.Modèle entraîné à attribuer une note numérique à une sortie candidate, généralement à partir de jugements humains indiquant quelles sorties sont meilleures. · multimodal modelmodèle multimodal multimodal modelmodèle multimodal AIIA An AI model that processes and relates information from two or more data modalities, such as text, images, audio, video, or sensor data.Modèle d'IA qui traite et met en relation l'information de deux modalités de données ou plus, comme le texte, les images, l'audio, la vidéo ou les données de capteurs. · direct preference optimizationoptimisation directe des préférences direct preference optimization (DPO)optimisation directe des préférences (DPO) language modelsmodèles de langue A preference-tuning method that trains a language model directly from pairs of preferred and rejected responses.Méthode de réglage des préférences qui entraîne un modèle de langue directement à partir de paires de réponses préférées et rejetées. · parameterparamètre de modèle parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. · word embeddingplongement lexical word embeddingplongement lexical embeddingsplongements A learned numerical representation of a word as a short, dense vector, meaning a list of numbers.Représentation numérique apprise d'un mot sous la forme d'un vecteur dense et court, c'est-à-dire une liste de nombres. · post-trainingpostentraînement post-trainingpostentraînement language modelsmodèles de langue Additional training applied to a pretrained model to adapt its capabilities or behaviour for intended uses.Entraînement supplémentaire appliqué à un modèle préentraîné pour adapter ses capacités ou son comportement aux usages visés. · next-token predictionprédiction du jeton suivant next-token predictionprédiction du jeton suivant language modelsmodèles de langue The task of estimating the probabilities of the tokens that could follow a given sequence of tokens.Tâche consistant à estimer les probabilités des jetons qui pourraient suivre une séquence de jetons donnée. · next-word predictionprédiction du mot suivant next-token predictionprédiction du jeton suivant language modelsmodèles de langue The task of estimating the probabilities of the tokens that could follow a given sequence of tokens.Tâche consistant à estimer les probabilités des jetons qui pourraient suivre une séquence de jetons donnée. · pre-trainingpréentraînement pre-trainingpréentraînement language modelsmodèles de langue An initial stage in which a model learns general patterns and reusable representations from a large dataset, often through self-supervised learning, before any later adaptation for particular tasks or uses.Étape initiale au cours de laquelle un modèle apprend des régularités générales et des représentations réutilisables à partir d'un grand jeu de données, souvent par apprentissage autosupervisé, avant toute adaptation ultérieure à des tâches ou à des usages particuliers. · graphics processing unitprocesseur graphique graphics processing unit (GPU)processeur graphique (GPU) computinginformatique A processor with a large number of cores that work in parallel, designed to render images, and now the standard hardware for training and running neural networks.Processeur doté d'un grand nombre de cœurs fonctionnant en parallèle, conçu pour produire des images, et devenu le matériel de référence pour entraîner et faire fonctionner des réseaux de neurones. · ground truthréalité de terrain ground truthréalité de terrain evaluationévaluation The values, labels or observations treated as the correct description of the cases in a dataset.Valeurs, étiquettes ou observations tenues pour la description correcte des cas d'un jeu de données. · preference tuningréglage des préférences preference tuningréglage des préférences language modelsmodèles de langue A form of fine-tuning, applied in post-training, that adjusts a language model so that it becomes more likely to produce responses judged preferable and less likely to produce responses judged undesirable.Forme d'affinage, appliquée au postentraînement, qui ajuste un modèle de langue pour qu'il produise plus volontiers des réponses jugées préférables et moins volontiers des réponses jugées indésirables. · personally identifiable informationrenseignements personnels personally identifiable information (PII)renseignements personnels datadonnées Information that can identify, distinguish, or trace a person, either on its own or when combined with other information that can be linked to that person.Information qui permet d'identifier, de distinguer ou de retracer une personne, seule ou combinée à d'autres informations pouvant lui être reliées. · promptrequête promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. · system promptrequête générative système system promptrequête générative système promptingrequêtes An instruction supplied to a language model before or alongside the user's input that establishes the model's role, task, behavioural rules, tone, or other context for the interaction.Instruction fournie à un modèle de langue avant l'entrée de l'utilisateur, ou en parallèle, qui établit le rôle du modèle, sa tâche, ses règles de conduite, son ton ou d'autres éléments de contexte pour l'interaction. · neural networkréseau de neurones neural network (NN)réseau de neurones (RNA) machine learningapprentissage automatique A machine-learning model composed of interconnected layers of small computational units.Modèle d'apprentissage automatique composé de couches interconnectées de petites unités de calcul. · tokenizersegmenteur tokenization²jetonisation² language modelsmodèles de langue The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. · model specificationspécification de modèle model specificationspécification de modèle AIIA A detailed document in which a developer of AI models sets out how its models should behave, as behavioural guidelines and ethical principles for their responses.Document détaillé dans lequel un développeur de modèles d'IA décrit comment ses modèles doivent se comporter, sous forme de lignes directrices de comportement et de principes éthiques pour leurs réponses. · shared tasktâche partagée shared tasktâche partagée evaluationévaluation A public evaluation exercise in which every participating team is given the same task, the same data and the same scoring, so that their systems can be compared directly.Exercice d'évaluation public où toutes les équipes participantes reçoivent la même tâche, les mêmes données et la même notation, de sorte que leurs systèmes se comparent directement. · alignment taxtaxe d'alignement alignment taxtaxe d'alignement AI safetysécurité de l'IA The loss of ability on some tasks that can come with training a language model to behave as intended, seen as lower scores after alignment training on tests the model handled before it.Perte de capacité sur certaines tâches qui peut accompagner l'entraînement d'un modèle de langue à se comporter comme prévu, visible sous forme de scores plus faibles, après l'entraînement d'alignement, à des tests que le modèle réussissait auparavant. · temperaturetempérature temperaturetempérature language modelsmodèles de langue A setting that influences how predictable or varied a language model's output will be.Réglage qui influence le caractère prévisible ou varié de la sortie d'un modèle de langue. · natural language processingtraitement automatique de la langue natural language processing (NLP)traitement automatique de la langue (TAL) NLPTAL An interdisciplinary field that develops and studies computational methods for analyzing, processing, and generating human language.Domaine interdisciplinaire qui développe et étudie des méthodes computationnelles pour analyser, traiter et générer le langage humain. · transformertransformeur transformertransformeur deep learningapprentissage profond A neural-network architecture for processing sequences, such as text.Architecture de réseau de neurones pour le traitement des séquences, comme le texte.