Language as numbersLe langage en nombres

How text becomes something a machine can compute with: tokens, vectors, embeddings, attention.Comment le texte devient calculable : jetons, vecteurs, plongements, attention.

What to expectÀ quoi s'attendre

A computer computes: everything it does is arithmetic on numbers. Before a machine can translate a sentence, summarize a report or answer a question, the text has to become numbers, and the conversion has to keep as much of the meaning as possible. This module follows that conversion step by step, from the first attempts that failed instructively to the representations inside today's language models, and shows what each design choice means in practice for the languages you work in.Un ordinateur calcule : tout ce qu'il fait est de l'arithmétique sur des nombres. Avant qu'une machine puisse traduire une phrase, résumer un rapport ou répondre à une question, le texte doit devenir des nombres, et la conversion doit conserver le plus de sens possible. Ce module suit cette conversion étape par étape, des premières tentatives, qui ont échoué de façon instructive, jusqu'aux représentations à l'intérieur des modèles de langue actuels, et montre ce que chaque choix de conception signifie en pratique pour les langues dans lesquelles vous travaillez.

PrerequisitesPréalables

The foundations module, in particular its supervised learning and neural networks chapters: everything here builds on the idea of a system trained on examples. No mathematics is needed beyond reading coordinates off a graph.Le module sur les fondements, en particulier ses chapitres sur l'apprentissage supervisé et les réseaux de neurones : tout ici repose sur l'idée d'un système entraîné sur des exemples. Aucune mathématique n'est nécessaire au-delà de lire des coordonnées sur un graphique.

→Foundations of AI & NLPFondements de l'IA et du TAL

StructureStructure

The opening chapter states the problem: meaning is exactly what a number does not have. Two chapters then follow the first solutions, a number per word and then one-hot vectors, into word embeddings, where position in a space starts to reflect meaning. The next two chapters treat what a fixed vector per word still misses: contextual embeddings give a word a different vector in every sentence, and attention is the mechanism that computes them. The last two chapters turn to tokenization, the units models actually read, and to its consequences for spelling, for costs and for languages other than English.Le premier chapitre pose le problème : le sens est exactement ce qu'un nombre n'a pas. Deux chapitres suivent ensuite les premières solutions, un nombre par mot puis un vecteur 1 parmi n, jusqu'aux plongements lexicaux, où la position dans un espace commence à refléter le sens. Les deux chapitres suivants traitent de ce qui manque encore à un vecteur fixe par mot : les plongements contextuels donnent à un mot un vecteur différent dans chaque phrase, et l'attention est le mécanisme qui les calcule. Les deux derniers chapitres se tournent vers la jetonisation, les unités que les modèles lisent réellement, et vers ses conséquences pour l'orthographe, pour les coûts et pour les langues autres que l'anglais.

Print / PDFImprimer / PDF

Concepts in this moduleLes concepts de ce moduleaccuracyexactitude accuracyexactitude evaluationévaluation The share of all decisions of a system that are correct, true positives and true negatives together.Part de toutes les décisions d'un système qui sont correctes, vrais positifs et vrais négatifs ensemble. · ambiguityambiguïté ambiguityambiguïté linguisticslinguistique The property of a stretch of language that allows more than one interpretation.Propriété d'un segment de langue qui autorise plus d'une interprétation. · application programming interfaceinterface de programmation d'application application programming interface (API)interface de programmation d'application (API) computinginformatique A standardized interface that allows software applications to communicate by sending requests and receiving responses, without needing to know how the other application works internally.Interface normalisée qui permet à des applications logicielles de communiquer en envoyant des demandes et en recevant des réponses, sans avoir à connaître le fonctionnement interne de l'autre application. · attention mechanismmécanisme d'attention attention mechanismmécanisme d'attention deep learningapprentissage profond A "method in neural networks that helps a model focus on the most relevant parts of the input when producing an output. For example, when translating a sentence, it 'pays attention' to the words that matter most for the next translated word, which improves accuracy and handling of long sequences." (Stanford HAI).Méthode utilisée dans les réseaux de neurones pour aider un modèle à se concentrer sur les parties les plus pertinentes de l'entrée au moment de produire une sortie. Par exemple, lors de la traduction d'une phrase, le modèle « prête attention » aux mots qui comptent le plus pour le prochain mot traduit, ce qui améliore la précision et le traitement des longues séquences (d'après Stanford HAI, traduction libre). · bidirectional language modelmodèle de langue bidirectionnel bidirectional language modelmodèle de langue bidirectionnel language modelsmodèles de langue A language model that can use context from token positions both before and after a given position when computing its representation or prediction.Modèle de langue qui peut utiliser le contexte des positions situées avant et après une position donnée pour calculer sa représentation ou sa prédiction. · byte-pair encodingencodage par paires d'octets byte-pair encoding (BPE)encodage par paires d'octets language modelsmodèles de langue A subword tokenization method that learns a vocabulary from training text by repeatedly joining frequently occurring adjacent characters or bytes.Méthode de segmentation sous-lexicale qui apprend un vocabulaire à partir d'un texte d'entraînement en fusionnant de façon répétée les caractères ou octets adjacents fréquents. · context windowfenêtre contextuelle context windowfenêtre contextuelle language modelsmodèles de langue "The amount of input (like text) that an AI system can process at one time during a task. Think of it as a model's short-term memory. A model can only consider so much text when generating its next response, and once the conversation exceeds its context window, the model starts 'forgetting' prior responses." (Stanford HAI).Quantité d'entrée (du texte, par exemple) qu'un système d'IA peut traiter à la fois pendant une tâche ; en quelque sorte, la mémoire à court terme du modèle. Un modèle ne peut considérer qu'une quantité limitée de texte pour générer sa prochaine réponse et, quand la conversation dépasse sa fenêtre contextuelle, il commence à « oublier » les réponses antérieures (d'après Stanford HAI, traduction libre). · contextual embeddingplongement contextuel contextual embeddingplongement contextuel embeddingsplongements A numerical representation generated for a particular occurrence of a token by taking account of the other tokens available to the model.Représentation numérique générée pour une occurrence particulière d'un jeton en tenant compte des autres jetons accessibles au modèle. · corpuscorpus corpuscorpus corporacorpus A collection of written texts, speech recordings or transcribed language assembled for analysis or use in language technology (plural: corpora).Ensemble de textes écrits, d'enregistrements de parole ou de langue transcrite réuni pour l'analyse ou pour les technologies langagières. · cross-attentionattention croisée cross-attentionattention croisée deep learningapprentissage profond An attention mechanism in which the queries come from one sequence or component and the keys and values come from another.Mécanisme d'attention dans lequel les requêtes proviennent d'une séquence ou d'un composant et les clés et valeurs d'un autre. · decoderdécodeur decoderdécodeur deep learningapprentissage profond A neural-network component or architecture used to generate an output sequence.Composant ou architecture de réseau de neurones servant à générer une séquence de sortie. · decoder-only modelmodèle à décodeur seul decoder-only modelmodèle à décodeur seul language modelsmodèles de langue A transformer language-model architecture that uses a sequence of decoder blocks without a separate encoder.Architecture de modèle de langue à transformeur qui enchaîne des blocs décodeurs sans encodeur distinct. · deep learningapprentissage profond deep learning (DL)apprentissage profond machine learningapprentissage automatique An approach to machine learning based on neural networks with many successive layers of computing units.Approche de l'apprentissage automatique fondée sur des réseaux de neurones comportant de nombreuses couches successives d'unités de calcul. · dense vectorvecteur dense dense vectorvecteur dense machine learningapprentissage automatique A vector in which most or all components are non-zero real numbers.Vecteur dont la plupart des composantes, ou toutes, sont des nombres réels non nuls. · distributed representationreprésentation répartie distributed representationreprésentation répartie machine learningapprentissage automatique A way of representing an item as a pattern of values spread over many units or dimensions, a vector for example, where each unit also takes part in representing other items.Façon de représenter un élément par un motif de valeurs réparti sur de nombreuses unités ou dimensions, un vecteur par exemple, où chaque unité participe aussi à la représentation d'autres éléments. · distributional hypothesishypothèse distributionnelle distributional hypothesishypothèse distributionnelle embeddingsplongements The linguistic hypothesis that patterns of word use provide evidence about meaning: words that occur with similar neighbouring words are likely to have related or similar meanings.Hypothèse linguistique selon laquelle les régularités d'emploi des mots renseignent sur leur sens : les mots qui apparaissent avec des voisins semblables ont vraisemblablement des sens apparentés ou proches. · embedding arithmeticarithmétique vectorielle appliquée aux plongements embedding arithmeticarithmétique vectorielle appliquée aux plongements embeddingsplongements The use of addition and subtraction on embedding vectors to test whether a semantic relationship is represented as an approximately consistent direction or offset in an embedding space.Utilisation de l'addition et de la soustraction sur des vecteurs de plongement pour vérifier si une relation sémantique est représentée par une direction ou un décalage à peu près constant dans un espace de plongement. · embedding spaceespace de plongement embedding spaceespace de plongement embeddingsplongements A vector space into which an embedding method maps items such as words, sentences, documents, or images.Espace vectoriel dans lequel une méthode de plongement projette des éléments comme des mots, des phrases, des documents ou des images. · encoderencodeur encoderencodeur deep learningapprentissage profond The component of a neural network that processes an input and converts it into internal representations that can be used by another component or by a task-specific output layer.Composant d'un réseau de neurones qui traite une entrée et la convertit en représentations internes utilisables par un autre composant ou par une couche de sortie propre à la tâche. · encoder-decoder modelmodèle encodeur-décodeur encoder-decoder modelmodèle encodeur-décodeur deep learningapprentissage profond A neural-network architecture in two connected parts: an encoder that turns an input sequence into representations, and a decoder that uses them, with what it has produced so far, to generate an output sequence.Architecture de réseau de neurones en deux parties reliées : un encodeur qui transforme une séquence d'entrée en représentations, et un décodeur qui s'en sert, avec ce qu'il a déjà produit, pour générer une séquence de sortie. · encoder-only modelmodèle à encodeur seul encoder-only modelmodèle à encodeur seul language modelsmodèles de langue A neural-network architecture that processes an input sequence and produces a contextual representation for each input token, without using a separate decoder to generate an output sequence.Architecture de réseau de neurones qui traite une séquence d'entrée et produit une représentation contextuelle de chaque jeton, sans décodeur distinct pour générer une séquence de sortie. · fine-tuningaffinage fine-tuningaffinage machine learningapprentissage automatique Further training of a pretrained model on new data to adapt it for a particular task, domain, or intended behaviour.Poursuite de l'entraînement d'un modèle préentraîné sur un jeu de données généralement plus restreint et spécialisé, afin de l'adapter à une tâche ou à un domaine particulier. · language modelmodèle de langue language model (LM)modèle de langue language modelsmodèles de langue A machine-learning model that estimates how likely different sequences of language are.Modèle d'apprentissage automatique qui estime la probabilité de différentes séquences de langue. · lemmalemme lemmalemme linguisticslinguistique The base or dictionary form under which the inflected forms of a word are grouped: go, goes, went and gone share the lemma go.Forme de base, ou forme de dictionnaire, sous laquelle sont regroupées les formes fléchies d'un mot : va, allons, allait et allé partagent le lemme aller. · machine learningapprentissage automatique machine learning (ML)apprentissage automatique machine learningapprentissage automatique An approach to artificial intelligence in which a model is trained on data or experience so that its adjustable parameters come to reflect patterns relevant to a task.Approche de l'intelligence artificielle dans laquelle un modèle est entraîné sur des données ou sur l'expérience, de sorte que ses paramètres ajustables en viennent à refléter des régularités pertinentes pour une tâche. · machine translationtraduction automatique machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. · masked language modelingmodélisation du langage masqué masked language modelingmodélisation du langage masqué language modelsmodèles de langue A self-supervised training objective in which selected tokens in a text are hidden or otherwise altered and a model is trained to reconstruct the original tokens from the remaining context.Objectif d'entraînement autosupervisé dans lequel des jetons choisis d'un texte sont cachés ou modifiés et où un modèle apprend à reconstruire les jetons d'origine à partir du contexte restant. · named entity recognitionreconnaissance d'entités nommées named entity recognition (NER)reconnaissance d'entités nommées (REN) NLPTAL The task of finding the spans of a text that are proper names, and labelling the category, most often a person, a location or an organization.Tâche qui consiste à repérer dans un texte les segments qui sont des noms propres, et à en étiqueter la catégorie, le plus souvent une personne, un lieu ou une organisation. · natural language processingtraitement automatique de la langue natural language processing (NLP)traitement automatique de la langue (TAL) NLPTAL An interdisciplinary field that develops and studies computational methods for analyzing, processing, and generating human language.Domaine interdisciplinaire qui développe et étudie des méthodes computationnelles pour analyser, traiter et générer le langage humain. · next-token predictionprédiction du jeton suivant next-token predictionprédiction du jeton suivant language modelsmodèles de langue The task of estimating the probabilities of the tokens that could follow a given sequence of tokens.Tâche consistant à estimer les probabilités des jetons qui pourraient suivre une séquence de jetons donnée. · one-hot vectorvecteur 1 parmi n one-hot vectorvecteur 1 parmi n machine learningapprentissage automatique A vector whose elements are all 0 except for a single 1. The position of the 1 identifies one item in a fixed set, such as a category or a token in a vocabulary.Vecteur dont tous les éléments valent 0, sauf un seul qui vaut 1. La position du 1 identifie un élément d'un ensemble fixe, comme une catégorie ou un jeton d'un vocabulaire. · out-of-vocabularymot hors vocabulaire out-of-vocabulary (OOV)mot hors vocabulaire language modelsmodèles de langue Describes a word that is absent from the vocabulary used by a particular language-processing system.Se dit d'un mot absent du vocabulaire utilisé par un système de traitement de la langue donné. · parallel corpuscorpus parallèle parallel corpuscorpus parallèle corporacorpus A corpus of texts in one language together with their translations into one or more other languages, usually aligned sentence by sentence so that each segment can be viewed next to its equivalent.Corpus de textes dans une langue accompagnés de leurs traductions vers une ou plusieurs autres langues, généralement alignés phrase par phrase de façon à afficher chaque segment en regard de son équivalent. · parallel processingtraitement parallèle parallel processingtraitement parallèle computinginformatique The performance of two or more computational operations at the same time, typically by distributing the work across multiple processor cores or computing devices.Exécution simultanée de deux opérations de calcul ou plus, généralement en répartissant le travail entre plusieurs cœurs de processeur ou appareils de calcul. · polysemypolysémie polysemypolysémie linguisticslinguistique The property of a word or lemma having two or more related senses.Propriété d'un mot ou d'un lemme qui possède deux sens apparentés ou plus. · positional encodingencodage positionnel positional encodingencodage positionnel deep learningapprentissage profond A numerical representation of the position of each token in a sequence.Représentation numérique de la position de chaque jeton dans une séquence. · pre-trainingpréentraînement pre-trainingpréentraînement language modelsmodèles de langue An initial stage in which a model learns general patterns and reusable representations from a large dataset, often through self-supervised learning, before any later adaptation for particular tasks or uses.Étape initiale au cours de laquelle un modèle apprend des régularités générales et des représentations réutilisables à partir d'un grand jeu de données, souvent par apprentissage autosupervisé, avant toute adaptation ultérieure à des tâches ou à des usages particuliers. · promptrequête promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. · rule-based systemsystème à base de règles rule-based systemsystème à base de règles AIIA A system whose behaviour is fixed by rules that people wrote, most often of the form "if this condition, then this action", so that every output can be traced to the rule that produced it.Système dont le comportement est fixé par des règles écrites par des personnes, le plus souvent de la forme « si cette condition, alors cette action », de sorte que chaque résultat peut être rapporté à la règle qui l'a produit. · self-attentionautoattention self-attentionautoattention deep learningapprentissage profond An attention mechanism that allows each token in a sequence to assign different weights to other relevant tokens in the same sequence and combine information from them.Mécanisme d'attention qui permet à chaque jeton d'une séquence d'attribuer des poids différents aux autres jetons pertinents de la même séquence et de combiner l'information qu'ils portent. · semantic similaritysimilarité sémantique semantic similaritysimilarité sémantique embeddingsplongements The degree to which two words, expressions, or concepts resemble one another in meaning.Degré de ressemblance de sens entre deux mots, expressions ou concepts. · sparse vectorvecteur creux sparse vectorvecteur creux machine learningapprentissage automatique "A vector is sparse if most of the values are zero" (Jurafsky & Martin).Vecteur dont la plupart des valeurs sont nulles (d'après Jurafsky et Martin, traduction libre). · static word embeddingplongement lexical statique static word embeddingplongement lexical statique embeddingsplongements A numerical representation that assigns each word type, meaning each distinct word in a vocabulary, a single fixed vector learned from patterns in a corpus.Représentation numérique qui attribue à chaque type de mot, c'est-à-dire à chaque mot distinct d'un vocabulaire, un unique vecteur fixe appris à partir des régularités d'un corpus. · subword tokenizationsegmentation au niveau sous-lexical subword tokenizationsegmentation au niveau sous-lexical language modelsmodèles de langue A data-driven method of dividing text into tokens that are often smaller than words, such as frequent word parts, characters, or byte sequences.Méthode de découpage du texte, apprise des données, en jetons souvent plus petits que les mots, comme des parties de mots fréquentes, des caractères ou des séquences d'octets. · test setjeu de données de test test setjeu de données de test machine learningapprentissage automatique A portion of a dataset held back from both model training and model selection and used to evaluate the final model.Portion d'un jeu de données tenue à l'écart tant de l'entraînement que de la sélection du modèle et servant à évaluer le modèle final. Son but est d'estimer la performance du modèle achevé sur de nouvelles données issues de la tâche ou de la population visée. · token-based billingtarification à l'usage selon le nombre de jetons token-based billingtarification à l'usage selon le nombre de jetons AIIA A usage-pricing method in which the charge for a model request is calculated from the number and category of tokens processed.Méthode de tarification à l'usage dans laquelle le coût d'une demande au modèle se calcule d'après le nombre et la catégorie des jetons traités. · token¹occurrence de mot token¹occurrence de mot linguisticslinguistique An individual occurrence of a word or another countable element in a text.Apparition individuelle d'un mot ou d'un autre élément dénombrable dans un texte. · token²jeton textuel² token²jeton textuel² language modelsmodèles de langue A unit of text that a language model processes or generates.Unité de texte qu'un modèle de langue traite ou génère. Un jeton peut correspondre à un mot entier, à une partie de mot, à un signe de ponctuation ou à une séquence plus petite de caractères ou d'octets. · tokenization²jetonisation² tokenization²jetonisation² language modelsmodèles de langue The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. · tokenizersegmenteur tokenization²jetonisation² language modelsmodèles de langue The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. · training setjeu de données d'entraînement training setjeu de données d'entraînement machine learningapprentissage automatique The portion of a dataset used to train a machine-learning model.Portion d'un jeu de données servant à entraîner un modèle d'apprentissage automatique. · transformertransformeur transformertransformeur deep learningapprentissage profond A neural-network architecture for processing sequences, such as text.Architecture de réseau de neurones pour le traitement des séquences, comme le texte. · vectorvecteur vectorvecteur machine learningapprentissage automatique An ordered list of numbers.Liste ordonnée de nombres. · vector spaceespace vectoriel vector spaceespace vectoriel machine learningapprentissage automatique A space in which each point is given by a list of numbers, every list in the space having the same length: two numbers place a point on a flat surface, three place it inside a volume, and a longer list places it in a space with as many directions as the list has numbers. Adding two of these lists together, or multiplying one of them by a single number, always gives another point of the same space.Espace dont chaque point est donné par une liste de nombres, toutes les listes de l'espace ayant la même longueur : deux nombres placent un point sur une surface plane, trois le placent dans un volume, et une liste plus longue le place dans un espace comptant autant de directions que la liste compte de nombres. Additionner deux de ces listes, ou en multiplier une par un seul nombre, donne toujours un autre point du même espace. · vocabularyvocabulaire vocabularyvocabulaire language modelsmodèles de langue The fixed set of tokens that a tokenizer and language model can recognize and represent.Ensemble fixe des jetons qu'un segmenteur et un modèle de langue peuvent reconnaître et représenter. · weightpoids weightpoids machine learningapprentissage automatique A real number attached to one input of a computing unit, learned during training, that sets how much that input counts towards the unit's output.Nombre réel attaché à une entrée d'une unité de calcul, appris pendant l'entraînement, qui détermine l'importance de cette entrée dans la sortie de l'unité. · word embeddingplongement lexical word embeddingplongement lexical embeddingsplongements A learned numerical representation of a word as a short, dense vector, meaning a list of numbers.Représentation numérique apprise d'un mot sous la forme d'un vecteur dense et court, c'est-à-dire une liste de nombres. fine-tuningaffinage fine-tuningaffinage machine learningapprentissage automatique Further training of a pretrained model on new data to adapt it for a particular task, domain, or intended behaviour.Poursuite de l'entraînement d'un modèle préentraîné sur un jeu de données généralement plus restreint et spécialisé, afin de l'adapter à une tâche ou à un domaine particulier. · ambiguityambiguïté ambiguityambiguïté linguisticslinguistique The property of a stretch of language that allows more than one interpretation.Propriété d'un segment de langue qui autorise plus d'une interprétation. · machine learningapprentissage automatique machine learning (ML)apprentissage automatique machine learningapprentissage automatique An approach to artificial intelligence in which a model is trained on data or experience so that its adjustable parameters come to reflect patterns relevant to a task.Approche de l'intelligence artificielle dans laquelle un modèle est entraîné sur des données ou sur l'expérience, de sorte que ses paramètres ajustables en viennent à refléter des régularités pertinentes pour une tâche. · deep learningapprentissage profond deep learning (DL)apprentissage profond machine learningapprentissage automatique An approach to machine learning based on neural networks with many successive layers of computing units.Approche de l'apprentissage automatique fondée sur des réseaux de neurones comportant de nombreuses couches successives d'unités de calcul. · embedding arithmeticarithmétique vectorielle appliquée aux plongements embedding arithmeticarithmétique vectorielle appliquée aux plongements embeddingsplongements The use of addition and subtraction on embedding vectors to test whether a semantic relationship is represented as an approximately consistent direction or offset in an embedding space.Utilisation de l'addition et de la soustraction sur des vecteurs de plongement pour vérifier si une relation sémantique est représentée par une direction ou un décalage à peu près constant dans un espace de plongement. · cross-attentionattention croisée cross-attentionattention croisée deep learningapprentissage profond An attention mechanism in which the queries come from one sequence or component and the keys and values come from another.Mécanisme d'attention dans lequel les requêtes proviennent d'une séquence ou d'un composant et les clés et valeurs d'un autre. · self-attentionautoattention self-attentionautoattention deep learningapprentissage profond An attention mechanism that allows each token in a sequence to assign different weights to other relevant tokens in the same sequence and combine information from them.Mécanisme d'attention qui permet à chaque jeton d'une séquence d'attribuer des poids différents aux autres jetons pertinents de la même séquence et de combiner l'information qu'ils portent. · corpuscorpus corpuscorpus corporacorpus A collection of written texts, speech recordings or transcribed language assembled for analysis or use in language technology (plural: corpora).Ensemble de textes écrits, d'enregistrements de parole ou de langue transcrite réuni pour l'analyse ou pour les technologies langagières. · parallel corpuscorpus parallèle parallel corpuscorpus parallèle corporacorpus A corpus of texts in one language together with their translations into one or more other languages, usually aligned sentence by sentence so that each segment can be viewed next to its equivalent.Corpus de textes dans une langue accompagnés de leurs traductions vers une ou plusieurs autres langues, généralement alignés phrase par phrase de façon à afficher chaque segment en regard de son équivalent. · decoderdécodeur decoderdécodeur deep learningapprentissage profond A neural-network component or architecture used to generate an output sequence.Composant ou architecture de réseau de neurones servant à générer une séquence de sortie. · byte-pair encodingencodage par paires d'octets byte-pair encoding (BPE)encodage par paires d'octets language modelsmodèles de langue A subword tokenization method that learns a vocabulary from training text by repeatedly joining frequently occurring adjacent characters or bytes.Méthode de segmentation sous-lexicale qui apprend un vocabulaire à partir d'un texte d'entraînement en fusionnant de façon répétée les caractères ou octets adjacents fréquents. · positional encodingencodage positionnel positional encodingencodage positionnel deep learningapprentissage profond A numerical representation of the position of each token in a sequence.Représentation numérique de la position de chaque jeton dans une séquence. · encoderencodeur encoderencodeur deep learningapprentissage profond The component of a neural network that processes an input and converts it into internal representations that can be used by another component or by a task-specific output layer.Composant d'un réseau de neurones qui traite une entrée et la convertit en représentations internes utilisables par un autre composant ou par une couche de sortie propre à la tâche. · embedding spaceespace de plongement embedding spaceespace de plongement embeddingsplongements A vector space into which an embedding method maps items such as words, sentences, documents, or images.Espace vectoriel dans lequel une méthode de plongement projette des éléments comme des mots, des phrases, des documents ou des images. · vector spaceespace vectoriel vector spaceespace vectoriel machine learningapprentissage automatique A space in which each point is given by a list of numbers, every list in the space having the same length: two numbers place a point on a flat surface, three place it inside a volume, and a longer list places it in a space with as many directions as the list has numbers. Adding two of these lists together, or multiplying one of them by a single number, always gives another point of the same space.Espace dont chaque point est donné par une liste de nombres, toutes les listes de l'espace ayant la même longueur : deux nombres placent un point sur une surface plane, trois le placent dans un volume, et une liste plus longue le place dans un espace comptant autant de directions que la liste compte de nombres. Additionner deux de ces listes, ou en multiplier une par un seul nombre, donne toujours un autre point du même espace. · accuracyexactitude accuracyexactitude evaluationévaluation The share of all decisions of a system that are correct, true positives and true negatives together.Part de toutes les décisions d'un système qui sont correctes, vrais positifs et vrais négatifs ensemble. · context windowfenêtre contextuelle context windowfenêtre contextuelle language modelsmodèles de langue "The amount of input (like text) that an AI system can process at one time during a task. Think of it as a model's short-term memory. A model can only consider so much text when generating its next response, and once the conversation exceeds its context window, the model starts 'forgetting' prior responses." (Stanford HAI).Quantité d'entrée (du texte, par exemple) qu'un système d'IA peut traiter à la fois pendant une tâche ; en quelque sorte, la mémoire à court terme du modèle. Un modèle ne peut considérer qu'une quantité limitée de texte pour générer sa prochaine réponse et, quand la conversation dépasse sa fenêtre contextuelle, il commence à « oublier » les réponses antérieures (d'après Stanford HAI, traduction libre). · distributional hypothesishypothèse distributionnelle distributional hypothesishypothèse distributionnelle embeddingsplongements The linguistic hypothesis that patterns of word use provide evidence about meaning: words that occur with similar neighbouring words are likely to have related or similar meanings.Hypothèse linguistique selon laquelle les régularités d'emploi des mots renseignent sur leur sens : les mots qui apparaissent avec des voisins semblables ont vraisemblablement des sens apparentés ou proches. · application programming interfaceinterface de programmation d'application application programming interface (API)interface de programmation d'application (API) computinginformatique A standardized interface that allows software applications to communicate by sending requests and receiving responses, without needing to know how the other application works internally.Interface normalisée qui permet à des applications logicielles de communiquer en envoyant des demandes et en recevant des réponses, sans avoir à connaître le fonctionnement interne de l'autre application. · token²jeton textuel² token²jeton textuel² language modelsmodèles de langue A unit of text that a language model processes or generates.Unité de texte qu'un modèle de langue traite ou génère. Un jeton peut correspondre à un mot entier, à une partie de mot, à un signe de ponctuation ou à une séquence plus petite de caractères ou d'octets. · tokenization²jetonisation² tokenization²jetonisation² language modelsmodèles de langue The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. · training setjeu de données d'entraînement training setjeu de données d'entraînement machine learningapprentissage automatique The portion of a dataset used to train a machine-learning model.Portion d'un jeu de données servant à entraîner un modèle d'apprentissage automatique. · test setjeu de données de test test setjeu de données de test machine learningapprentissage automatique A portion of a dataset held back from both model training and model selection and used to evaluate the final model.Portion d'un jeu de données tenue à l'écart tant de l'entraînement que de la sélection du modèle et servant à évaluer le modèle final. Son but est d'estimer la performance du modèle achevé sur de nouvelles données issues de la tâche ou de la population visée. · lemmalemme lemmalemme linguisticslinguistique The base or dictionary form under which the inflected forms of a word are grouped: go, goes, went and gone share the lemma go.Forme de base, ou forme de dictionnaire, sous laquelle sont regroupées les formes fléchies d'un mot : va, allons, allait et allé partagent le lemme aller. · attention mechanismmécanisme d'attention attention mechanismmécanisme d'attention deep learningapprentissage profond A "method in neural networks that helps a model focus on the most relevant parts of the input when producing an output. For example, when translating a sentence, it 'pays attention' to the words that matter most for the next translated word, which improves accuracy and handling of long sequences." (Stanford HAI).Méthode utilisée dans les réseaux de neurones pour aider un modèle à se concentrer sur les parties les plus pertinentes de l'entrée au moment de produire une sortie. Par exemple, lors de la traduction d'une phrase, le modèle « prête attention » aux mots qui comptent le plus pour le prochain mot traduit, ce qui améliore la précision et le traitement des longues séquences (d'après Stanford HAI, traduction libre). · decoder-only modelmodèle à décodeur seul decoder-only modelmodèle à décodeur seul language modelsmodèles de langue A transformer language-model architecture that uses a sequence of decoder blocks without a separate encoder.Architecture de modèle de langue à transformeur qui enchaîne des blocs décodeurs sans encodeur distinct. · encoder-only modelmodèle à encodeur seul encoder-only modelmodèle à encodeur seul language modelsmodèles de langue A neural-network architecture that processes an input sequence and produces a contextual representation for each input token, without using a separate decoder to generate an output sequence.Architecture de réseau de neurones qui traite une séquence d'entrée et produit une représentation contextuelle de chaque jeton, sans décodeur distinct pour générer une séquence de sortie. · language modelmodèle de langue language model (LM)modèle de langue language modelsmodèles de langue A machine-learning model that estimates how likely different sequences of language are.Modèle d'apprentissage automatique qui estime la probabilité de différentes séquences de langue. · bidirectional language modelmodèle de langue bidirectionnel bidirectional language modelmodèle de langue bidirectionnel language modelsmodèles de langue A language model that can use context from token positions both before and after a given position when computing its representation or prediction.Modèle de langue qui peut utiliser le contexte des positions situées avant et après une position donnée pour calculer sa représentation ou sa prédiction. · encoder-decoder modelmodèle encodeur-décodeur encoder-decoder modelmodèle encodeur-décodeur deep learningapprentissage profond A neural-network architecture in two connected parts: an encoder that turns an input sequence into representations, and a decoder that uses them, with what it has produced so far, to generate an output sequence.Architecture de réseau de neurones en deux parties reliées : un encodeur qui transforme une séquence d'entrée en représentations, et un décodeur qui s'en sert, avec ce qu'il a déjà produit, pour générer une séquence de sortie. · masked language modelingmodélisation du langage masqué masked language modelingmodélisation du langage masqué language modelsmodèles de langue A self-supervised training objective in which selected tokens in a text are hidden or otherwise altered and a model is trained to reconstruct the original tokens from the remaining context.Objectif d'entraînement autosupervisé dans lequel des jetons choisis d'un texte sont cachés ou modifiés et où un modèle apprend à reconstruire les jetons d'origine à partir du contexte restant. · out-of-vocabularymot hors vocabulaire out-of-vocabulary (OOV)mot hors vocabulaire language modelsmodèles de langue Describes a word that is absent from the vocabulary used by a particular language-processing system.Se dit d'un mot absent du vocabulaire utilisé par un système de traitement de la langue donné. · token¹occurrence de mot token¹occurrence de mot linguisticslinguistique An individual occurrence of a word or another countable element in a text.Apparition individuelle d'un mot ou d'un autre élément dénombrable dans un texte. · contextual embeddingplongement contextuel contextual embeddingplongement contextuel embeddingsplongements A numerical representation generated for a particular occurrence of a token by taking account of the other tokens available to the model.Représentation numérique générée pour une occurrence particulière d'un jeton en tenant compte des autres jetons accessibles au modèle. · word embeddingplongement lexical word embeddingplongement lexical embeddingsplongements A learned numerical representation of a word as a short, dense vector, meaning a list of numbers.Représentation numérique apprise d'un mot sous la forme d'un vecteur dense et court, c'est-à-dire une liste de nombres. · static word embeddingplongement lexical statique static word embeddingplongement lexical statique embeddingsplongements A numerical representation that assigns each word type, meaning each distinct word in a vocabulary, a single fixed vector learned from patterns in a corpus.Représentation numérique qui attribue à chaque type de mot, c'est-à-dire à chaque mot distinct d'un vocabulaire, un unique vecteur fixe appris à partir des régularités d'un corpus. · weightpoids weightpoids machine learningapprentissage automatique A real number attached to one input of a computing unit, learned during training, that sets how much that input counts towards the unit's output.Nombre réel attaché à une entrée d'une unité de calcul, appris pendant l'entraînement, qui détermine l'importance de cette entrée dans la sortie de l'unité. · polysemypolysémie polysemypolysémie linguisticslinguistique The property of a word or lemma having two or more related senses.Propriété d'un mot ou d'un lemme qui possède deux sens apparentés ou plus. · next-token predictionprédiction du jeton suivant next-token predictionprédiction du jeton suivant language modelsmodèles de langue The task of estimating the probabilities of the tokens that could follow a given sequence of tokens.Tâche consistant à estimer les probabilités des jetons qui pourraient suivre une séquence de jetons donnée. · pre-trainingpréentraînement pre-trainingpréentraînement language modelsmodèles de langue An initial stage in which a model learns general patterns and reusable representations from a large dataset, often through self-supervised learning, before any later adaptation for particular tasks or uses.Étape initiale au cours de laquelle un modèle apprend des régularités générales et des représentations réutilisables à partir d'un grand jeu de données, souvent par apprentissage autosupervisé, avant toute adaptation ultérieure à des tâches ou à des usages particuliers. · named entity recognitionreconnaissance d'entités nommées named entity recognition (NER)reconnaissance d'entités nommées (REN) NLPTAL The task of finding the spans of a text that are proper names, and labelling the category, most often a person, a location or an organization.Tâche qui consiste à repérer dans un texte les segments qui sont des noms propres, et à en étiqueter la catégorie, le plus souvent une personne, un lieu ou une organisation. · distributed representationreprésentation répartie distributed representationreprésentation répartie machine learningapprentissage automatique A way of representing an item as a pattern of values spread over many units or dimensions, a vector for example, where each unit also takes part in representing other items.Façon de représenter un élément par un motif de valeurs réparti sur de nombreuses unités ou dimensions, un vecteur par exemple, où chaque unité participe aussi à la représentation d'autres éléments. · promptrequête promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. · subword tokenizationsegmentation au niveau sous-lexical subword tokenizationsegmentation au niveau sous-lexical language modelsmodèles de langue A data-driven method of dividing text into tokens that are often smaller than words, such as frequent word parts, characters, or byte sequences.Méthode de découpage du texte, apprise des données, en jetons souvent plus petits que les mots, comme des parties de mots fréquentes, des caractères ou des séquences d'octets. · tokenizersegmenteur tokenization²jetonisation² language modelsmodèles de langue The process of converting text into an ordered sequence of tokens that a language model can process.Processus de conversion d'un texte en une séquence ordonnée de jetons qu'un modèle de langue peut traiter. · semantic similaritysimilarité sémantique semantic similaritysimilarité sémantique embeddingsplongements The degree to which two words, expressions, or concepts resemble one another in meaning.Degré de ressemblance de sens entre deux mots, expressions ou concepts. · rule-based systemsystème à base de règles rule-based systemsystème à base de règles AIIA A system whose behaviour is fixed by rules that people wrote, most often of the form "if this condition, then this action", so that every output can be traced to the rule that produced it.Système dont le comportement est fixé par des règles écrites par des personnes, le plus souvent de la forme « si cette condition, alors cette action », de sorte que chaque résultat peut être rapporté à la règle qui l'a produit. · token-based billingtarification à l'usage selon le nombre de jetons token-based billingtarification à l'usage selon le nombre de jetons AIIA A usage-pricing method in which the charge for a model request is calculated from the number and category of tokens processed.Méthode de tarification à l'usage dans laquelle le coût d'une demande au modèle se calcule d'après le nombre et la catégorie des jetons traités. · machine translationtraduction automatique machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. · natural language processingtraitement automatique de la langue natural language processing (NLP)traitement automatique de la langue (TAL) NLPTAL An interdisciplinary field that develops and studies computational methods for analyzing, processing, and generating human language.Domaine interdisciplinaire qui développe et étudie des méthodes computationnelles pour analyser, traiter et générer le langage humain. · parallel processingtraitement parallèle parallel processingtraitement parallèle computinginformatique The performance of two or more computational operations at the same time, typically by distributing the work across multiple processor cores or computing devices.Exécution simultanée de deux opérations de calcul ou plus, généralement en répartissant le travail entre plusieurs cœurs de processeur ou appareils de calcul. · transformertransformeur transformertransformeur deep learningapprentissage profond A neural-network architecture for processing sequences, such as text.Architecture de réseau de neurones pour le traitement des séquences, comme le texte. · vectorvecteur vectorvecteur machine learningapprentissage automatique An ordered list of numbers.Liste ordonnée de nombres. · one-hot vectorvecteur 1 parmi n one-hot vectorvecteur 1 parmi n machine learningapprentissage automatique A vector whose elements are all 0 except for a single 1. The position of the 1 identifies one item in a fixed set, such as a category or a token in a vocabulary.Vecteur dont tous les éléments valent 0, sauf un seul qui vaut 1. La position du 1 identifie un élément d'un ensemble fixe, comme une catégorie ou un jeton d'un vocabulaire. · sparse vectorvecteur creux sparse vectorvecteur creux machine learningapprentissage automatique "A vector is sparse if most of the values are zero" (Jurafsky & Martin).Vecteur dont la plupart des valeurs sont nulles (d'après Jurafsky et Martin, traduction libre). · dense vectorvecteur dense dense vectorvecteur dense machine learningapprentissage automatique A vector in which most or all components are non-zero real numbers.Vecteur dont la plupart des composantes, ou toutes, sont des nombres réels non nuls. · vocabularyvocabulaire vocabularyvocabulaire language modelsmodèles de langue The fixed set of tokens that a tokenizer and language model can recognize and represent.Ensemble fixe des jetons qu'un segmenteur et un modèle de langue peuvent reconnaître et représenter.