Administrator
This teaching view is for the instructor. Enter the administrator password.
Wrong password · Mot de passe incorrect
Key pointsL'essentiel
InferenceInférence
is using the trained model: the parameters are fixed, so nothing you say in a conversation changes it.
L' consiste à utiliser le modèle entraîné : les paramètres sont figés, si bien que rien de ce que vous dites dans une conversation ne le modifie.
inference · fr: inférence inférence · en : inference machine learning apprentissage automatique : The stage in which a trained AI model processes new input to produce a prediction, classification, decision, or generated output. Étape au cours de laquelle un modèle d'IA entraîné traite une nouvelle entrée pour produire une prédiction, une classification, une décision ou une sortie générée.
Key pointsL'essentiel
InferenceInférence
The contains the system prompt, saved instructions and memory, the conversation, your prompt and the answer being written, and the answer has a separate token limit of its own.
La contient la requête générative système, les instructions enregistrées et la mémoire, la conversation, votre requête et la réponse en cours de rédaction, et la réponse a sa propre limite de jetons.
context window · fr: fenêtre contextuelle fenêtre contextuelle · en : context window language models modèles de langue : "The amount of input (like text) that an AI system can process at one time during a task. Think of it as a model's short-term memory. A model can only consider so much text when generating its next response, and once the conversation exceeds its context window, the model starts 'forgetting' prior responses." (Stanford HAI). Quantité d'entrée (du texte, par exemple) qu'un système d'IA peut traiter à la fois pendant une tâche ; en quelque sorte, la mémoire à court terme du modèle. Un modèle ne peut considérer qu'une quantité limitée de texte pour générer sa prochaine réponse et, quand la conversation dépasse sa fenêtre contextuelle, il commence à « oublier » les réponses antérieures (d'après Stanford HAI, traduction libre).
Key pointsL'essentiel
InferenceInférence
A large window is a limit rather than a promise: models use the whole of one measurably less well than they use a small part.
Une grande fenêtre est une limite plutôt qu'une promesse : les modèles utilisent nettement moins bien la totalité de leur fenêtre qu'une petite partie de celle-ci.
Key pointsL'essentiel
InferenceInférence
The model produces probabilities and a separate step picks a token. Chat assistants are not , so one output is not evidence.
Le modèle produit des probabilités, et une étape distincte de choisit un jeton. Les agents conversationnels ne sont pas , si bien qu'une seule réponse ne prouve rien.
decoding · fr: décodage décodage · en : decoding language models modèles de langue : The process used during text generation to turn a language model's predicted probabilities into an actual sequence of output tokens. Processus qui, pendant la génération de texte, transforme les probabilités prédites par un modèle de langue en une séquence réelle de jetons de sortie.
deterministic · fr: déterministe déterministe · en : deterministic computing informatique : Describes a process, algorithm, or system that, under the same initial conditions and with the same input, always produces the same output. Se dit d'un processus, d'un algorithme ou d'un système qui, dans les mêmes conditions initiales et avec la même entrée, produit toujours la même sortie.
Key pointsL'essentiel
InferenceInférence
A model cannot change a token once it is written, so a wrong detail early becomes part of what the rest of the answer is written to agree with.
Un modèle ne peut plus modifier un jeton une fois écrit, si bien qu'un détail erroné au début devient une base avec laquelle le reste de la réponse est rédigé pour s'accorder.
Key pointsL'essentiel
InferenceInférence
A model only ever predicts the next token, so writing out the steps spreads the work of a hard problem over many tokens; that helps most on problems that can be calculated, and much less elsewhere.
Un modèle ne fait que prédire le jeton suivant ; écrire les étapes répartit donc le travail d'un problème difficile sur de nombreux jetons, ce qui aide surtout pour les problèmes qui peuvent être calculés, et beaucoup moins ailleurs.
Page 1Page 1
InferenceInférence
- is simply the process of using a trained model. In contrast to the training phases, during inference, the model itself (its parameters) no longer changes.
- Every new conversation uses the same fixed model. The commercial model you use is identical to the one used by everyone else using that same service.
- L' est simplement le fait d'utiliser un modèle entraîné. Contrairement à ce qui se passe pendant l'entraînement, le modèle lui-même (ses paramètres) ne change plus pendant l'inférence.
- Chaque nouvelle conversation utilise le même modèle figé. Le modèle commercial que vous utilisez est identique à celui qu'utilisent toutes les autres personnes qui se servent du même service.
inference · fr: inférence inférence · en : inference machine learning apprentissage automatique : The stage in which a trained AI model processes new input to produce a prediction, classification, decision, or generated output. Étape au cours de laquelle un modèle d'IA entraîné traite une nouvelle entrée pour produire une prédiction, une classification, une décision ou une sortie générée.
Page 1Page 1
Page 2Page 2
The context windowLa fenêtre contextuelle
- The is everything a model can see at once, and every part of a request competes for the same room.
- An advertised window is a limit, not a promise: reliable use of the whole of it is measurably worse than use of a small part.
- La correspond à tout ce qu'un modèle peut voir à la fois, et chaque partie d'une requête se dispute la même place.
- La taille annoncée d'une fenêtre est une limite, pas une promesse : un modèle utilise nettement moins bien la totalité de sa fenêtre qu'une petite partie de celle-ci.
context window · fr: fenêtre contextuelle fenêtre contextuelle · en : context window language models modèles de langue : "The amount of input (like text) that an AI system can process at one time during a task. Think of it as a model's short-term memory. A model can only consider so much text when generating its next response, and once the conversation exceeds its context window, the model starts 'forgetting' prior responses." (Stanford HAI). Quantité d'entrée (du texte, par exemple) qu'un système d'IA peut traiter à la fois pendant une tâche ; en quelque sorte, la mémoire à court terme du modèle. Un modèle ne peut considérer qu'une quantité limitée de texte pour générer sa prochaine réponse et, quand la conversation dépasse sa fenêtre contextuelle, il commence à « oublier » les réponses antérieures (d'après Stanford HAI, traduction libre).
Page 2Page 2
Page 2Page 2
Page 2Page 2
Page 3Page 3
LLMs are non-deterministicLes GML ne sont pas déterministes
- A model computes a probability for every token it knows, and a separate step then picks one of them, usually with an element of chance.
- Because of that element of chance, chatbots are not : the same question can get different answers, so a single answer tells you little about a model.
- Un modèle calcule une probabilité pour chaque jeton qu'il connaît, puis une étape distincte en choisit un, généralement avec une part de hasard.
- En raison de cette part de hasard, les agents conversationnels ne sont pas : une même question peut obtenir des réponses différentes, si bien qu'une seule réponse en dit peu sur un modèle.
deterministic · fr: déterministe déterministe · en : deterministic computing informatique : Describes a process, algorithm, or system that, under the same initial conditions and with the same input, always produces the same output. Se dit d'un processus, d'un algorithme ou d'un système qui, dans les mêmes conditions initiales et avec la même entrée, produit toujours la même sortie.
Page 3Page 3
Page 3Page 3
Page 4Page 4
Temperature, top-p and top-kTempérature, top-p et top-k
- One setting changes the chance each token has of being picked; two others limit the list of tokens that can be picked.
- Chat interfaces generally do not show these settings, and on their newest models providers are withdrawing them from their APIs too; the model still picks tokens with an element of chance.
- Un réglage modifie les chances qu'a chaque jeton d'être choisi ; deux autres limitent la liste des jetons qui peuvent être choisis.
- Les interfaces conversationnelles n'affichent généralement pas ces réglages, et pour leurs modèles les plus récents, les fournisseurs les retirent aussi de leurs API ; le modèle choisit toujours ses jetons avec une part de hasard.
Page 4Page 4
Page 4Page 4
Page 4Page 4
Page 4Page 4
Page 4Page 4
Page 4Page 4
Page 5Page 5
Errors spread through contextLes erreurs se propagent dans le contexte
- An LLM writes one token at a time and cannot change a token once it is written: every next token is predicted from everything written so far, mistakes included.
- A wrong detail early in an answer becomes part of what the rest of the answer is written to agree with.
- Un GML écrit un jeton à la fois et ne peut plus modifier un jeton une fois écrit : chaque jeton suivant est prédit à partir de tout ce qui a été écrit jusque-là, erreurs comprises.
- Un détail erroné au début d'une réponse devient une base avec laquelle le reste de la réponse est rédigé pour s'accorder.
Page 5Page 5
Page 6Page 6
Reasoning step by stepRaisonner étape par étape
- During inference, an LLM only predicts one token at a time. Asked for an answer straight away, it has to do all the work in the prediction of a few tokens; working step by step spreads that work over many tokens, each building on the ones before.
- Asking a model to work through its steps helps most where an answer can be calculated or checked by rule, but much less where the judgement is about language.
- Pendant l'inférence, un GML ne fait que prédire un jeton à la fois. S'il doit répondre directement, tout le travail doit se faire dans la prédiction de quelques jetons ; résoudre le problème étape par étape répartit ce travail sur de nombreux jetons, chacun s'appuyant sur les précédents.
- Demander à un modèle de détailler les étapes aide surtout quand la réponse peut être calculée ou vérifiée selon une règle, mais beaucoup moins quand il s'agit de juger la langue.
Page 6Page 6
