Garbage in, garbage outMédiocre en entrée, médiocre en sortie
TRA6008 S3 · in classS3 · en classe
An old computing principle
Garbage in, garbage out (GIGO) is a concept that comes from the early days of computing. It refers to how dependent computer systems are on input, whether those are coded rules or patterns learned from data: the output can only ever be as good as the input. While it can be applied to rule-based systems rule-based systemsystème à base de règles AIIA A system whose behaviour is fixed by rules that people wrote, most often of the form "if this condition, then this action", so that every output can be traced to the rule that produced it.Système dont le comportement est fixé par des règles écrites par des personnes, le plus souvent de la forme « si cette condition, alors cette action », de sorte que chaque résultat peut être rapporté à la règle qui l'a produit. as well, it has become increasingly associated with machine learning machine learning (ML)apprentissage automatique machine learningapprentissage automatique An approach to artificial intelligence in which a model is trained on data or experience so that its adjustable parameters come to reflect patterns relevant to a task.Approche de l'intelligence artificielle dans laquelle un modèle est entraîné sur des données ou sur l'expérience, de sorte que ses paramètres ajustables en viennent à refléter des régularités pertinentes pour une tâche. , where the “garbage in” refers to the training data.
The principle applies most sharply to a large language model large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. . Training one takes more text than any group of people could read, so the corpus is crawled from the web and filtered by automatic rules rather than by editorial judgement (see also the What gets filtered out page, in the LLM lifecycle module) (voir aussi la page Ce qui est filtré, dans le module Cycle de vie des GML). Those rules can tell usable text from unusable, not true from false.
Four levels where garbage can enter
In an LLM, the input can contain “garbage” influencing the output at four levels (Figure 1figure 1). The training corpus training corpusbase d'apprentissage datadonnées A collection of text or other language data used to estimate or update a model's parameters during training or pretraining.Collection de textes ou d'autres données langagières servant à estimer ou à mettre à jour les paramètres d'un modèle pendant l'entraînement ou le préentraînement. is the first. It contains anything from quality newspapers, peer-reviewed articles and prize-winning literature to conspiracy blogs, social media and fan fiction, and nothing marks which is which (see also the Training data chapter, in the LLM lifecycle module) (voir aussi le chapitre Les données d'entraînement, dans le module Cycle de vie des GML). All of it is text whose next word can be predicted, and all of it shapes the parameters.
The fine-tuning fine-tuningaffinage machine learningapprentissage automatique Further training of a pretrained model on new data to adapt it for a particular task, domain, or intended behaviour.Poursuite de l'entraînement d'un modèle préentraîné sur un jeu de données généralement plus restreint et spécialisé, afin de l'adapter à une tâche ou à un domaine particulier. data is the second: a comparatively small set of instruction examples sets how the model behaves, so a careless example can teach a careless habit to every conversation that follows (see also the Fine-tuning chapter, in the LLM lifecycle module) (voir aussi le chapitre Affinage, dans le module Cycle de vie des GML).
The system prompt system promptrequête générative système promptingrequêtes An instruction supplied to a language model before or alongside the user's input that establishes the model's role, task, behavioural rules, tone, or other context for the interaction.Instruction fournie à un modèle de langue avant l'entrée de l'utilisateur, ou en parallèle, qui établit le rôle du modèle, sa tâche, ses règles de conduite, son ton ou d'autres éléments de contexte pour l'interaction. is the third. Its standing instructions apply to every exchange, so a badly framed one produces the same misbehaviour consistently rather than occasionally.
Your own prompt promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. is the fourth, and it is the level you control. A question can start from a false premise, and a model may build on it rather than challenge it.
Keeping “garbage” out of your own prompt is a matter of how you write it (see also the Be specific and ask for enough page, in the Using LLMs module) (voir aussi la page Être précis et en demander assez, dans le module Utiliser les GML).
Un vieux principe informatique
« Médiocre en entrée, médiocre en sortie » (GIGO, de l’anglais garbage in, garbage out) est un concept qui vient des débuts de l’informatique. Il renvoie à la dépendance des systèmes informatiques envers leur entrée, qu’il s’agisse de règles codées ou de régularités apprises à partir de données : la sortie ne peut jamais être meilleure que l’entrée. Le principe vaut aussi pour les systèmes à base de règles rule-based systemsystème à base de règles AIIA A system whose behaviour is fixed by rules that people wrote, most often of the form "if this condition, then this action", so that every output can be traced to the rule that produced it.Système dont le comportement est fixé par des règles écrites par des personnes, le plus souvent de la forme « si cette condition, alors cette action », de sorte que chaque résultat peut être rapporté à la règle qui l'a produit. , mais il est de plus en plus associé à l’apprentissage automatique machine learning (ML)apprentissage automatique machine learningapprentissage automatique An approach to artificial intelligence in which a model is trained on data or experience so that its adjustable parameters come to reflect patterns relevant to a task.Approche de l'intelligence artificielle dans laquelle un modèle est entraîné sur des données ou sur l'expérience, de sorte que ses paramètres ajustables en viennent à refléter des régularités pertinentes pour une tâche. , où le « garbage in » désigne les données d’entraînement.
Le principe s’applique avec le plus d’acuité à un grand modèle de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. (GML). En entraîner un demande plus de texte qu’aucun groupe de personnes ne pourrait lire : le corpus provient donc de l’exploration du Web et il est filtré par des règles automatiques plutôt que par un jugement éditorial (see also the What gets filtered out page, in the LLM lifecycle module) (voir aussi la page Ce qui est filtré, dans le module Cycle de vie des GML). Ces règles distinguent le texte utilisable du texte inutilisable, pas le vrai du faux.
Quatre niveaux où le « garbage » peut entrer
Dans un GML, l’entrée peut contenir du « garbage » qui influence la sortie à quatre niveaux (Figure 1figure 1). La base d’apprentissage training corpusbase d'apprentissage datadonnées A collection of text or other language data used to estimate or update a model's parameters during training or pretraining.Collection de textes ou d'autres données langagières servant à estimer ou à mettre à jour les paramètres d'un modèle pendant l'entraînement ou le préentraînement. est le premier. Elle contient aussi bien des journaux de qualité, des articles évalués par les pairs et de la littérature primée que des blogues conspirationnistes, des médias sociaux et de la fanfiction, et rien n’indique ce qui est quoi (see also the Training data chapter, in the LLM lifecycle module) (voir aussi le chapitre Les données d'entraînement, dans le module Cycle de vie des GML). Tout cela est du texte dont on peut prédire le mot suivant, et tout cela façonne les paramètres.
Les données d’affinage fine-tuningaffinage machine learningapprentissage automatique Further training of a pretrained model on new data to adapt it for a particular task, domain, or intended behaviour.Poursuite de l'entraînement d'un modèle préentraîné sur un jeu de données généralement plus restreint et spécialisé, afin de l'adapter à une tâche ou à un domaine particulier. sont le deuxième : un ensemble comparativement restreint d’exemples d’instructions fixe la façon dont le modèle se comporte, de sorte qu’un exemple négligent peut enseigner une habitude négligente à toutes les conversations qui suivent (see also the Fine-tuning chapter, in the LLM lifecycle module) (voir aussi le chapitre Affinage, dans le module Cycle de vie des GML).
La requête générative système system promptrequête générative système promptingrequêtes An instruction supplied to a language model before or alongside the user's input that establishes the model's role, task, behavioural rules, tone, or other context for the interaction.Instruction fournie à un modèle de langue avant l'entrée de l'utilisateur, ou en parallèle, qui établit le rôle du modèle, sa tâche, ses règles de conduite, son ton ou d'autres éléments de contexte pour l'interaction. est le troisième. Ses instructions permanentes s’appliquent à chaque échange, de sorte qu’une formulation maladroite produit le même mauvais comportement de façon constante plutôt qu’occasionnelle.
Votre propre requête promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. est le quatrième, et c’est le niveau que vous contrôlez. Une question peut reposer sur une présupposition erronée, et un modèle peut construire dessus plutôt que la remettre en cause.
Garder le « garbage » hors de votre propre requête est une question de formulation (see also the Be specific and ask for enough page, in the Using LLMs module) (voir aussi la page Être précis et en demander assez, dans le module Utiliser les GML).
Sources
- Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
Sources
- Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/