The impact of GIGOL'impact du GIGO

While the GIGO principle is not the only cause of the many issues associated with LLMs and AI in general, it is a significant factor in many of the biggest ones, so you will see it referred to in many of the other chapters and pages of this module. For instance:

• Bias. Models learn from biased text and produce biased output (see also the Bias chapter) (voir aussi le chapitre Biais).
• Linguistic hegemony. Models learn mostly from English, so they work less well in every other language (see also the Linguistic hegemony page) (voir aussi la page L'hégémonie linguistique).
• Hidden work. Somebody has to go through the “garbage”, and that somebody often works in poor conditions.
• Hallucinations. Models are not fed only true and objective information, so they can reproduce wrong information (see also the Hallucinations chapter) (voir aussi le chapitre Les fabulations de l'IA).
• Privacy and copyright. Whatever went into the corpus can come back out of it, personal information and copyrighted text included.
• Model collapse. What models produce is published and collected by the next crawl, so the output of one generation becomes the input of the next.

None of these has a single cause. Models invent information that was in no corpus at all, part of the language gap comes from how text is cut into tokens token²jeton textuel² language modelsmodèles de langue A unit of text that a language model processes or generates.Unité de texte qu'un modèle de langue traite ou génère. Un jeton peut correspondre à un mot entier, à une partie de mot, à un signe de ponctuation ou à une séquence plus petite de caractères ou d'octets. rather than from how much of a language the corpus contained, and the conditions data workers are paid under are an economic arrangement rather than a property of the text. GIGO is one factor among several, but it is a pretty pervasive one.

Le principe du GIGO n’est pas la seule cause des nombreux problèmes associés aux GML et à l’IA en général, mais il entre pour une part importante dans plusieurs des plus grands, si bien que vous le verrez évoqué dans beaucoup d’autres chapitres et pages de ce module. Par exemple :

• Biais. Les modèles apprennent à partir de textes biaisés et produisent des sorties biaisées (see also the Bias chapter) (voir aussi le chapitre Biais).
• Hégémonie linguistique. Les modèles apprennent surtout à partir de l’anglais, et fonctionnent donc moins bien dans toutes les autres langues (see also the Linguistic hegemony page) (voir aussi la page L'hégémonie linguistique).
• Travail invisible. Quelqu’un doit passer à travers tout le « garbage », et ce quelqu’un travaille souvent dans de mauvaises conditions.
• Fabulations de l’IA. Les modèles ne sont pas nourris uniquement d’informations vraies et objectives, et peuvent donc reproduire des informations fausses (see also the Hallucinations chapter) (voir aussi le chapitre Les fabulations de l'IA).
• Vie privée et droit d’auteur. Tout ce qui est entré dans le corpus peut en ressortir, renseignements personnels et textes protégés compris.
• Effondrement du modèle. Ce que les modèles produisent est publié puis récolté par l’exploration suivante, de sorte que la sortie d’une génération devient l’entrée de la suivante.

Aucun de ces problèmes n’a une cause unique. Les modèles inventent des informations qui ne figuraient dans aucun corpus, une partie de l’écart entre les langues tient à la façon dont le texte est découpé en jetons token²jeton textuel² language modelsmodèles de langue A unit of text that a language model processes or generates.Unité de texte qu'un modèle de langue traite ou génère. Un jeton peut correspondre à un mot entier, à une partie de mot, à un signe de ponctuation ou à une séquence plus petite de caractères ou d'octets. plutôt qu’à la quantité de chaque langue présente dans le corpus, et les conditions dans lesquelles les personnes qui annotent les données sont payées relèvent d’un arrangement économique plutôt que d’une propriété du texte. Le GIGO est un facteur parmi d’autres, mais il est plutôt omniprésent.