Where the text comes fromD'où vient le texte

TRA6008 S2 · in classS2 · en classe

Crawling the web

The largest single source for most models is a crawl of the public web.

A downloaded page comes with navigation menus, cookie banners, advertisements, boilerplate footers and the HTML that structures all of it, so the running text has to be pulled out of the markup first, and that extraction is itself imperfect.

What went into one published model

GPT-3 is a useful case because its composition was published, which is unusual (Brown et al., 2020).

Source	Tokens	Share of training
Common Crawl (filtered)	410 billion	60 %
WebText2	19 billion	22 %
Books1	12 billion	8 %
Books2	55 billion	8 %
Wikipedia	3 billion	3 %

The table names sources it does not describe. Brown et al. (2020) account for Books1 and Books2 in a single phrase, “two internet-based books corpora”, and say nothing about what is in them or where they came from, although the two together come to 67 billion tokens and Books2 alone is the second largest source in the list.

A source’s share of the words is the amount of text it contributed. Its share of the training is the number of times the model read that text, and the two come apart: Common Crawl is 82 % of the words and 60 % of the training, while Wikipedia is well under 1 % of the words and 3 % of the training. So the model went through Wikipedia several times over while seeing much of the crawl once or not at all.

Sampling weights manage quality without anyone editing the text. Sources trusted to be clean and well written are read repeatedly; the messy bulk is read thinly.

No labels on any of it

None of this material arrives with annotation data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. . No marker says which language a document is in, whether it is fiction, whether its claims were checked, or whether its author knew the subject. A medical paper and a post inventing a cure are both sequences of tokens whose next word can be predicted.

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Updated 10 September 2026

L’exploration du Web

La principale source, pour la plupart des modèles, est une exploration du Web public.

Une page téléchargée arrive avec ses menus de navigation, ses bandeaux de témoins, ses publicités, ses pieds de page standardisés et le HTML qui structure le tout ; il faut donc d’abord extraire le texte courant du balisage, et cette extraction est elle-même imparfaite.

Ce qui est entré dans un modèle publié

GPT-3 est un cas utile parce que sa composition a été publiée, ce qui est rare (Brown et al., 2020).

Source	Jetons	Part de l’entraînement
Common Crawl (filtré)	410 milliards	60 %
WebText2	19 milliards	22 %
Books1	12 milliards	8 %
Books2	55 milliards	8 %
Wikipédia	3 milliards	3 %

Le tableau nomme des sources qu’il ne décrit pas. Brown et al. (2020) rendent compte de Books1 et de Books2 en une seule expression, « deux corpus de livres tirés d’Internet », et ne disent rien de leur contenu ni de leur provenance, alors que les deux réunis font 67 milliards de jetons et que Books2 est à lui seul la deuxième source en importance de la liste.

La part des mots d’une source est la quantité de texte qu’elle a fournie. Sa part de l’entraînement est le nombre de fois que le modèle a lu ce texte, et les deux se dissocient : Common Crawl représente 82 % des mots et 60 % de l’entraînement, tandis que Wikipédia est bien en dessous de 1 % des mots et compte pour 3 % de l’entraînement. Le modèle a donc parcouru Wikipédia plusieurs fois, alors qu’il n’a vu qu’une fois, ou pas du tout, une bonne partie de l’exploration.

Les poids d’échantillonnage gèrent la qualité sans que personne ne modifie le texte. Les sources jugées propres et bien écrites sont lues à répétition ; la masse brouillonne n’est lue que superficiellement.

Aucune étiquette sur tout cela

Aucun de ces textes n’arrive avec une annotation data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. . Aucun marqueur n’indique en quelle langue est un document, s’il s’agit de fiction, si ses affirmations ont été vérifiées, ni si son auteur connaissait le sujet. Un article médical et une publication qui invente un remède sont l’un comme l’autre des suites de jetons dont on peut prédire le mot suivant.

Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Mise à jour 23 septembre 2026