Building a corpus from the webCréer un corpus à partir du web

The web as raw material

The web is the largest collection of texts ever assembled, and it has served as raw material for corpora for twenty years (Kilgarriff and Grefenstette, 2003). Sketch Engine automates the whole chain: search, download, cleaning and annotation data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. .

Starting the build

Click “NEW CORPUS” (the button in the top right corner of the corpus list, or the option at the bottom of the search box).

Give the corpus a name, choose “single language corpus” and French. The description is optional.

What is available depends on the language: “available features” shows what is possible in French. For comparison, a less-resourced language such as Chuj offers far fewer options.

Where the texts come from

Next you choose between uploading your own files (to analyze a corpus you already have) and building a corpus from texts found online. We have no corpus at hand, so: “find texts on the web”. The page also shows your account’s storage space and how much of it you have used.

There are three ways of finding texts:

• “web search”: search online from a few keywords;
• “URLs”: supply a list of addresses to download;
• “website”: download a complete site.

The ”?” beside each option gives more detail. We take “web search”: the tool will query the Bing search engine with different combinations of your keywords.

The settings of the web search can also be adjusted at this step; the defaults are fine for this exercise.

The keywords

What is left is the keywords that will guide the search. I suggest you start from your own expertise and build a corpus on a subject you know well: crochet, manga, figure skating, translation. You will be all the better placed to judge whether the texts it finds are relevant.

Then click GO! and wait a little.

The tool shows how many pages each combination of keywords found. Each line unfolds to show the addresses of the pages; deselect the ones that are not relevant to keep them out of the final corpus.

One more wait while the tool downloads and processes the texts, especially if it found a lot of pages.

Written alternately in EN and FR, translation partly generated in both directions. Rédigé en alternance en EN et en FR, traduction en partie générée dans les deux sens. Updated 5 September 2026

Le web comme matière première

Le web est la plus grande collection de textes jamais réunie, et il sert de matière première aux corpus depuis vingt ans (Kilgarriff et Grefenstette, 2003). Sketch Engine automatise toute la chaîne : recherche, téléchargement, nettoyage et annotation data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. .

Lancer la création

Cliquez sur « NEW CORPUS » (le bouton dans le coin supérieur droit de la liste des corpus, ou l’option au bas de la barre de recherche).

Donnez un nom au corpus, choisissez « single language corpus » et le français. La description est facultative.

Les fonctionnalités dépendent de la langue : « available features » montre ce qui est possible en français. À titre de comparaison, une langue peu dotée comme le chuj offre beaucoup moins d’options.

La source des textes

Il faut ensuite choisir entre téléverser vos propres fichiers (pour analyser un corpus que vous possédez déjà) et construire un corpus à partir de textes en ligne. Nous n’avons pas de corpus sous la main, donc : « find texts on the web ». La page indique aussi l’espace de stockage de votre compte et ce que vous en avez utilisé.

Pour trouver des textes, trois options :

• « web search » : chercher en ligne à partir de quelques mots-clés ;
• « URLs » : fournir une liste d’adresses à télécharger ;
• « website » : télécharger un site complet.

Les « ? » à côté de chaque option donnent plus de détails. Nous prenons « web search » : l’outil interrogera le moteur de recherche Bing avec différentes combinaisons de vos mots-clés.

Les paramètres de la recherche web se règlent aussi à cette étape ; les valeurs par défaut conviennent pour cet exercice.

Les mots-clés

Reste à définir les mots-clés qui guideront la recherche. Je propose que vous partiez de votre propre expertise et créiez un corpus sur un sujet que vous connaissez bien : le crochet, les mangas, le patinage artistique, la traduction… Vous saurez d’autant mieux juger si les textes récoltés sont pertinents.

Puis cliquez sur GO! et patientez un peu.

L’outil montre combien de pages chaque combinaison de mots-clés a trouvées. Chaque ligne se déplie pour afficher les adresses des pages ; désélectionnez celles qui ne sont pas pertinentes pour les exclure du corpus final.

Une dernière attente pendant que l’outil télécharge et traite les textes, surtout s’il a trouvé beaucoup de pages.

Written alternately in EN and FR, translation partly generated in both directions. Rédigé en alternance en EN et en FR, traduction en partie générée dans les deux sens. Mise à jour 5 septembre 2026