Ayla's learning materials Matériel pédagogique d'Ayla
Public

Training and inferenceEntraînement et inférence

TRA6008 S3 · in classS3 · en classe

Two costs, at different times

The environmental cost of a language model language model (LM)modèle de langue language modelsmodèles de langue A machine-learning model that estimates how likely different sequences of language are.Modèle d'apprentissage automatique qui estime la probabilité de différentes séquences de langue. is usually stated as a carbon footprint, in grams or tonnes of CO2 equivalent.

A language model causes emissions at two different times: once when it is trained, and again every time someone uses it. As a reminder, training adjusts the model’s parameters parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. step by step until the model is finished (see also the Pretraining chapter, in the LLM lifecycle module) (voir aussi le chapitre Préentraînement, dans le module Cycle de vie des GML), and inference inferenceinférence machine learningapprentissage automatique The stage in which a trained AI model processes new input to produce a prediction, classification, decision, or generated output.Étape au cours de laquelle un modèle d'IA entraîné traite une nouvelle entrée pour produire une prédiction, une classification, une décision ou une sortie générée. is the use of that finished model, whose parameters no longer change (Figure 2figure 2, reused from the inference chapter) (see also the Inference page, in the LLM lifecycle module) (voir aussi la page Inférence, dans le module Cycle de vie des GML).

Two bands. The top band, headed training: a process, notes that the parameters change at every step and shows five small grids of coloured cells in a row, joined by arrows; in each grid after the first, the cells that changed since the previous one are ringed. A bracket groups the first three as pretraining and the last two as fine-tuning. An arrow labelled training ends: this is the result leads from the last grid down into the bottom band, headed inference: using the result, with a note that the parameters stay the same in every conversation. There, a box labelled the trained model contains the same grid as the last training step, with no ringed cells, and an arrow leads from it to a dashed frame headed same model for everyone, no memory across conversations, containing four conversations. You on Monday write: Use courriel for email. Translate: Send an email. The answer is Envoyez un courriel. You on Tuesday write: Translate: Send an email. The answer is Envoyez un e-mail. Sam on Monday writes: I'm vegetarian. Suggest a dinner. The answer is a lentil curry. Alex on Monday writes: Suggest a dinner. The answer is a grilled steak.
Figure 2. Training changes the parameters step by step; the model it leaves behind answers every conversation without changing. A copy of the figure in the inference chapter.

How the two costs add up

Training and use add up differently (Figure 3figure 3):

A chart of emissions added up over the time a model is in use. Training is a single block at the start, emitted once, with a dashed line extending its height across the chart. Use is a curve that starts at zero and rises with every query, crossing the training level about two thirds of the way along, where a dot is labelled use overtakes training. A note says the chart is illustrative, not measured.
Figure 3. Training emits once; use adds up with every query until it outweighs training. The curve is illustrative.

The International Energy Agency states the same for AI as a whole:

“The balance of AI-related energy consumption has already shifted decisively from training to inference” (International Energy Agency, 2026, p. 30).

Figures for one model

Mistral published figures for both costs of its Mistral Large 2 model (Mistral AI, 2025). For what it calls “the environmental footprint of training”, it reports 20.4 kilotonnes of CO2 equivalent (ktCO2e) and 281,000 cubic metres of water, “as of January 2025, and after 18 months of usage”. For one use of its chat assistant, a response of 400 tokens token²jeton textuel² language modelsmodèles de langue A unit of text that a language model processes or generates.Unité de texte qu'un modèle de langue traite ou génère. Un jeton peut correspondre à un mot entier, à une partie de mot, à un signe de ponctuation ou à une séquence plus petite de caractères ou d'octets. (roughly a page), it reports 1.14 grams of CO2 equivalent and 45 millilitres of water. Both figures include the manufacture of the servers, not only the electricity, and the figure for one response leaves out the user’s own device.Mistral’s announcement does not say how the 18 months of usage enter the training figure; its results were to be published in the Base Empreinte database of ADEME, the French ecological transition agency.

Mistral’s own infographic puts one such answer in everyday terms, with comparisons of the company’s choosing (Figure 4figure 4).

Mistral AI's infographic, titled Mistral AI's Large 2 Model, marginal impact of generating 1 page of text (400 tokens). Three columns. Greenhouse gas emissions: 1.14 g CO2e, compared with watching online streaming for 10 seconds, with a note that this is for a viewer based in the US and would amount to 55 seconds for a viewer in France. Water consumption: 0.05 litres, compared with growing a small pink radish. Materials consumption: 0.2 mg Sb eq, compared with producing a 2 euro cent coin.
Figure 4. Mistral's infographic for one page of text from Mistral Large 2, published with its lifecycle assessment on 22 July 2025 (Mistral AI, 2025). Sb eq measures the depletion of mineral resources, in antimony equivalent.

By the yardsticks of the U.S. Environmental Protection Agency (2026), the training figure is about what 4,800 gasoline cars emit in a year of driving, and one answer is about a tenth of what charging a smartphone emits on the US grid.

Mistral’s two figures are about ten orders of magnitude apart (Figure 5figure 5).

A logarithmic scale of grams of CO2 equivalent from 1 to 10 to the power 11. One answer of about a page sits at 1.14 grams; training the model sits at 20.4 kilotonnes, or 20,400,000,000 grams. A bracket between them reads about ten orders of magnitude apart.
Figure 5. Training Mistral Large 2 against one answer of about 400 tokens, from Mistral's figures of 2025.

Both figures describe a model released in 2024, of 123 billion parameters according to Epoch AI (2026), and one short text answer (Figure 6figure 6). The largest training runs since then are far bigger: by a very rough estimate, training Grok 3 emitted about 110 kilotonnes of CO2 and GPT-6 Astra about 230, some five and eleven times Mistral’s figure.Epoch AI (2026) estimates that Grok 3 was trained on about 80,000 GPUs graphics processing unit (GPU)processeur graphique (GPU) computinginformatique A processor with a large number of cores that work in parallel, designed to render images, and now the standard hardware for training and running neural networks.Processeur doté d'un grand nombre de cœurs fonctionnant en parallèle, conçu pour produire des images, et devenu le matériel de référence pour entraîner et faire fonctionner des réseaux de neurones. drawing about 110 megawatts for about 90 days, and that the run behind GPT-6 Astra drew about 230 megawatts, for a duration it does not give. My calculation assumes 90 days for both and the world-average grid, about 460 grams of CO2 per kilowatt-hour (International Energy Agency, 2025, p. 78): about 240 gigawatt-hours and 110 kilotonnes for Grok 3, about 500 gigawatt-hours and 230 kilotonnes for GPT-6 Astra. Both count electricity only, where Mistral’s figure also counts manufacturing. For Grok 4, run largely on gas turbines, Masley (2026d) cites an Epoch AI estimate of about 310 gigawatt-hours and 154,000 tonnes of CO2, the same order of magnitude. No provider has published the emissions of a run that size, so Mistral’s training figure is likely well below that of today’s largest models. For a plain text answer, the figure is probably on the high side today, since the energy per task has been falling by at least an order of magnitude a year (International Energy Agency, 2026, p. 8). One request, however, can now mean a reasoning model reasoning modelmodèle de raisonnement language modelsmodèles de langue A language model designed to improve its performance on complex, multi-step problems by using additional computation during inference.Modèle de langue conçu pour améliorer sa performance sur des problèmes complexes en plusieurs étapes en recourant à un surcroît de calcul pendant l'inférence. or an agent AI agentagent agentsagents An AI system that selects and carries out actions toward a goal, often by using tools or calling other programs and adapting later actions to the results it receives.Système d'IA qui choisit et exécute des actions en vue d'un but, souvent en utilisant des outils ou en appelant d'autres programmes et en adaptant ses actions ultérieures aux résultats reçus. working through many steps, which uses far more than a page of plain text (see also the What one use costs page) (voir aussi la page Ce que coûte une utilisation).

Two panels. One request: Mistral's short answer of 2025, at 1.14 grams of CO2 equivalent, a tenth of a phone charge's emissions, with a dashed arrow up to a reasoning agent working through several steps, up to about 1,000 times the energy, and a dashed arrow down to a plain text answer today, probably less, as the energy per task falls tenfold a year. Training one model: Mistral Large 2 of 2024, at 20.4 kilotonnes, about 4,800 cars driven for a year, with a dashed arrow up to a question mark: today's largest training runs, likely well above and not published: very rough estimates of about 110 kilotonnes of CO2 for Grok 3 and about 230 for GPT-6 Astra.
Figure 6. Where today's uses and training runs stand against Mistral's two figures. Mistral's figures: Mistral AI (2025). The thousandfold for a reasoning agent: International Energy Agency (2026, p. 29). The tenfold yearly fall in energy per task: International Energy Agency (2026, p. 8), the agency's own summary of recent years rather than a single measurement. Phone charge and cars: U.S. Environmental Protection Agency (2026). Grok 3 and GPT-6 Astra: my rough calculation from Epoch AI (2026) and International Energy Agency (2025), explained in the margin note.
Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Updated 2 October 2026

Deux coûts, à deux moments

Le coût environnemental d’un modèle de langue language model (LM)modèle de langue language modelsmodèles de langue A machine-learning model that estimates how likely different sequences of language are.Modèle d'apprentissage automatique qui estime la probabilité de différentes séquences de langue. s’exprime généralement sous forme d’empreinte carbone, en grammes ou en tonnes d’équivalent CO2.

Un modèle de langue cause des émissions à deux moments : une fois lors de son entraînement, puis chaque fois que quelqu’un l’utilise. Pour rappel, l’entraînement ajuste les paramètres parameterparamètre de modèle machine learningapprentissage automatique A numerical value learned during a model's training and used in its computations.Valeur numérique apprise pendant l'entraînement d'un modèle et utilisée dans ses calculs. du modèle pas à pas jusqu’à ce que le modèle soit terminé (see also the Pretraining chapter, in the LLM lifecycle module) (voir aussi le chapitre Préentraînement, dans le module Cycle de vie des GML), et l’inférence inferenceinférence machine learningapprentissage automatique The stage in which a trained AI model processes new input to produce a prediction, classification, decision, or generated output.Étape au cours de laquelle un modèle d'IA entraîné traite une nouvelle entrée pour produire une prédiction, une classification, une décision ou une sortie générée. est l’utilisation de ce modèle terminé, dont les paramètres ne changent plus (Figure 2figure 2, reprise du chapitre sur l’inférence) (see also the Inference page, in the LLM lifecycle module) (voir aussi la page Inférence, dans le module Cycle de vie des GML).

Deux bandes. La bande du haut, intitulée l'entraînement : un processus, indique que les paramètres changent à chaque étape et montre cinq petites grilles de cases colorées en rangée, reliées par des flèches ; dans chaque grille après la première, les cases qui ont changé depuis la précédente sont cerclées. Une accolade regroupe les trois premières sous préentraînement et les deux dernières sous affinage. Une flèche marquée fin de l'entraînement : voici le résultat mène de la dernière grille à la bande du bas, intitulée l'inférence : utiliser le résultat, avec la mention que les paramètres restent les mêmes dans chaque conversation. On y voit une boîte, le modèle entraîné, qui contient la même grille que la dernière étape d'entraînement, sans case cerclée, et une flèche qui mène à un cadre en pointillés intitulé même modèle pour tous, aucune mémoire entre conversations, qui contient quatre conversations. Vous, lundi : Courriel pour email. Traduis : Send an email. Réponse : Envoyez un courriel. Vous, mardi : Traduis : Send an email. Réponse : Envoyez un e-mail. Sam, lundi : Je suis végétarien. Propose un souper. Réponse : Un curry de lentilles. Alex, lundi : Propose un souper. Réponse : Un steak grillé.
Figure 2. L'entraînement modifie les paramètres étape par étape ; le modèle qui en résulte répond à chaque conversation sans changer. Une copie de la figure du chapitre sur l'inférence.

Comment les deux coûts s’additionnent

L’entraînement et l’utilisation s’additionnent différemment (Figure 3figure 3) :

Un graphique des émissions cumulées pendant la durée d'utilisation d'un modèle. L'entraînement est un seul bloc au départ, émis une seule fois, dont la hauteur est prolongée à travers le graphique par une ligne pointillée. L'utilisation est une courbe qui part de zéro et monte à chaque requête ; elle croise le niveau de l'entraînement aux deux tiers environ, à un point marqué l'utilisation dépasse l'entraînement. Une note précise que le graphique est illustratif et non mesuré.
Figure 3. L'entraînement émet une seule fois ; l'utilisation s'accumule à chaque requête jusqu'à dépasser l'entraînement. La courbe est illustrative.

L’Agence internationale de l’énergie (AIE) dit la même chose pour l’IA dans son ensemble :

« The balance of AI-related energy consumption has already shifted decisively from training to inference » [ma traduction : « L’équilibre de la consommation d’énergie liée à l’IA s’est déjà nettement déplacé de l’entraînement vers l’inférence »] (International Energy Agency, 2026, p. 30).

Les chiffres d’un modèle

Mistral a publié des chiffres pour les deux coûts de son modèle Mistral Large 2 (Mistral AI, 2025). Pour ce qu’il appelle « the environmental footprint of training » [ma traduction : « l’empreinte environnementale de l’entraînement »], il déclare 20,4 kilotonnes d’équivalent CO2 (kt éq. CO2) et 281 000 mètres cubes d’eau, « as of January 2025, and after 18 months of usage » [ma traduction : « en janvier 2025, après 18 mois d’utilisation »]. Pour une utilisation de son assistant conversationnel, une réponse de 400 jetons token²jeton textuel² language modelsmodèles de langue A unit of text that a language model processes or generates.Unité de texte qu'un modèle de langue traite ou génère. Un jeton peut correspondre à un mot entier, à une partie de mot, à un signe de ponctuation ou à une séquence plus petite de caractères ou d'octets. (environ une page), il déclare 1,14 gramme d’équivalent CO2 et 45 millilitres d’eau. Les deux chiffres incluent la fabrication des serveurs, pas seulement l’électricité, et le chiffre d’une réponse exclut l’appareil de l’utilisateur.L’annonce de Mistral ne précise pas comment les 18 mois d’utilisation entrent dans le chiffre de l’entraînement ; ses résultats devaient être publiés dans la Base Empreinte de l’ADEME, l’Agence de la transition écologique en France.

L’infographie de Mistral traduit une telle réponse en termes du quotidien, avec des comparaisons choisies par l’entreprise (Figure 4figure 4).

L'infographie de Mistral AI, en anglais, intitulée Mistral AI's Large 2 Model, marginal impact of generating 1 page of text (400 tokens). Trois colonnes. Émissions de gaz à effet de serre : 1,14 g éq. CO2, comparées à 10 secondes de vidéo en ligne, avec la mention que c'est pour une personne aux États-Unis et que cela correspondrait à 55 secondes en France. Consommation d'eau : 0,05 litre, comparée à la culture d'un petit radis rose. Consommation de matériaux : 0,2 mg éq. Sb, comparée à la fabrication d'une pièce de 2 centimes d'euro.
Figure 4. L'infographie de Mistral pour une page de texte produite par Mistral Large 2, publiée avec son analyse du cycle de vie le 22 juillet 2025 (Mistral AI, 2025). L'équivalent Sb mesure l'épuisement des ressources minérales, en équivalent antimoine.

Selon les équivalences de l’agence américaine de protection de l’environnement (U.S. Environmental Protection Agency, 2026), le chiffre de l’entraînement correspond à peu près à ce qu’émettent 4 800 voitures à essence en un an, et une réponse à environ un dixième de ce qu’émet la recharge d’un téléphone intelligent sur le réseau américain.

Les deux chiffres de Mistral sont séparés d’environ dix ordres de grandeur (Figure 5figure 5).

Une échelle logarithmique de grammes d'équivalent CO2, de 1 à 10 puissance 11. Une réponse d'environ une page se situe à 1,14 gramme ; l'entraînement du modèle à 20,4 kilotonnes, soit 20 400 000 000 grammes. Une accolade entre les deux indique environ dix ordres de grandeur d'écart.
Figure 5. L'entraînement de Mistral Large 2 comparé à une réponse d'environ 400 jetons, d'après les chiffres publiés par Mistral en 2025.

Les deux chiffres décrivent un modèle sorti en 2024, de 123 milliards de paramètres selon Epoch AI (2026), et une courte réponse en texte (Figure 6figure 6). Les plus grands entraînements depuis sont bien plus importants : selon une estimation très approximative, l’entraînement de Grok 3 a émis environ 110 kilotonnes de CO2 et celui de GPT-6 Astra environ 230, soit cinq et onze fois le chiffre de Mistral.Epoch AI (2026) estime que Grok 3 a été entraîné sur environ 80 000 processeurs graphiques (GPU) graphics processing unit (GPU)processeur graphique (GPU) computinginformatique A processor with a large number of cores that work in parallel, designed to render images, and now the standard hardware for training and running neural networks.Processeur doté d'un grand nombre de cœurs fonctionnant en parallèle, conçu pour produire des images, et devenu le matériel de référence pour entraîner et faire fonctionner des réseaux de neurones. consommant environ 110 mégawatts pendant environ 90 jours, et que l’entraînement de GPT-6 Astra a consommé environ 230 mégawatts, pour une durée qu’il ne précise pas. Mon calcul suppose 90 jours pour les deux et le réseau mondial moyen, environ 460 grammes de CO2 par kilowattheure (International Energy Agency, 2025, p. 78) : environ 240 gigawattheures et 110 kilotonnes pour Grok 3, environ 500 gigawattheures et 230 kilotonnes pour GPT-6 Astra. Les deux ne comptent que l’électricité, alors que le chiffre de Mistral compte aussi la fabrication. Pour Grok 4, alimenté en grande partie par des turbines à gaz, Masley (2026d) cite une estimation d’Epoch AI d’environ 310 gigawattheures et 154 000 tonnes de CO2, du même ordre de grandeur. Aucun fournisseur n’a publié les émissions d’un entraînement de cette taille, si bien que le chiffre de Mistral pour l’entraînement est sans doute bien en dessous de celui des plus grands modèles actuels. Pour une réponse en texte seul, le chiffre est probablement élevé pour aujourd’hui, puisque l’énergie par tâche baisse d’au moins un ordre de grandeur par an (International Energy Agency, 2026, p. 8). Une requête peut toutefois désormais faire intervenir un modèle de raisonnement reasoning modelmodèle de raisonnement language modelsmodèles de langue A language model designed to improve its performance on complex, multi-step problems by using additional computation during inference.Modèle de langue conçu pour améliorer sa performance sur des problèmes complexes en plusieurs étapes en recourant à un surcroît de calcul pendant l'inférence. ou un agent AI agentagent agentsagents An AI system that selects and carries out actions toward a goal, often by using tools or calling other programs and adapting later actions to the results it receives.Système d'IA qui choisit et exécute des actions en vue d'un but, souvent en utilisant des outils ou en appelant d'autres programmes et en adaptant ses actions ultérieures aux résultats reçus. qui passe par de nombreuses étapes, ce qui consomme bien plus qu’une page de texte seul (see also the What one use costs page) (voir aussi la page Ce que coûte une utilisation).

Deux panneaux. Une requête : la réponse courte de Mistral en 2025, à 1,14 gramme d'équivalent CO2, un dixième des émissions d'une recharge de téléphone, avec une flèche pointillée vers le haut jusqu'à un agent avec raisonnement qui passe par plusieurs étapes, jusqu'à environ 1 000 fois l'énergie, et une flèche pointillée vers le bas jusqu'à une réponse en texte aujourd'hui, sans doute moins, car l'énergie par tâche est divisée par dix par an. L'entraînement d'un modèle : Mistral Large 2, de 2024, à 20,4 kilotonnes, environ 4 800 voitures pendant un an, avec une flèche pointillée vers le haut jusqu'à un point d'interrogation : les plus grands entraînements actuels, sans doute bien au-dessus et non publiés ; estimations très approximatives d'environ 110 kilotonnes de CO2 pour Grok 3 et d'environ 230 pour GPT-6 Astra.
Figure 6. Où se situent les utilisations et les entraînements actuels par rapport aux deux chiffres de Mistral. Chiffres de Mistral : Mistral AI (2025). Le facteur mille pour un agent avec raisonnement : Agence internationale de l'énergie (2026, p. 29). La division par dix par an de l'énergie par tâche : Agence internationale de l'énergie (2026, p. 8), le résumé que fait l'agence des dernières années plutôt qu'une mesure unique. Recharge de téléphone et voitures : agence américaine de protection de l'environnement (2026). Grok 3 et GPT-6 Astra : mon calcul approximatif à partir d'Epoch AI (2026) et de l'Agence internationale de l'énergie (2025), expliqué dans la note en marge.
Written in English. The French version was automatically generated and I have not revised it. Rédigé en anglais. La version française a été générée automatiquement et je ne l'ai pas révisée. Mise à jour 2 octobre 2026

Sources

Sources

Spotted an error? Une erreur ?

Language, content, a broken link: e-mail me what you saw and I will fix it. Langue, contenu, lien brisé : écrivez-moi ce que vous avez vu et je corrige.

ayla.rigouts.terryn@umontreal.ca

Please mention the page: Mentionnez la page :