Reasoning step by stepRaisonner étape par étape
TRA6008 OptionalFacultatif
Writing out the steps
Asking a model to work through a problem step by step is a prompting technique; reasoning models reasoning modelmodèle de raisonnement language modelsmodèles de langue A language model designed to improve its performance on complex, multi-step problems by using additional computation during inference.Modèle de langue conçu pour améliorer sa performance sur des problèmes complexes en plusieurs étapes en recourant à un surcroît de calcul pendant l'inférence. do something similar by themselves before they answer.
During inference inferenceinférence machine learningapprentissage automatique The stage in which a trained AI model processes new input to produce a prediction, classification, decision, or generated output.Étape au cours de laquelle un modèle d'IA entraîné traite une nouvelle entrée pour produire une prédiction, une classification, une décision ou une sortie générée. , all an LLM does is predict the next token, one token at a time (see also the One token at a time page) (voir aussi la page Un jeton à la fois). When you ask for the product of 376 and 42 and want only the answer, all the work of getting to that answer has to happen in the prediction of the one or few tokens that make up the answer. When you let the model work through the problem step by step, each new token only has to take one small step, such as 376 × 40 = 15,040, and the next tokens can build on what is already written (Figure 20figure 20). The final answer then no longer depends on all of that work being done in a single prediction (Wei et al., 2022a).
The steps written out on the way to an answer are called a chain of thought.
Where it helps, and where it does not
Asking a model to write out intermediate steps improves its accuracy accuracyexactitude evaluationévaluation The share of all decisions of a system that are correct, true positives and true negatives together.Part de toutes les décisions d'un système qui sont correctes, vrais positifs et vrais négatifs ensemble. on arithmetic and reasoning problems (Wei et al., 2022a). Later work that brought together over a hundred studies found the benefit mainly on tasks involving mathematics or logic, and much smaller gains on other tasks (Sprague et al., 2025). Judging register or choosing between two acceptable translations is not a calculation, so such tasks may benefit less from reasoning. For translation, switching on a model’s reasoning, or giving it more time to reason, changed its translations of sentences little, levelled off quickly or made them slightly worse (Zebaze et al., 2025; Li et al., 2026; Rajaee et al., 2026). Reasoning structured for translation, with drafting and revision, did improve the results once a model was trained on it (Rajaee et al., 2026), and extra reasoning helped more when a model revised a translation than when it produced one (Li et al., 2026) (see also the Split the task page, in the Using LLMs module) (voir aussi la page Découper la tâche, dans le module Utiliser les GML).
| Asking for steps | Which tasks |
|---|---|
| Clear benefit | a calculation, a rule applied case by case, a check against a list |
| Smaller or mixed benefit | judgement about style, register or fluency |
Every step written out adds tokens to the answer, so the answer takes longer and, on a service billed per token, costs more (see also the Counting in tokens page, in the Language as numbers module) (voir aussi la page Compter en jetons, dans le module Le langage en nombres).
Working through a problem step by step proved useful enough that it has increasingly been built into the models themselves, so it now happens whether you ask for it or not.
Écrire les étapes
Demander à un modèle de résoudre un problème étape par étape est une technique de formulation de requêtes ; les modèles de raisonnement reasoning modelmodèle de raisonnement language modelsmodèles de langue A language model designed to improve its performance on complex, multi-step problems by using additional computation during inference.Modèle de langue conçu pour améliorer sa performance sur des problèmes complexes en plusieurs étapes en recourant à un surcroît de calcul pendant l'inférence. font quelque chose de semblable d’eux-mêmes avant de répondre.
Pendant l’inférence inferenceinférence machine learningapprentissage automatique The stage in which a trained AI model processes new input to produce a prediction, classification, decision, or generated output.Étape au cours de laquelle un modèle d'IA entraîné traite une nouvelle entrée pour produire une prédiction, une classification, une décision ou une sortie générée. , un grand modèle de langue (GML) ne fait que prédire le jeton suivant, un jeton à la fois (see also the One token at a time page) (voir aussi la page Un jeton à la fois). Quand vous demandez le produit de 376 par 42 et ne voulez que la réponse, tout le travail nécessaire pour y arriver doit se faire dans la prédiction du ou des quelques jetons qui forment la réponse. Quand vous laissez le modèle résoudre le problème étape par étape, chaque nouveau jeton n’a qu’une petite étape à franchir, comme 376 × 40 = 15 040, et les jetons suivants peuvent s’appuyer sur ce qui est déjà écrit (Figure 20figure 20). La réponse finale ne dépend alors plus de la réalisation de tout ce travail en une seule prédiction (Wei et al., 2022a).
Les étapes écrites en chemin vers une réponse portent le nom de chaîne de résolution.
Là où cela aide, et là où cela n’aide pas
Demander à un modèle d’écrire les étapes intermédiaires améliore l’exactitude accuracyexactitude evaluationévaluation The share of all decisions of a system that are correct, true positives and true negatives together.Part de toutes les décisions d'un système qui sont correctes, vrais positifs et vrais négatifs ensemble. de ses réponses sur des problèmes d’arithmétique et de raisonnement (Wei et al., 2022a). Des travaux ultérieurs réunissant plus d’une centaine d’études ont trouvé que le bénéfice portait surtout sur les tâches de mathématiques ou de logique, avec des gains bien plus faibles sur les autres tâches (Sprague et al., 2025). Juger du registre ou choisir entre deux traductions acceptables n’est pas un calcul, si bien que ces tâches profitent peut-être moins du raisonnement. Pour la traduction, activer le raisonnement d’un modèle, ou lui laisser plus de temps pour raisonner, a peu changé ses traductions de phrases, qui plafonnaient vite ou se dégradaient légèrement (Zebaze et al., 2025 ; Li et al., 2026 ; Rajaee et al., 2026). Un raisonnement structuré pour la traduction, avec rédaction d’ébauches et révision, a bien amélioré les résultats une fois qu’un modèle y a été entraîné (Rajaee et al., 2026), et un raisonnement plus long a davantage aidé quand le modèle révisait une traduction que quand il la produisait (Li et al., 2026) (see also the Split the task page, in the Using LLMs module) (voir aussi la page Découper la tâche, dans le module Utiliser les GML).
| Demander les étapes | Pour quelles tâches |
|---|---|
| Bénéfice clair | un calcul, une règle appliquée cas par cas, une vérification par rapport à une liste |
| Bénéfice moindre ou variable | un jugement sur le style, le registre ou la fluidité |
Chaque étape écrite ajoute des jetons à la réponse, si bien que la réponse prend plus de temps et, sur un service facturé au jeton, coûte plus cher (see also the Counting in tokens page, in the Language as numbers module) (voir aussi la page Compter en jetons, dans le module Le langage en nombres).
Résoudre un problème étape par étape s’est révélé assez utile pour être de plus en plus intégré aux modèles eux-mêmes, si bien que cela se produit désormais que vous le demandiez ou non.
Sources
- Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
- Li, Z., Ji, S., & Tiedemann, J. (2026). Test-Time Scaling of Reasoning Models for Machine Translation. Proceedings of the 19th Conference of the European Chapter of the Association for Computational Linguistics (Volume 1: Long Papers), 2902–2917. https://doi.org/10.18653/v1/2026.eacl-long.133
- Rajaee, S., Vincent, S., Berard, A., Fadaee, M., Marchisio, K., & Kocmi, T. (2026). Unlocking Reasoning Capability on Machine Translation in Large Language Models. Preprint, arXiv:2602.14763. https://arxiv.org/abs/2602.14763
- Sprague, Z., Yin, F., Rodriguez, J. D., Jiang, D., Wadhwa, M., Singhal, P., et al. (2025). To CoT or not to CoT? Chain-of-thought helps mainly on math and symbolic reasoning. Proceedings of the Thirteenth International Conference on Learning Representations (ICLR 2025). https://proceedings.iclr.cc/paper_files/paper/2025/hash/ead542f13a38179d1b55b88610f959a1-Abstract-Conference.html
- Wei, J., Wang, X., Schuurmans, D., Bosma, M., Ichter, B., Xia, F., et al. (2022a). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. Advances in Neural Information Processing Systems 35 (NeurIPS 2022). https://proceedings.neurips.cc/paper_files/paper/2022/hash/9d5609613524ecf4f15af0f7b31abca4-Abstract.html
- Zebaze, A., Bawden, R., & Sagot, B. (2025). LLM Reasoning for Machine Translation: Synthetic Data Generation over Thinking Tokens. Preprint, arXiv:2510.11919. https://arxiv.org/abs/2510.11919
Sources
- Jurafsky, D., & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. Online draft, 3rd edition. https://web.stanford.edu/~jurafsky/slp3/
- Li, Z., Ji, S., & Tiedemann, J. (2026). Test-Time Scaling of Reasoning Models for Machine Translation. Proceedings of the 19th Conference of the European Chapter of the Association for Computational Linguistics (Volume 1: Long Papers), 2902–2917. https://doi.org/10.18653/v1/2026.eacl-long.133
- Rajaee, S., Vincent, S., Berard, A., Fadaee, M., Marchisio, K., & Kocmi, T. (2026). Unlocking Reasoning Capability on Machine Translation in Large Language Models. Preprint, arXiv:2602.14763. https://arxiv.org/abs/2602.14763
- Sprague, Z., Yin, F., Rodriguez, J. D., Jiang, D., Wadhwa, M., Singhal, P., et al. (2025). To CoT or not to CoT? Chain-of-thought helps mainly on math and symbolic reasoning. Proceedings of the Thirteenth International Conference on Learning Representations (ICLR 2025). https://proceedings.iclr.cc/paper_files/paper/2025/hash/ead542f13a38179d1b55b88610f959a1-Abstract-Conference.html
- Wei, J., Wang, X., Schuurmans, D., Bosma, M., Ichter, B., Xia, F., et al. (2022a). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. Advances in Neural Information Processing Systems 35 (NeurIPS 2022). https://proceedings.neurips.cc/paper_files/paper/2022/hash/9d5609613524ecf4f15af0f7b31abca4-Abstract.html
- Zebaze, A., Bawden, R., & Sagot, B. (2025). LLM Reasoning for Machine Translation: Synthetic Data Generation over Thinking Tokens. Preprint, arXiv:2510.11919. https://arxiv.org/abs/2510.11919