Le chain-of-thought prompting est une technique d’ingénierie des prompts qui vise à améliorer les performances des modèles de langage sur des tâches nécessitant de la logique, des calculs et de la prise de décision, en structurant l’invite de manière à imiter le raisonnement humain.

Pour créer un prompt de chain-of-thought, l’utilisateur ajoute généralement une instruction telle que « décrivez votre raisonnement en étapes » ou « expliquez votre réponse étape par étape » à la fin de sa requête. En essence, cette technique demande au modèle de langage de non seulement générer un résultat final, mais aussi de détailler les étapes intermédiaires qui ont mené à cette réponse.

Cette méthode a montré des résultats prometteurs. Dans leur article « Chain-of-Thought Prompting Elicits Reasoning in Large Language Models », présenté lors de la conférence NeurIPS en 2022, l’équipe de recherche Google Brain a démontré que cette approche surpassait les techniques de prompt standard sur divers critères de raisonnement arithmétique, de bon sens et symbolique.

Comment fonctionne le chain-of-thought prompting ?

Le chain-of-thought prompting est efficace car il exploite les capacités des modèles de langage tout en simulant des techniques de traitement cognitif humain, comme la planification et le raisonnement séquentiel.

Lorsqu’un être humain est confronté à un problème complexe, il le décompose souvent en étapes plus simples. Cette technique demande au modèle de langage d’imiter ce processus en travaillant étape par étape, comme s’il « pensait à voix haute » au lieu de simplement fournir une solution directe.

Avantages du chain-of-thought prompting

Cette méthode aide à mieux gérer la quantité limitée d’informations que les modèles peuvent traiter en décomposant les problèmes complexes en sous-tâches plus simples, améliorant ainsi la précision des réponses. Elle permet également d’exploiter les vastes connaissances générales des modèles, accumulées à partir des données textuelles sur lesquelles ils ont été formés.

En outre, elle aide à atténuer une faiblesse courante des modèles de langage : leur difficulté avec le raisonnement logique. Le chain-of-thought prompting guide le modèle à suivre un cheminement logique, réduisant ainsi les erreurs potentielles.

Limites du chain-of-thought prompting

Il est essentiel de se rappeler que les modèles ne raisonnent pas comme les humains. Bien que le chain-of-thought prompting puisse sembler imiter le raisonnement, les modèles restent des réseaux de neurones qui prédisent des séquences de texte en fonction de probabilités, sans conscience ni métacognition.

En fin de compte, cette technique améliore l’utilisation des modèles de langage, mais elle ne corrige pas les limitations inhérentes qui devraient être prises en compte lors de la phase de formation des modèles.

Chain-of-thought prompting vs prompt chaining

Le chain-of-thought prompting et le prompt chaining sont deux techniques d’ingénierie des prompts, mais ils diffèrent. Le chain-of-thought prompting encapsule le raisonnement dans une seule réponse détaillée, utile pour les tâches nécessitant une explication claire du processus. En revanche, le prompt chaining implique une séquence itérative de prompts et de réponses, idéale pour des tâches plus créatives ou exploratoires.