Quelques notes à partie de S. Bensal et al., Reflect, Retry, Reward: Self-Improving LLMs via Reinforcement Learning, arXiv : 2505.24726v1 [cs.CL], 30 mai 2025 (lien : https://arxiv.org/abs/2505.24726):

Les progrès récents de l’intelligence artificielle, en particulier ceux portés par les modèles de langage de grande taille, appelés LLM (Large Language Models), ont bouleversé notre rapport à l’information, à la logique et à la rédaction. Ces modèles sont capables de comprendre, générer, résumer, traduire ou encore commenter des textes avec une finesse croissante. Cependant, malgré leur puissance apparente, ils restent fondamentalement faillibles. Leur fonctionnement repose sur des probabilités statistiques plutôt que sur une compréhension profonde, ce qui les expose à des erreurs de logique, de fait ou de cohérence, même lorsqu’ils semblent tout à fait sûrs d’eux.

C’est dans ce contexte que s’inscrit l’étude ici présentée. Elle explore une approche originale, quasi métacognitive, pour améliorer les modèles de langage en les incitant à apprendre de leurs erreurs. Cette amélioration ne repose pas sur l’ajout de nouvelles données, ni sur une supervision humaine intensive, mais sur l’exploitation d’un mécanisme interne : l’autoréflexion. L’idée est de faire en sorte qu’un modèle, lorsqu’il se trompe, tente de comprendre pourquoi, puis utilise cette compréhension pour proposer une meilleure réponse. Et surtout, qu’il apprenne, avec le temps, à mieux réfléchir. Cette méthode s’appuie sur un algorithme d’apprentissage par renforcement appelé GRPO (Group Relative Policy Optimization), qui permet de guider cette amélioration à partir d’un simple signal binaire indiquant si la réponse produite est correcte ou non.

L’intérêt de cette méthode est notamment de montrer que l’intelligence artificielle n’est pas figée dans une logique d’automatisation brute, mais peut intégrer des processus cognitifs proches de la réflexion humaine, ouvrant la voie à des usages plus fins, plus explicables, et peut-être plus fiables dans les processus décisionnels sensibles.

Le raisonnement des auteurs commence par poser un constat. Les LLM sont performants, mais leur performance reste imprévisible. Un modèle qui réussit une tâche donnée peut échouer lamentablement sur une tâche similaire. Ce manque de généralisation rend leur usage délicat dans des domaines où l’exactitude est cruciale. Si l’on souhaite corriger ce problème, la voie la plus évidente consiste à réentraîner le modèle en lui fournissant des exemples représentatifs de ses échecs. Or, cela n’est pas toujours possible. Il se peut qu’aucun corpus d’exemples pertinents n’existe, ou que les meilleurs modèles eux-mêmes ne soient pas capables de générer des exemples de qualité suffisante. Dans de telles situations, l’approche classique de l’apprentissage supervisé montre ses limites.

Face à cette impasse, les chercheurs proposent une alternative : faire appel à la capacité de réflexion du modèle lui-même. Ce principe n’est pas entièrement nouveau. La méthode du « Chain-of-Thought » (chaîne de raisonnement), déjà connue, a montré que demander explicitement à un modèle de détailler ses étapes de raisonnement améliore souvent ses performances. L’auto-réflexion pousse cette logique plus loin : il ne s’agit plus seulement d’expliquer pourquoi une réponse est correcte, mais de comprendre pourquoi elle ne l’est pas.

Ce changement de perspective est fondamental. Il transforme l’échec d’un modèle en opportunité d’apprentissage. Lorsqu’un modèle donne une mauvaise réponse, on lui demande de réfléchir à ce qui a pu clocher. Cette réflexion est ensuite intégrée à une seconde tentative de réponse. Si cette nouvelle tentative réussit, c’est la qualité de la réflexion intermédiaire qui est récompensée. Ainsi, le modèle apprend progressivement à produire des réflexions plus pertinentes, plus concises, plus efficaces, indépendamment du type de tâche qu’il accomplit.

L’implémentation concrète de cette idée repose sur un mécanisme de vérification binaire. Il faut pouvoir dire, de manière automatique et fiable, si une réponse est correcte ou non. Cela est envisageable dans des tâches où le résultat peut être validé par un test objectif : par exemple, un appel d’API est correct si la fonction appelée renvoie la bonne réponse, une équation est correcte si elle donne bien le résultat attendu, un bloc de code est valide s’il s’exécute sans erreur. Ce principe de validation minimaliste permet d’élargir le champ d’application de la méthode à des situations où l’on ne dispose pas de jeux d’apprentissage labellisés.

La méthodologie adoptée par les chercheurs se déroule en trois phases. D’abord, le modèle tente de résoudre une tâche. Si sa réponse est correcte, on n’intervient pas. En revanche, s’il échoue, il est invité à rédiger une auto-réflexion : un court texte dans lequel il explique les raisons possibles de son échec. Ensuite, muni de cette réflexion, il tente à nouveau de résoudre la tâche. Si cette seconde tentative est un succès, l’algorithme GRPO récompense spécifiquement les mots produits dans la phase de réflexion. Cette récompense vise à renforcer le type de raisonnement qui a permis de corriger l’erreur initiale.

Deux cas d’étude ont été utilisés pour tester cette méthode. Le premier concerne la génération automatique d’appels de fonctions API à partir de requêtes en langage naturel. Ce type de tâche implique de comprendre la demande, de choisir la bonne fonction informatique et de remplir correctement ses paramètres. Le second cas d’étude porte sur la génération d’équations arithmétiques, où il s’agit de combiner quelques nombres donnés pour atteindre une cible numérique, en respectant des règles strictes. Dans les deux cas, les résultats sont évalués automatiquement, ce qui permet d’appliquer la méthode sans supervision humaine.

Les résultats sont frappants. Les modèles ayant été entraînés avec cette méthode surpassent nettement leurs versions originales, parfois même dès la première tentative. Dans certaines situations, un petit modèle entraîné devient meilleur qu’un très grand modèle non entraîné, ce qui suggère que la qualité du raisonnement importe autant, sinon plus, que la puissance brute. De plus, les réflexions produites après entraînement sont plus courtes, plus claires et mieux structurées. Elles ressemblent à de véritables raisonnements synthétiques, analogues à ceux que produiraient des êtres humains entraînés à la concision et à la logique.

Un point particulièrement important est la question de la stabilité du modèle. Lorsqu’on modifie un modèle pour améliorer ses performances dans une tâche donnée, on craint souvent qu’il oublie ce qu’il savait faire auparavant. C’est ce qu’on appelle la perte catastrophique. Les auteurs de l’étude ont vérifié que leur méthode ne produit pas cet effet indésirable. Après l’entraînement, les modèles conservent leurs performances sur des tâches standards de compréhension du langage, de raisonnement logique ou de mathématiques. Dans certains cas, ils s’améliorent même légèrement. Cela montre que l’apprentissage de l’auto-réflexion ne spécialise pas trop le modèle, mais améliore plutôt sa capacité générale à raisonner.

Une analyse fine des erreurs confirme cette impression. Dans le cas des appels de fonctions, les petits modèles font souvent des erreurs de choix d’outil. L’entraînement les aide à affiner leur sélection. Les modèles plus grands font moins d’erreurs initiales, mais peinent parfois à bien remplir les paramètres ; là encore, l’entraînement améliore leur précision. Dans les tâches mathématiques, l’erreur la plus fréquente est l’utilisation de nombres non autorisés. L’entraînement permet de réduire fortement cette erreur. Cela montre que le modèle apprend à mieux respecter les contraintes de la tâche, ce qui est essentiel dans des contextes sensibles comme le droit.

En apprenant à mieux réfléchir à ses erreurs, un modèle peut donc devenir plus performant, plus fiable et plus autonome. Cette amélioration ne dépend pas de données spécifiques à une tâche, mais d’un mécanisme général de réflexion critique. Le potentiel d’une telle approche pour le droit est évident : elle permettrait de créer des modèles capables de repérer leurs incohérences, de les corriger, et donc d’assister les professionnels de manière plus efficace.

Les limites de la méthode sont néanmoins réelles. Elle suppose l’existence d’un validateur binaire fiable, ce qui n’est pas toujours le cas, notamment dans des situations juridiques complexes où la validité d’une réponse est elle-même sujette à interprétation. Elle suppose également que le modèle ait un minimum de compétence de départ : on ne peut pas apprendre à réfléchir sur un sujet qu’on ne comprend pas du tout. Enfin, elle repose sur l’idée que la réflexion est elle-même évaluée uniquement par ses conséquences (la réussite finale), ce qui peut conduire à négliger des raisonnements intéressants mais inefficaces.

Malgré ces limites, la direction ouverte par cette recherche suggère que les modèles de langage pourraient devenir des partenaires de raisonnement plus robustes, plus transparents et plus autonomes. L’IA ne se contenterait plus d’imiter un savoir statique, mais s’approcherait, modestement, d’un raisonnement évolutif.

Sohrab Rahimi – qui est une source d’information très utile sur les aspects techniques de l’IA – souligne que l’apprentissage par renforcement (RL) est en train de devenir une stratégie essentielle pour améliorer la façon dont les modèles de langage raisonnent (voir son post sur Linkedin https://www.linkedin.com/posts/sohrab-rahimi_reinforcement-learning-rl-is-becoming-a-activity-7342178234358263809-MBu8?utm_source=share&utm_medium=member_desktop&rcm=ACoAAAX2b5oB2W8RFgEb7aoRz8wscswBHlxf0Mg dont j’ai tiré la référence de l’article).

Il note qu’historiquement, l’apprentissage par renforcement dans les LLM était utilisé à l’étape finale de l’entraînement pour aligner le comportement du modèle sur les préférences humaines. Cela a aidé les modèles à paraître plus utiles ou polis, mais cela n’a pas élargi leur capacité à résoudre des problèmes complexes. L’apprentissage par renforcement est maintenant appliqué plus tôt et plus profondément, non seulement pour ajuster les résultats, mais aussi pour aider les modèles à apprendre à penser, à s’adapter et à généraliser à différents types de défis de raisonnement.

Dans ce contexte, l’article susmentionné suggère de mettre en place une boucle d’auto-amélioration dans le modèle. Lorsque le modèle échoue à une tâche, il génère une réflexion, une nouvelle tentative et n’est récompensé que si la nouvelle tentative réussit. Au fil du temps, le modèle apprend ainsi à écrire de meilleures réflexions et s’améliore même au premier essai. Parce qu’il ne repose que sur un signal de réussite binaire et ne nécessite aucune donnée étiquetée par l’homme, il fournit un moyen évolutif pour les modèles de s’autocorriger.

Cette publication, avec d’autres dont nous parlerons ces prochains jours, semblent montrer que l’apprentissage par renforcement est maintenant en train de devenir un mécanisme permettant d’accroître la capacité du modèle à réfléchir, à généraliser et à résoudre des problèmes sur lesquels il n’a pas été explicitement formé.

Elle montre aussi qu’au lieu de compresser plus de connaissances dans un modèle figé, nous commençons à former des systèmes qui peuvent apprendre à s’améliorer en cours de processus. Les modèles de l’avenir ne seront ainsi pas forcément plus grands, mais des modèles qui apprennent mieux grâce à la rétroaction, à l’autoréflexion et aux essais et erreurs structurés.

Me Philippe Ehrenström, avocat, LLM, CAS en Droit et intelligence artificielle