Opaque recurrence : le débat sur la lisibilité des calculs internes des modèles IA

L’« opaque recurrence » désigne une technique dans laquelle un modèle fait circuler l’information plusieurs fois à travers ses couches internes avant de produire une réponse. TechCrunch rapporte son utilisation dans Astra d’OpenAI et les questions qu’elle pose aux chercheurs en sécurité sur la lisibilité du raisonnement.

Des calculs répétés sans verbalisation de chaque étape

Les chaînes de pensée, ou chain of thought, expriment des étapes de raisonnement sous forme de texte. Elles offrent une trace que les chercheurs peuvent analyser lorsqu’ils étudient un comportement inattendu.

Avec l’opaque recurrence, les passages successifs restent dans les représentations numériques internes du modèle. Ces opérations ne sont pas toutes exprimées dans un langage lisible. La technique est aussi décrite sous le terme de recurrent depth.

L’intérêt annoncé est de permettre à un modèle plus petit d’effectuer davantage de calculs internes et d’approcher les capacités d’un modèle plus grand avec moins de ressources. Les gains d’efficacité et la possibilité de surveiller ces calculs sont deux questions distinctes.

Une inquiétude sur les traces accessibles

TechCrunch cite des chercheurs en sécurité qui voient dans la technique d’Astra « a real first step » vers un raisonnement conservé dans des représentations numériques parfois appelées « neuralese ». Ils s’interrogent sur les opérations qui ne peuvent pas être examinées sous forme de texte.

OpenAI répond qu’Astra « keeps its chain of thought legible ». Cette déclaration et les inquiétudes des chercheurs ne portent pas nécessairement sur le même niveau d’observation : une chaîne de pensée peut rester lisible sans rendre lisibles tous les calculs qui la précèdent.

Calcul interne et journal des actions

L’opacité des boucles internes limite l’analyse du chemin suivi par le modèle. Elle ne signifie pas que toutes les traces d’un agent disparaissent : ses entrées, ses réponses et ses appels à des outils peuvent toujours être enregistrés à chaque étape.

Ces journaux permettent de reconstituer les actions externes, par exemple un appel à une API ou une modification de données. Ils ne donnent pas pour autant accès aux représentations numériques internes du modèle. De même, demander une explication avant une action ne suffit pas à rendre ces représentations observables.

Le problème de recherche est de déterminer quelles méthodes de surveillance restent efficaces lorsque davantage de calculs se déroulent sans être exprimés en texte. Les déclarations sur la lisibilité d’une chaîne de pensée ne répondent pas, à elles seules, à cette question.

Si tu veux un agent branché sur tes outils plutôt qu’une démo, c’est ce que je construis en automatisation IA sur mesure.

Source : TechCrunch, 7 septembre 2026, « Opaque recurrence, and other AI terms that you should probably know ».

Laisser un commentaire