Anthropic publie trois métriques pour mesurer l’automatisation de la recherche en IA au sein des labos frontière. En six mois, Claude est passé de moins de 1 % à 26 % des tâches de R&D chez Anthropic. La publication documente aussi ses limites méthodologiques.
26 % des tâches de R&D, en six mois
En août 2026, Claude assure 26 % des tâches de recherche et développement chez Anthropic, selon un document publié le 17 septembre par Marina Favaro et Phillie Wright, deux chercheuses de l’institut. En février, cette part était inférieure à 1 %.
La progression n’est pas une estimation interne : elle est calculée à partir d’une cartographie de 15 000 tâches tirées des dossiers de travail, classées sur une échelle d’automatisation à six niveaux (AL0 à AL5). Le niveau AL0 désigne une tâche entièrement humaine ; AL5, une tâche entièrement confiée à un agent sans supervision.
Anthropic ne précise pas la répartition entre ces niveaux. Le chiffre de 26 % agrège l’ensemble des tâches où Claude intervient de manière substantielle, quelle que soit la part du travail effectivement automatisée.
30 000 agents actifs en simultané
La deuxième métrique concerne la surveillance des agents. En août 2026, environ 30 000 agents tournent simultanément sur la plateforme interne d’Anthropic. De ce volume, 0,002 % des décisions sont bloquées par les systèmes de supervision, en temps réel ou en analyse rétrospective.
Ce chiffre pose une question que le document n’élucide pas complètement : un taux de blocage de 0,002 % reflète-t-il un faible taux d’incidents, ou une couverture de supervision insuffisante ? Les auteurs reconnaissent que le système de monitoring ne peut pas tout capturer.
La troisième métrique porte sur l’allocation du calcul : 12 % du calcul total est attribué aux agents IA, et 6 % à la sécurité. Ces proportions sont mesurées sur une seule semaine de juillet 2026, ce que les auteurs signalent explicitement comme une limite.
Des métriques à reproduire, avec leurs limites
L’objectif déclaré de la publication est de proposer des métriques que d’autres labos peuvent adopter pour permettre des comparaisons dans le temps et entre organisations. Anthropic souligne que la transparence devient nécessaire à mesure que les modèles participent à leur propre développement.
Les auteurs documentent eux-mêmes les limites de la méthode. L’accord entre le modèle juge et les évaluateurs humains atteint 59 %, ce qui laisse un écart de qualification substantiel. Les définitions de « tâche de sécurité » et de « tâche de R&D » restent subjectives. Et l’effet d’efficacité peut biaiser les proportions mesurées : si Claude accomplit davantage de tâches en moins de temps, le numérateur augmente sans que l’effort réel ait changé.
La publication s’inscrit dans un mouvement plus large de communication sur la sécurité des systèmes d’agents. Elle suit le rapport de détection des abus publié le 10 septembre et précède les engagements pris dans le cadre du programme Enterprise Frontier Safeguards. L’ensemble constitue une posture documentaire cohérente, même si les métriques elles-mêmes restent à affiner.