OpenAI annonce l’arrivée de Paul Christiano au conseil d’administration de sa Fondation. Le chercheur avait quitté l’entreprise en 2021 pour fonder l’Alignment Research Center (ARC) et poursuivre ses travaux sur les risques liés aux modèles d’IA.
Un parcours consacré à l’alignement et à l’évaluation
Chez OpenAI, Christiano a notamment travaillé sur l’apprentissage par renforcement à partir de retours humains, ou RLHF, une technique utilisée pour entraîner ChatGPT. Ses recherches portent sur l’alignement : comment faire en sorte qu’un système d’IA respecte les objectifs et les contraintes qui lui sont donnés.
Après son départ en 2021, il a créé ARC. Son parcours est également lié à METR (Model Evaluation and Threat Research), organisme indépendant qui évalue les capacités et les risques des modèles d’OpenAI, d’Anthropic et de Google. Ces évaluations examinent notamment les comportements autonomes et la capacité d’un modèle à contourner des contraintes pour atteindre un objectif.
Un rôle au sein de la structure non lucrative
La nomination concerne l’OpenAI Foundation, la structure à but non lucratif chargée de veiller à la mission d’OpenAI : développer une IA au bénéfice de l’humanité. Elle place un chercheur spécialisé dans l’évaluation des risques au sein de la gouvernance de l’organisation.
Ce rôle de surveillance soulève la question de l’influence du conseil sur les décisions de développement et de commercialisation. Des évaluations plus strictes pourraient peser sur les capacités autorisées ou le calendrier des modèles. La nomination ne permet toutefois pas de conclure que ces décisions changeront.
L’influence de Christiano dépendra des pouvoirs qu’il pourra exercer et des arbitrages du conseil face à la direction opérationnelle. Son arrivée, à elle seule, ne renseigne pas sur les décisions qui seront prises en matière de sécurité.
Pour passer de l’actualité à l’usage concret dans ton travail, la formation pour apprendre à faire travailler l’IA commence par une partie gratuite complète.