Simon Willison a publié le 5 septembre un test dans lequel un agent IA pilote Blender sur macOS à partir d’une instruction en langage naturel. L’agent écrit le script Python qui construit la scène et lance le rendu. Le fichier obtenu peut ensuite être ouvert et modifié dans Blender.
Un rendu commandé en langage naturel
Le test utilise l’application Blender déjà installée sur la machine et son API Python. L’agent reçoit l’instruction suivante :
« Use the already installed /Applications/Blender to render a scene of a pelican riding a bicycle »
Il génère ensuite le code qui crée les objets, les place dans la scène, configure l’éclairage et exécute le rendu. Le résultat représente un pélican sur un vélo, sur une promenade côtière au coucher du soleil, avec un chapeau, un foulard, un panier de fleurs et des cabines de plage en arrière-plan.
Le fichier .blend conserve la scène 3D éditable. L’agent peut également produire plusieurs images et les assembler en séquence vidéo avec ffmpeg.
Les limites du test
Le résultat du test est stylisé. Il ne démontre pas une capacité équivalente sur des visages réalistes, des matériaux photoréalistes ou l’animation fluide de personnages.
- Les opérations avancées de l’API Python, comme le rigging, les shaders complexes ou la simulation physique, peuvent nécessiter des corrections du script et plusieurs essais.
- Le fichier éditable constitue un point de départ : des ajustements dans Blender peuvent être nécessaires avant d’utiliser le rendu.
- Willison a réalisé ce test sur macOS. Le chemin de l’application utilisé dans le prompt est propre à cette installation ; le test ne documente pas ici une exécution sous Windows.
- Le temps de rendu dépend de la scène et de la machine, de quelques secondes à plusieurs minutes.
Si tu veux un agent branché sur tes outils plutôt qu’une démo, c’est ce que je construis en automatisation IA sur mesure.