Le projet libre Pinky relie un agent IA à un téléphone Android ou à un iPhone par le protocole MCP. Son interface montre l’écran du mobile et retient certaines actions, comme un paiement, jusqu’à une validation humaine. Publié début novembre, l’outil reste en préversion : ses auteurs documentent des essais sur quelques appareils, pas une compatibilité éprouvée sur tous les téléphones.
Un agent qui voit et manipule un téléphone réel
Le dépôt Pinky, publié par DIYgod sur GitHub, décrit une application de bureau pour macOS, Windows et Linux. Elle expose le téléphone à Claude Code, Codex, Cursor ou à tout autre client capable d’utiliser un serveur MCP. L’agent peut demander une capture, lire ce qui est affiché, toucher un élément ou saisir du texte. Pinky sert d’intermédiaire entre les commandes de l’agent et le téléphone : le modèle ne pilote pas directement le système mobile.
La référence technique du serveur MCP détaille dix-neuf outils. L’application peut être connectée localement, par un processus lancé sur l’ordinateur, ou à distance par HTTP. Le projet annonce une licence Apache 2.0 et ne demande pas de compte pour l’installation. L’agent et son éventuel fournisseur de modèle restent séparés de Pinky : ce dernier n’inclut pas de modèle IA.

Les autorisations sont appliquées dans la passerelle
La distinction importante est l’emplacement du contrôle. Selon la documentation du projet, l’agent reçoit une réponse d’attente lorsqu’il tente une action soumise à approbation ; il ne dispose pas d’une commande pour s’accorder cette approbation. La fenêtre de Pinky affiche alors l’action envisagée. Sans réponse dans le délai prévu, elle est refusée. Cette architecture cherche à rendre le contrôle indépendant des instructions que l’agent pourrait mal interpréter.
Par défaut, les paiements, transferts et opérations similaires attendent une décision. L’utilisateur peut étendre la demande d’accord aux messages, suppressions, appels, installations, changements de paramètres et même à chaque geste. Les applications bancaires, portefeuilles et gestionnaires de mots de passe sont masqués à l’agent, sauf exception accordée pour une tâche lorsque Pinky la permet. Le projet précise cependant qu’un agent qui peut exécuter des commandes directement sur la machine pourrait contourner ces règles en accédant au téléphone par un autre outil, comme adb. Le contrôle de Pinky vaut pour le chemin qui passe par sa passerelle.
Android et iPhone : mêmes gestes, contraintes différentes
| Appareil | Chemin décrit par le projet | Limite à retenir |
|---|---|---|
| Android 10 à 17 | Connexion USB et pilote Android ; écran secondaire possible à partir d’Android 13 | Sur Android plus ancien, l’agent utilise l’écran principal |
| iPhone sous iOS 17.4 à 26 | Image développeur Apple et assistant WebDriverAgent installé depuis Xcode | Avec un identifiant Apple gratuit, cet assistant doit être réinstallé tous les sept jours |
| iPhone sous iOS 27 ou plus | Image développeur Apple, sans application auxiliaire sur le téléphone | Essais réels publiés sur un iPhone sous iOS 27 ; les autres combinaisons restent à éprouver |
Ce tableau croise le guide d’installation avec la liste de vérifications du projet, consultés le 11 novembre 2026. Sur Android 13 et plus, l’écran réservé à l’agent peut laisser l’écran du téléphone à son propriétaire. Sur iPhone, l’installation dépend de composants de développement Apple. Le dépôt indique que certaines étapes sur iPhone ancien, ainsi que l’usage d’iPhone depuis Windows ou Linux, n’ont pas encore été essayées sur un appareil réel.

Ce qui a été testé, et ce qui reste annoncé
La liste d’acceptation contient des essais concrets : lecture d’écran et saisie sur un Pixel, calculatrice sur un Mi 10 Pro, travail en arrière-plan sur un émulateur Android 16 et prise de contrôle qui interrompt l’agent. Elle mentionne aussi un iPhone 13 mini sous iOS 27.0.1 pour le montage de l’image développeur. Ces vérifications portent sur des gestes précis ; elles ne constituent pas un test indépendant de sécurité ni une garantie de fonctionnement pour les modèles de téléphones non essayés.
Le dépôt qualifie Pinky de « pre-alpha ». Les versions publiées les 10 et 11 novembre corrigent encore des points de connexion, de mise en veille et d’interface. Une personne peut interrompre une tâche, reprendre la main et consulter l’historique local des actions. En revanche, ce que l’agent lit sur le téléphone lui est transmis pour raisonner : la confidentialité dépend aussi du service IA choisi et des autorisations données à cet agent.
Le fait nouveau est la combinaison, dans un projet libre, du pilotage d’un téléphone réel et d’une passerelle qui exige une décision humaine sur certains gestes. Les démonstrations publiées montrent que cette combinaison fonctionne dans plusieurs cas ciblés. Son état de préversion et les configurations encore non testées limitent pour l’instant la portée de l’annonce.
Les prestations d’automatisation IA de DjeremIA sont décrites dans la rubrique Services.