OpenAI vient de lancer « Ultrafast » : un palier API qui fait tourner GPT-5.6 Sol à 750 tokens par seconde, soit 14 fois plus vite que la vitesse standard. La particularité ? Ce n’est pas Nvidia qui est derrière, c’est Cerebras, un fabricant de puces que peu de builders connaissent. Voilà ce que ça change concrètement.
750 tokens par seconde : mets ça en perspective
Sur l’API OpenAI classique aujourd’hui, tu génères une réponse de 1 000 tokens en 10 à 20 secondes selon la charge. Avec Ultrafast, c’est 1,3 seconde. Ce n’est plus du streaming que tu regardes défiler. C’est presque instantané.
Pour un utilisateur qui chat, la différence est cosmétique. Pour toi, builder qui construis une app IA, elle est structurelle. Les cas où ça compte vraiment :
- Boucles de développement IA : tu testes une modification de prompt → tu attends la réponse → tu itères. À 750 tokens/s, le feedback loop passe de 15 à 2 secondes. Sur une journée de 50 itérations, tu récupères 10 minutes de latence pure.
- Applications temps réel : agents vocaux, copilotes de code en live, jeux avec personnages IA. La génération à la vitesse de la parole humaine (~150 mots/min = ~200 tokens/min) devient triviale (ici on est à 45 000 tokens/min).
- Pipelines de traitement batch : si ton app fait tourner des centaines d’évaluations en parallèle, chaque appel qui revient 14 fois plus vite libère du quota pour le suivant.
Cerebras : l’acteur que tu n’attendais pas derrière OpenAI
Le détail qui mérite qu’on s’y arrête, c’est le fournisseur de l’infrastructure. OpenAI ne dit pas « Nvidia » : il dit Cerebras. C’est une startup américaine qui fabrique des puces entières sur une seule tranche de silicium (wafer-scale), une approche radicalement différente des GPU Nvidia empilés en cluster. L’avantage ? La latence d’inférence s’effondre parce que les données n’ont pas à voyager entre des chips séparés.
OpenAI qui s’appuie sur Cerebras pour son tier de vitesse maximal, c’est un signal sur le marché : le monopole de fait de Nvidia sur l’inférence IA est en train de se fragmenter. Groq, Cerebras, et d’autres challengers taillent des niches sur la latence là où Nvidia domine le training. Pour toi, c’est indirectement une bonne nouvelle : la concurrence sur les puces d’inférence va continuer à faire baisser les coûts et monter les vitesses.
OpenAI utilise Cerebras pour son mode le plus rapide. Ce n’est pas une anecdote technique : c’est la preuve que l’architecture IA du futur ne sera pas monolithique.
Le vrai piège : la vitesse ne vaut rien sans le reste
Avant de te précipiter sur Ultrafast, deux nuances.
Le prix. OpenAI n’a pas communiqué de tarif officiel dans l’annonce de preview. Ce palier est clairement positionné comme premium : « Ultrafast » ne sera pas au même coût que l’API standard. Si tu fais du batch traitement de documents longs, tu n’as probablement pas besoin de ça : une latence de 15 secondes sur un appel qui tourne en background ne change rien à ton UX.
La disponibilité. Pour l’instant c’est un « preview », accès restreint, pas encore général. Les previews OpenAI deviennent souvent GA en quelques semaines, mais rien de garanti sur le calendrier.
Le modèle. Ultrafast tourne sur GPT-5.6 Sol, le modèle « rapide » de la famille 5.6, pas le modèle max. Si ton app nécessite le raisonnement profond du modèle full, tu n’auras pas 14X en restant sur les mêmes capacités.
Ce que tu dois retenir aujourd’hui
La vitesse d’inférence est en train de devenir une dimension compétitive réelle dans le marché des LLM, au même titre que l’intelligence, le prix ou le contexte. Ce n’était pas le cas il y a 18 mois.
En pratique, ce que je te conseille dès maintenant :
- Analyse tes cas d’usage par sensibilité à la latence : conversationnel et voix ? La vitesse vaut le prix premium. Batch nocturne ? Non.
- Mets-toi en liste d’attente pour l’accès Ultrafast si tu construis dans le real-time. Les previews OpenAI récompensent les builders qui manifestent leur intérêt tôt.
- Surveille Cerebras indépendamment : ils proposent leur propre API d’inférence (cerebras.ai) sur des modèles open-weights. Si tu cherches de la vitesse sur Llama ou DeepSeek, c’est une option déjà disponible sans attendre OpenAI.
La course à la vitesse d’inférence vient de passer un cap. Ce n’est pas une feature marketing. C’est une nouvelle contrainte de design pour les apps IA que tu vas construire dans les 12 prochains mois.
Choisir les bons outils pour ton activité et chiffrer leur coût réel, c’est le rôle de l’audit IA de départ.