Gemini 4 Argon marque un véritable changement dans la compréhension physique, la génération de code et le raisonnement visuo-sémantique, ouvrant de nouveaux flux de travail à l'ensemble de la pile robotique et accélérant les progrès vers une AGI physique. Sur le benchmark de raisonnement incarné (ERQA), qui évalue la capacité d'un modèle à comprendre et à résoudre des problèmes physiques et spatiaux dans des environnements 3D, Argon obtient 87 % grâce au seul raisonnement, devançant tous les autres modèles de pointe.
En tant que modèle de raisonnement physique polyvalent, Argon peut être appliqué à l'ensemble du cycle de vie de la robotique. L'article met en avant quatre domaines clés : le contrôle robotique, Real2Sim, la compréhension physique, ainsi que la recherche et l'auto-amélioration. Pour le contrôle robotique, Argon pilote un quadrupède Boston Dynamics Spot équipé d'un bras à 6 degrés de liberté afin d'apprendre une nouvelle compétence : marcher sur la pédale d'une poubelle pour jeter des canettes de soda. Il construit d'abord un jumeau numérique articulé de la poubelle sous MuJoCo afin de s'entraîner à ses mouvements avant d'agir sur la pédale réelle.
Argon démontre également un contrôle zero-shot avec un bras robotique simple. À l'aide d'un cadre de coordonnées visuelles et de primitives d'action, il redresse une tasse renversée et y place une serviette froissée, en raisonnant sur plusieurs tours avec un retour calibré de la caméra du poignet. Le système s'appuie sur des coordonnées mondiales annotées, des indices d'orientation de prise et une vérification en boucle fermée pour contrôler ses actions avant de les exécuter.
Dans le domaine Real2Sim, Argon reconstruit des jumeaux de simulation physiquement calibrés à partir des flux de caméras de robots, de vidéos égocentriques de personnes ou de croquis à la main. Combinées à un étiquetage multimodal agentique et à une auto-amélioration itérative sur le matériel, ces capacités annoncent des robots capables d'apprendre de manière plus autonome d'une tâche à l'autre.
Source: Hacker News · Résumé par HeadlinesBriefing