Gamow Labs a publié LabRobotBench v0.1, un benchmark qui évalue la capacité des agents IA à faire fonctionner des robots de laboratoire humides et à se remettre en cas de panne d'équipement. La suite teste les modèles de pointe sur le raisonnement physique et les flux de travail biologiques complexes à travers trois scénarios : redémarrer des assays cellulaires interrompus, jongler entre les délais concurrents pour le stockage froid et les expériences, et terminer des tests de réponse à dose sensible au temps.
Les résultats montrent que GPT-4.1 mène avec un 46.7% score moyen de récupération, suivi par Opus à 35.5%, Claude Code à 23.0%, et Gemini à 20.9%. Dans le premier cas, les agents devaient terminer la préparation de trois plateaux de cellules viables et jeter une quatrième avariée. Opus a retourné un plateau incomplet sans ajouter le réactif critique. Le deuxième cas a obligé les agents à hiérarchiser entre terminer des expériences dans 200 secondes et revenir aux fournitures froides dans 240 secondes — GPT-4.1 a sauvegardé les fournitures mais a manqué une expérience, tandis que Opus a fait l'inverse. Le troisième cas nécessitait de terminer un essai de réponse à dose avant l'échéance de mesure.
Le benchmark vise à permettre une expérimentation nocturne non surveillée, en donnant aux agents la capacité de diagnostiquer les erreurs et de reprendre le travail en toute sécurité, multipliant potentiellement le rendement scientifique.
Source: Hacker News · Résumé par HeadlinesBriefing