Gamow Labs ha lanzado LabRobotBench v0.1, un benchmark que evalúa qué tan bien los agentes de IA pueden operar robots de laboratorio húmedo y recuperarse de fallos de equipos. El paquete prueba modelos de frontera en razonamiento físico y flujos de trabajo biológicos complejos a través de tres escenarios: reiniciar ensayos de células interrumpidos, equilibrar plazos competidores para almacenamiento frío y experimentos, y completar pruebas de respuesta a dosis sensibles al tiempo.
Los resultados muestran que GPT-4.1 lidera con un 46.7% puntuación media de recuperación, seguido por Opus con 35.5%, Claude Code con 23.0%, y Gemini con 20.9%. En el primer caso, los agentes tuvieron que terminar la preparación de tres bandejas de células viables y desechar una cuarta deteriorada. Opus devolvió una bandeja sin terminar sin agregar el reactivo crítico. El segundo caso obligó a los agentes a priorizar entre在 200 segundos内完成实验和在 240 秒内返回冷却物资——GPT-4.1 保存了物资但错过了 un experimento, mientras que Opus hizo lo contrario. El tercer caso requería completar un ensayo de respuesta a dosis antes de la fecha límite de medición.
El benchmark busca permitir la experimentación nocturna sin supervisión, dando a los agentes la capacidad de diagnosticar errores y reanudar el trabajo de forma segura, potencialmente multiplicando el rendimiento científico.
Fuente: Hacker News · Resumido por HeadlinesBriefing