Gamow Labs 已发布 LabRobotBench v0.1，一个评估 AI 代理能够多好地操作湿实验室机器人并从设备故障中恢复的基准。该套件在物理推理和复杂的生物工作流程中测试前沿模型，涉及三个场景：重启中断的细胞实验、在冷藏和实验之间平衡竞争的截止日期，以及在截止日期前完成时间敏感的剂量-响应测试。
结果显示 GPT-4.1 以 46.7% 的平均恢复得分领先，其次是 Opus 的 35.5%，Claude Code 的 23.0%，以及 Gemini 的 20.9%。在第一种情况下，代理必须准备三个可行的细胞托盘并丢弃第四个变质的；Opus 返回了一个未添加关键试剂的未完成托盘。第二种情况迫使代理在 200 秒内完成实验和 240 秒内返回冷却物资之间进行优先级排序——GPT-4.1 保存了物资但错过了实验，而 Opus 则相反。第三种情况要求在测量截止日期前完成剂量-响应测试。
该基准旨在通过赋予代理诊断错误并安全恢复工作的能力，从而实现无人值守的夜间实验，可能将科学产出翻倍。
来源: Hacker News · 由HeadlinesBriefing整理摘要