Gamow Labs ने LabRobotBench v0.1 जारी किया है, जो एआई एजेंट्स को वेट लैब रोबोटिक्स ऑपरेट करने और उपकरण खराबियों से उबरने की क्षमता का परीक्षण करता है। इस सूट में शारीरिक तर्क और जटिल जैविक कार्य प्रवाह का परीक्षण किया गया है, जिसमें तीन परिदृश्य शामिल हैं: पुनः शुरू करना बाधित कोशिका assays, ठंडे भंडारण और प्रयोगों के बीच प्रतिस्पर्धी समय सीमा का प्रबंधन, और समय-संवेदनशील खुराक-प्रतिक्रिया परीक्षण पूरा करना।
परिणामों से पता चलता है कि GPT-4.1 46.7% के औसत वसूली स्कोर के साथ शीर्ष पर है, इसके बाद Opus 35.5%, Claude Code 23.0%, और Gemini 20.9%। पहले मामले में, एजेंटों को तीन व्यवहार्य कोशिका ट्रे तैयार करने और एक दूषित चौथी को त्यागना था। Opus एक अधूरी ट्रे लौटाया बिना महत्वपूर्ण रसायन जोड़ा। दूसरे मामले में, एजेंटों को 200 सेकंड के भीतर प्रयोग पूरा करने और 240 सेकंड के भीतर ठंडे आपूर्ति लौटाने के बीच प्राथमिकता तय करनी थी — GPT-4.1 ने आपूर्ति बचाई लेकिन प्रयोग चूक गया, जबकि Opus इसके विपरीत किया। तीसरे मामले में, एक खुराक-प्रतिक्रिया परीक्षण को मापन समय सीमा से पहले पूरा करना था।
इस बेंचमार्क का उद्देश्य एजेंटों को त्रुटि का निदान करने और सुरक्षित रूप से कार्य फिर से शुरू करने की क्षमता देकर रात भर बिना निगरानी के प्रयोग करना संभव बनाना है, जिससे संभवतः वैज्ञानिक उत्पादन कई गुना बढ़ सकता है।
स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित