Claude Fable 5.1, Holden Saberhagen, Gabriel Kammer, Andres Erbsen, Alice McKean, और Tristan Wylde-Larue को टिप्पणियों के लिए धन्यवाद।

फ्रंटियर लैब्स का मूल्यांकन नॉलेज वर्कर्स के लिए पूरी तरह से स्वचालित ड्रॉप-इन रिप्लेसमेंट की कहानी पर किया जाता है, लेकिन वर्तमान मॉडलों को सरल कार्यों में भी श्रमसाध्य निगरानी की आवश्यकता होती है। Navier-Stokes, FreeBSD RCEs, और HuggingFace घटना जैसे हेडलाइन डेमो भ्रामक हैं। मॉडल केवल प्रशिक्षण कार्यों के आसपास सामान्यीकरण करते हैं, गंभीर चेतावनियों के साथ। रिवॉर्ड हैकिंग के लिए डोमेन विशेषज्ञों द्वारा कठोर विनिर्देश की आवश्यकता होती है, जिनका समय महंगा है। विनिर्देश अपने आप में एक कौशल है; कुछ डोमेन विशेषज्ञों के पास यह है। श्रम लागत सीधे कार्यान्वयन से अधिक हो सकती है। हार्डवेयर 3:1 या 5:1 स्पेक-टू-डिज़ान अनुपात दिखाता है। कई कार्यों के लिए विकसित होते विनिर्देशों की आवश्यकता होती है। उच्च-स्तरीय विनिर्देशों को सत्यापित करना महंगा है। Navier-Stokes सबसे अच्छा मामला है: Lean का ऑडिट किया जाता है, लेकिन साउंडनेस बग मौजूद हैं। मानव समीक्षा स्केल नहीं करती और xz बैकडोर जैसे हैक के प्रति संवेदनशील है।

मुख्य संस्थाएँ: कंपनियाँ: HuggingFace | लोग: Claude Fable 5.1, Holden Saberhagen, Gabriel Kammer, Andres Erbsen, Alice McKean, Tristan Wylde-Larue