HeadlinesBriefing favicon HeadlinesBriefing.com

Jev कैलिब्रेशन दावों पर बहस

Hacker News •
×

Jev, Type Safe का पहला System One Model, बिना प्रशिक्षण डेटा के वर्गीकरण कार्यों के लिए कैलिब्रेटेड संभावनाओं का वादा करता है। लेख तर्क देता है कि जबकि Jev उपयोगी स्कोर उत्पन्न कर सकता है, इसका कैलिब्रेशन दावा त्रुटिपूर्ण है। कैलिब्रेशन मॉडल और डेटा वितरण दोनों पर निर्भर करता है; एक डेटासेट पर कैलिब्रेटेड मॉडल दूसरे पर गलत कैलिब्रेटेड हो सकता है। लेखक एक सिक्का उछाल उदाहरण पर प्रकाश डालता है जहां Jev चित की 0.92 संभावना की भविष्यवाणी करता है, गंभीर गलत कैलिब्रेशन दिखाते हुए। लेखक Jev के आउटपुट को विश्वसनीय संभावनाओं के बजाय रैंकिंग स्कोर के रूप में मानने की सिफारिश करता है और सुझाव देता है कि यदि सटीक संभावनाओं की आवश्यकता हो तो कुछ सौ लेबल किए गए उदाहरणों का उपयोग करके सस्ती पुनः कैलिब्रेशन करें। लेख जोर देता है कि Jev का मूल्य बिना डेटा के वर्गीकरण करने की क्षमता में निहित है, लेकिन उपयोगकर्ताओं को संख्यात्मक सीमा या लागत गणनाओं पर भरोसा करने से पहले अपने स्वयं के डेटा पर कैलिब्रेशन सत्यापित करना चाहिए।