HeadlinesBriefing favicon HeadlinesBriefing.com

LLM वर्गीकरण विशेषता अभियांत्रिकी

Hacker News •
×

LLM को प्रत्यक्ष रूप से वर्गीकरणकर्ता के रूप में उपयोग करने में महत्वपूर्ण चुनौतियां हैं: वे विश्वसनीय कैलिब्रेशन के बिना हार्ड लेबल उत्पन्न करते हैं, असंरचित पाठ के साथ संरचित डेटा को शामिल करने के लिए संघर्ष करते हैं, और यह बताने में व्याख्यायित नहीं करते कि कौन से प्रॉम्प्ट तत्व निर्णय को प्रभावित करते हैं। LLM में भी शामिल होते हैं जिसे लक्ष्य आबादी के वर्ग वितरण के साथ मेल नहीं खाने के लिए बनाया गया है।

हल यह है कि LLM आउटपुट को पारंपरिक मशीन लर्निंग फ्रेमवर्क में विशेषताओं के रूप में लिया जाए। LLM के एक निर्णय के साथ लॉजिस्टिक रिग्रेशन को लपेटना — p(y=1|x) = σ(α + β·LLM(x)) — कैलिब्रेटेड संभावनाओं को पुनः प्राप्त करता है, जिससे सटीकता-याद व्यापार के लिए सिद्धांतमूलक थ्रेशोल्ड नियंत्रण संभव होता है। लेबल किए गए डेटा पर प्रशिक्षण विशिष्ट जनसंख्या baseline के लिए मॉडल को अनुकूलित करता है और अतिरिक्त संरचित covariant एकीकरण की अनुमति देता है। उदाहरणों को फिर से भारित करना आगे विभिन्न वितरणों के हित के लिए लक्षित कर सकता है।

यह दृष्टिकोण LLM की असंरचित डेटा पर शक्ति को बनाए रखते हुए, मानक ML एल्गोरिदम के वांछनीय गुणों को पुनः प्राप्त करता है: कैलिब्रेशन, लचीली विशेषता एकीकरण, और स्पष्ट व्याख्या कि LLM संकेत अंतिम भविष्यवाणियों में कैसे योगदान देता है। LLM एक शक्तिशाली विशेषता निकालने वाला बन जाता है, rather than an unreliable end-to-end classifier.