HeadlinesBriefing favicon HeadlinesBriefing.com

LLM पाइपलाइन विफलताएँ: सहीता का अर्थ नहीं

Towards Data Science •
×

बेंजामिन न्वेके ने स्ट्रक्चर्ड आउटपुट सक्रिय करने के बाद एक मामूली LLM पाइपलाइन विफलता का पता लगाया। उनकी पुनर्मिलान नौकरी भुगतान पुष्टि पार्सिंग में अमेलों को चिह्नित किया। मूल कारण: मॉडल ने निकालने की नौकरी की दौड़ की तारीख भर दी क्योंकि वह कुछ नहीं लौटा सकता था। इसी तरह, एक ओपन-सोर्स रिट्रीवल सिस्टम ने कोसाइन समानता थ्रेशोल्ड का उपयोग करके एक सेमेंटिक कैश लागू किया ताकि अनावश्यक जनरेशन से बचा जा सके। हालांकि, कैश में ऐसा कोई तंत्र नहीं था जो विरोधी सही उत्तरों की मांग करने वाले प्रश्नों के बावजूद सेमेंटिक समानता के साथ अस्वीकार करने की क्षमता हो। यह एक महत्वपूर्ण डिजाइन दोष का परदाफाश करता है जो विश्वसनीयता तंत्रों द्वारा साझा किया जाता है: वे आउटपुट की डिग्रीज को सीमित करके डाउनस्ट्रीम प्रोसेसिंग को सरल बनाते हैं, लेकिन अनजाने ही अस्वीकार करने की क्षमता हटा देते हैं। कंस्ट्रेंट उल्लंघन शोरिल होते हैं, लेकिन फोर्स्ड मान सभी गेटों को चुपचाप पार कर लेते हैं, जो बिना प्रोवेनेंस के अंधेरे विफलताएं पैदा करते हैं। कैश के मामले में, हिट रिट्रीवल और मॉडल दोनों को पूरी तरह छोड़ देता है, जिससे कोई जनरेशन ही नहीं बचता जिसकी तुलना की जा सके। इस खोज से पुष्टि होती है कि विश्वसनीयता तंत्र, बावजूद कि वे शोर को कम करने में कामयाब हैं, जब सही उत्तर कोई भी नहीं है तो प्रोवेनेंस की समस्याओं को ढक लेते हैं।