LLM-आधारित एजेंट कई कार्य करते हुए दिख सकते हैं, जैसे कोड लिखना, शोध-पत्रों का सार बनाना, यात्रा की योजना बनाना और फ़ॉर्म भरना। जब उनसे कोई प्रायिकता या कॉन्फिडेंस स्कोर माँगा जाता है, तो वे तुरंत एक दे देते हैं। कई एजेंट डिज़ाइनर इसी तरह LLM से कॉन्फिडेंस स्कोर बनवाते हैं, लेकिन उस संख्या पर भरोसा करने का कोई अच्छा कारण नहीं है।
यह समझने के लिए पहले यह जानना उपयोगी है कि कॉन्फिडेंस का अर्थ क्या है। एक मौसम विज्ञानी की कल्पना कीजिए जो कहता है, "मुझे 70% विश्वास है कि कल बारिश होगी।" उसका विश्वास उस जानकारी से आता है जिसका वह उपयोग करता है, जैसे वर्तमान वायुदाब, आर्द्रता और रडार, साथ ही वर्षों के मौसम रिकॉर्ड। सिद्धांत रूप में, इस जानकारी को कॉन्फिडेंस में बदलना एक गणना है। समान जानकारी वाले दो विशेषज्ञ यदि एक ही नियम सही ढंग से लागू करें, तो उन्हें एक ही कॉन्फिडेंस पर पहुँचना चाहिए। जब वे असहमत होते हैं, तो या तो उनके पास अलग जानकारी होती है या किसी ने नियम गलत लागू किया होता है।
सटीकता का आकलन केवल अनेक पूर्वानुमानों के आधार पर ही किया जा सकता है। यदि कोई मौसम विज्ञानी कई दिनों तक 70% कहता है और लगभग 70% दिनों में बारिश होती है, तो उसका पूर्वानुमान अंशांकित (calibrated) है। लेकिन केवल अंशांकन पर्याप्त नहीं है। जो विशेषज्ञ हमेशा 30% कहता है, यानी मौसमी औसत, वह भी अंशांकित है, पर वह कल के बारे में कोई जानकारी उपयोग नहीं करता। एक उपयोगी पूर्वानुमानकर्ता अंशांकित होने के साथ-साथ, जब साक्ष्य इसकी अनुमति दें, तब 10% या 90% के आसपास मज़बूत कॉन्फिडेंस भी देता है।
इसलिए एक भरोसेमंद कॉन्फिडेंस स्कोर के लिए दो बातें चाहिए: उसे उपलब्ध जानकारी की मात्रा दर्शानी चाहिए और एक दिशा में मज़बूती से इशारा करना चाहिए, तथा उसे पूर्वानुमानों और परिणामों के लिखित रिकॉर्ड से मिलाया जाना चाहिए। ऐसे रिकॉर्ड के बिना यह जानने का कोई तरीका नहीं कि स्कोर सटीक है या नहीं। लेखक का तर्क है कि LLM द्वारा स्वयं उत्पन्न कॉन्फिडेंस इन दोनों शर्तों को पूरा नहीं करता, और इसी कारण उस पर निर्भर रहना अच्छा विचार नहीं है।
स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित