केवल बात करने वाले AI एजेंट से बहुत कम जोखिम होता है, क्योंकि गलत उत्तर को दोबारा पूछा जा सकता है। लेकिन जैसे ही एजेंट को टूल चलाने की अनुमति मिलती है, एक गलती का मतलब भेजा गया ईमेल या स्थानांतरित भुगतान हो सकता है। आम समाधान है कि पहले मॉडल की जाँच के लिए दूसरा मॉडल लगाया जाए, पर यह ऐसा लगता है जैसे एक इंटर्न की निगरानी के लिए दूसरा इंटर्न रखा जा रहा हो।
एक सरल उदाहरण समस्या दिखाता है। एक ग्राहक से 12 डॉलर की खरीद पर दो बार शुल्क लिया गया और उसने AI एजेंट से रिफंड माँगा। एजेंट ने सही टूल और सही ग्राहक चुना, लेकिन हर शुल्क के 1,200 सेंट की जगह 120,000 सेंट की राशि तैयार की। ग्राहक ID मान्य है, मान पूर्णांक है और स्कीमा उसे स्वीकार करता है, इसलिए सब कुछ ठीक दिखता है। राशि सौ गुना गलत है, जो डॉलर को दो बार सेंट में बदलने पर होने वाली गलती जैसी है। 500 डॉलर की सीमा 1,200 डॉलर वाली गलती पकड़ लेती, लेकिन 120 डॉलर की गलती नहीं पकड़ती, जो फिर भी ग्राहक द्वारा स्वीकृत राशि से दस गुना है।
इसी कमी ने लेखक को Type Safe AI के Jev मॉडल तक पहुँचाया, जो 15 सितंबर को कंपनी के "सिस्टम वन मॉडल्स" की पहली कड़ी के रूप में जारी हुआ। यह अभी शुरुआती पहुँच (early access) में है। यह टेक्स्ट बनाने के बजाय एप्लिकेशन की स्थिति और एक सीमित प्रश्न लेता है और एक टाइप्ड संभाव्य उत्तर लौटाता है, जो सामान्य चैट मॉडल से अलग काम है। इनपुट और आउटपुट के लिए सुरक्षा उपाय इसके इच्छित उपयोगों में शामिल हैं।
लेखक का कहना है कि स्कीमा सत्यापन संरचनात्मक गलतियाँ पकड़ता है, पर अर्थ संबंधी गलतियाँ नहीं, जैसे दोनों पते मान्य होने पर भी गलत प्राप्तकर्ता को ईमेल भेजना। Jev जैसा मॉडल एजेंट सिस्टम में निर्णय परत के रूप में उपयोगी हो सकता है, हालाँकि लेख बेंचमार्क परिणामों के बजाय इस पर केंद्रित है कि वह कहाँ फिट बैठता है और किन फैसलों के लिए उस पर भरोसा नहीं करना चाहिए।
स्रोत: Towards Data Science · HeadlinesBriefing द्वारा सारांशित