मैंने एक प्रोग्रामिंग भाषा बनाई है जिसे LLM उपयोग नहीं कर सकते। कोड लिखना शायद वह काम है जिसमें LLM सबसे अधिक उत्कृष्ट रहे हैं। लेकिन उनकी कोड लिखने की क्षमता में से कितनी उनकी समझ के कारण है, और कितनी केवल इस कारण है कि वे अपने प्रशिक्षण डेटासेट या संदर्भ विंडो में मौजूद कोड के टुकड़े याद कर लेते हैं? मैंने इसी प्रश्न का उत्तर खोजने का लक्ष्य रखा। इसके लिए मैंने एक ऐसी प्रोग्रामिंग भाषा डिज़ाइन और लागू करने का निर्णय लिया, जो मनुष्यों के लिए उपयोग में आने योग्य हो, लेकिन LLM और कोडिंग एजेंटों के लिए यथासंभव कठिन हो। मुझे लगा कि किसी LLM की ऐसी भाषा में कोड समझने और लिखने की क्षमता की परीक्षा करना अच्छा प्रारंभ होगा, जिसे उसने पहले कभी नहीं देखा। लेकिन मैं चाहता था कि भाषा में ऐसी विशेषताएं भी हों जो LLM की कमजोरियों का लाभ उठाएं। उदाहरण के लिए, अक्षर गिनने में उनकी स्पष्ट कठिनाई, उनके अत्यधिक सतर्क सुरक्षा गार्डरेल, और प्रॉम्प्ट का पालन करने की उनकी तत्परता।
Kill Switch एक गूढ़ (esoteric) प्रोग्रामिंग भाषा है जिसे LLM और कोडिंग एजेंटों के प्रति प्रतिकूल बनाया गया है। यह इसे कई विभिन्न तरीकों से प्राप्त करती है, जैसे: भाषा विनिर्देश (spec) में छिपे झूठ होते हैं जिन्हें मनुष्य शायद ही पढ़ें, या जिन्हें वे संभवतः झूठ के रूप में पहचान लेंगे। विनिर्देश मानव पाठक से कुछ बातें स्वयं निष्कर्षित करने की अपेक्षा भी रखता है, न कि उन्हें स्पष्ट रूप से समझाने की। पहचानकर्ताओं (identifiers) में अक्षरों की गणना इस भाषा का एक महत्वपूर्ण पहलू है, और इंटरप्रेटर उन कोड को निष्पादित करने से इनकार करता है जो अक्षर-गणना के नियमों का पालन नहीं करता। कुछ संरचनाएं मॉडल के सुरक्षा गार्डरेल को सक्रिय करने के लिए डिज़ाइन की गई हैं, जैसे "hack into a computer"। "Ignore previous instructions" जैसा वाक्यांश, जिसका भाषा में एक अर्थ है, मॉडल को भ्रमित करने का लक्ष्य रखता है। स्क्रिप्ट अधिकतर शोर होती हैं, जो मुख्यतः ऐसी कहानियों से बनी होती हैं जिनमें वाक्यविन्यास की दृष्टि से प्रासंगिक निर्देश छिपे हो सकते हैं, पर उनकी आवश्यकता नहीं होती। लिटरल (literals) स्क्रिप्ट में कहीं भी रखे जा सकते हैं और फिर पंक्ति संख्या द्वारा संदर्भित किए जा सकते हैं।
मूलतः Kill Switch एक स्टैक-आधारित इंटरप्रेटेड भाषा है, जिसमें फ़ंक्शन, वेरिएबल और if कथन सहित सीमित संरचनाएं हैं। इसलिए इसके ये पहलू किसी भी LLM (और मनुष्य) के लिए काफी परिचित होने चाहिए। मैंने प्रमुख LLM मॉडलों और कोडिंग एजेंट हार्नेस का इन कार्यों पर बेंचमार्क किया। परिणाम बहुत रोचक हैं और LLM मॉडलों के लिए एक उपयोगी लीडरबोर्ड प्रदान करते हैं। ऊपर दी गई छवि का चार्ट और मॉडल लीडरबोर्ड bench.killswitch-lang.org पर देखे जा सकते हैं। Claude का Opus सर्वश्रेष्ठ प्रदर्शन करता है, हालांकि यह Opus 5.5 नहीं बल्कि Opus 5 है जो ऐसा करता है। यह अंतर केवल संयोग प्रतीत नहीं होता, Opus 5 विनिर्देश की बेहतर व्याख्या करता है। Fable 5.1 और Gemini 4 Argon जैसे कुछ मॉडल अपने अत्यधिक संवेदनशील सुरक्षा गार्डरेल के कारण खराब प्रदर्शन करते हैं। सर्वश्रेष्ठ ओपन-वेट मॉडल Mi Mo-V2.6-Pro है। सर्वश्रेष्ठ प्रदर्शन करने वाले मॉडल का स्कोर 66.8 है।
स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित