আমি এমন একটি প্রোগ্রামিং ভাষা তৈরি করেছি যা LLM ব্যবহার করতে পারে না। কোড লেখা সম্ভবত সেই কাজ যাতে LLM সবচেয়ে বেশি দক্ষতা দেখিয়েছে। কিন্তু কোড লেখার ক্ষমতার কতটুকু তাদের বোঝার কারণে, আর কতটুকু কেবল তাদের প্রশিক্ষণ ডেটাসেট বা কনটেক্সট উইন্ডোতে থাকা কোডের টুকরো মনে রাখার কারণে? এটাই আমি উত্তর খুঁজতে শুরু করেছিলাম। এর জন্য আমি এমন একটি প্রোগ্রামিং ভাষা ডিজাইন ও বাস্তবায়ন করার সিদ্ধান্ত নিয়েছি, যা মানুষের ব্যবহারযোগ্য হলেও LLM ও কোডিং এজেন্টদের জন্য যতটা সম্ভব কঠিন হবে। আমার মনে হয়েছিল, একটি LLM যে ভাষা আগে কখনো দেখেনি, সেই ভাষায় কোড বোঝা ও লেখার সামর্থ্য পরীক্ষা করা একটি ভালো সূচনা। তবে আমি ভাষায় এমন কিছু বৈশিষ্ট্যও রাখতে চেয়েছিলাম যা LLM-এর দুর্বলতাগুলোকে কাজে লাগায়। যেমন, অক্ষর গোনায় তাদের স্পষ্ট অসুবিধা, তাদের অতিরিক্ত সতর্ক নিরাপত্তা গার্ডরেল, এবং প্রম্পট অনুসরণে তাদের আগ্রহ।
Kill Switch একটি গূঢ় (esoteric) প্রোগ্রামিং ভাষা, যা LLM ও কোডিং এজেন্টদের প্রতি বিরোধী হিসেবে ডিজাইন করা হয়েছে। এটি বিভিন্নভাবে এই লক্ষ্য অর্জন করে, যেমন: ভাষার স্পেসিফিকেশনে এমন লুকানো মিথ্যা রয়েছে যা মানুষ সম্ভবত পড়বে না, অথবা পড়লেও মিথ্যা বলে চিনে ফেলবে। স্পেসিফিকেশন মানব পাঠককে কিছু বিষয় স্পষ্টভাবে ব্যাখ্যা না করে নিজে অনুমান করে নিতেও আশা করে। শনাক্তকারীর (identifier) মধ্যে অক্ষর গণনা এই ভাষার একটি গুরুত্বপূর্ণ দিক, এবং ইন্টারপ্রেটার অক্ষর গণনার নিয়ম মেনে না চলা কোড চালাতে অস্বীকার করে। কিছু নির্মাণ এমনভাবে ডিজাইন করা হয়েছে যাতে মডেলের নিরাপত্তা গার্ডরেল সক্রিয় হয়, যেমন "hack into a computer"। "Ignore previous instructions" নামের বাক্যাংশটি, যার ভাষার মধ্যে নির্দিষ্ট অর্থ আছে, মডেলকে বিভ্রান্ত করার উদ্দেশ্যে রাখা হয়েছে। স্ক্রিপ্টগুলো মূলত কোলাহল, যা বেশিরভাগই গল্প দিয়ে গঠিত; এসব গল্পে বাক্যগঠনগতভাবে প্রাসঙ্গিক নির্দেশনা থাকতে পারে, তবে সেগুলোর প্রয়োজন নেই। লিটারেল (literal) স্ক্রিপ্টের যেকোনো জায়গায় বসানো যায় এবং পরে লাইন নম্বর দিয়ে উল্লেখ করা যায়।
মূলত Kill Switch একটি স্ট্যাক-ভিত্তিক ইন্টারপ্রেটেড ভাষা, যেখানে ফাংশন, ভেরিয়েবল ও if স্টেটমেন্টসহ সীমিত কিছু নির্মাণ রয়েছে। তাই এর এই দিকগুলো যেকোনো LLM (এবং মানুষের) কাছে যথেষ্ট পরিচিত হওয়ার কথা। আমি প্রধান LLM মডেল এবং কোডিং এজেন্ট হার্নেসগুলোকে এই কাজগুলোর বিপরীতে বেঞ্চমার্ক করেছি। ফলাফল খুবই আকর্ষণীয় এবং LLM মডেলের জন্য একটি কার্যকর লিডারবোর্ড দেয়। উপরের ছবির চার্ট ও মডেল লিডারবোর্ড bench.killswitch-lang.org-এ দেখা যাবে। Claude-এর Opus সেরা ফল করেছে, যদিও এটি Opus 5.5 নয় বরং Opus 5। এই পার্থক্য কেবল কাকতালীয় বলে মনে হয় না, Opus 5 স্পেসিফিকেশন ভালোভাবে ব্যাখ্যা করতে পারে। Fable 5.1 এবং Gemini 4 Argon-এর মতো কিছু মডেল তাদের অতিসংবেদনশীল নিরাপত্তা গার্ডরেলের কারণে খারাপ করেছে। সেরা ওপেন-ওয়েট মডেল হলো Mi Mo-V2.6-Pro। সেরা পারফর্মিং মডেল ৬৬.৮ স্কোর করেছে।
উৎস: Hacker News · সারাংশ: HeadlinesBriefing