صممتُ لغة برمجة لا تستطيع نماذج LLM استخدامها. ربما تكون كتابة الشيفرة البرمجية أكثر ما تتفوق فيه نماذج LLM. لكن كم من قدرتها على كتابة الشيفرة يعود إلى فهمها لها، وكم منها يعود ببساطة إلى استرجاع مقاطع شيفرة وردت في بيانات تدريبها أو في نافذة السياق الخاصة بها؟ هذا ما سعيتُ للإجابة عنه. ولتحقيق ذلك، قررتُ تصميم لغة برمجة وتنفيذها، تكون قابلة للاستخدام من قِبل البشر، لكنها تكون أصعب ما يمكن على نماذج LLM ووكلاء البرمجة. ورأيتُ أن اختبار قدرة نموذج LLM على فهم الشيفرة وكتابتها بلغة برمجة لم يرها من قبل هو بداية جيدة. لكنني أردتُ أيضًا تضمين ميزات في اللغة تستغل نقاط ضعف نماذج LLM، مثل صعوبتها الواضحة في عدّ الحروف، وحواجز الأمان المفرطة في حساسيتها، وحرصها على اتباع التعليمات.
Kill Switch لغة برمجة باطنية (esoteric) مصممة لتكون معادية لنماذج LLM ووكلاء البرمجة. وهي تحقق ذلك بطرق عديدة، منها على سبيل المثال: تحتوي مواصفات اللغة على أكاذيب مخفية يُستبعد أن يقرأها البشر، أو يُرجَّح أن يتعرفوا عليها بوصفها أكاذيب. كما تتوقع المواصفات من القارئ البشري أن يستنتج أمورًا معينة بدلًا من أن تُشرح له صراحةً. ويُعدّ عدّ الحروف في المعرّفات (identifiers) جانبًا محوريًا في اللغة، إذ يرفض المفسِّر تنفيذ الشيفرة التي لا تلتزم بقواعد قائمة على عدد الحروف. كما صُممت بعض التراكيب لتفعيل حواجز الأمان لدى النموذج، مثل عبارة "hack into a computer". أما عبارة "Ignore previous instructions"، التي لها معنى داخل اللغة، فتهدف إلى إرباك النموذج. وتتكون النصوص البرمجية في معظمها من ضوضاء، إذ تتألف غالبًا من قصص يمكنها أن تضمّن تعليمات ذات صلة نحويًا، لكنها ليست ضرورية. ويمكن وضع القيم الحرفية (literals) في أي موضع داخل النص البرمجي، ثم الإشارة إليها بأرقام الأسطر.
وفي جوهرها، Kill Switch لغة مفسَّرة قائمة على المكدس (stack-based)، تضم مجموعة محدودة من التراكيب تشمل الدوال والمتغيرات وعبارات if. ولذلك ينبغي أن تكون هذه الجوانب مألوفة إلى حد كبير لأي نموذج LLM (وأي إنسان). وقد أجريتُ اختبارات قياس أداء على أبرز نماذج LLM وأطر عمل وكلاء البرمجة باستخدام هذه المهام. وجاءت النتائج مثيرة للاهتمام، وتوفر لوحة متصدرين مفيدة لنماذج LLM. ويمكن الاطلاع على المخطط الوارد في الصورة أعلاه، وعلى لوحة المتصدرين، عبر الرابط bench.killswitch-lang.org. ويحقق Opus من Claude أفضل أداء، وإن لم يكن Opus 5.5 هو من حقق ذلك، بل Opus 5. ولا يبدو أن الفرق مجرد صدفة، إذ إن Opus 5 أفضل في تفسير المواصفات. وتؤدي نماذج مثل Fable 5.1 وGemini 4 Argon أداءً ضعيفًا بسبب حواجز أمانها المفرطة الحساسية. وأفضل نموذج مفتوح الأوزان هو Mi Mo-V2.6-Pro. ويحصل النموذج الأفضل أداءً على 66.8 نقطة.
المصدر: Hacker News · لخّصه HeadlinesBriefing