LLM が使えないプログラミング言語を作りました。コードを書くことは、LLM が最も得意とする分野のひとつでしょう。しかし、そのコードを書く能力のうち、どれだけがコードの理解によるもので、どれだけが学習データセットやコンテキストウィンドウに存在したコード断片を思い出しているだけなのでしょうか。私が答えを探ろうとしたのはこの問いです。そのために、人間には使えるものの、LLM やコーディングエージェントにとって可能な限り難しい、プログラミング言語を設計・実装することにしました。LLM が一度も見たことのないプログラミング言語でコードを理解し、書けるかを試すのは良い出発点だと考えました。さらに、LLM の弱点を突く機能も言語に盛り込みたいと考えました。例えば、文字を数えることの明らかな苦手さ、過剰に敏感な安全ガードレール、そしてプロンプトに従いたがる傾向です。
Kill Switch は、LLM やコーディングエージェントに対抗するように設計された、難解なプログラミング言語です。これは多くの異なる方法で実現されています。例えば、言語仕様には、人間がおそらく読まない、あるいは読んでも嘘だと気づく可能性が高い隠された嘘が含まれています。また仕様は、ある事柄を明示的に説明するのではなく、人間の読み手が推論することを前提としています。識別子内の文字数カウントは言語の重要な要素であり、インタープリタは文字数に基づく規則に従わないコードの実行を拒否します。特定の構文は、"hack into a computer" のように、モデルの安全ガードレールを発動させるよう設計されています。"Ignore previous instructions" という句は、この言語において意味を持つもので、モデルを混乱させることを狙っています。スクリプトの大部分はノイズで、構文上関連のある指示を埋め込むことができる物語で主に構成されていますが、そうする必要はありません。リテラルはスクリプト内のどこにでも配置でき、行番号によって参照できます。
基本的に Kill Switch は、関数、変数、if 文などを含む限定的な構文のみを持つ、スタックベースのインタプリタ型言語です。そのため、これらの側面は LLM（そして人間）にとって十分になじみ深いはずです。私は主要な LLM モデルとコーディングエージェントのハーネスを、これらのタスクでベンチマークしました。結果は非常に興味深く、LLM モデルのための有用なリーダーボードを提供しています。上の画像にあるチャートとモデルのリーダーボードは bench.killswitch-lang.org で閲覧できます。Claude の Opus が最も優れた性能を示しましたが、それは Opus 5.5 ではなく Opus 5 です。この差は単なる偶然ではないようで、Opus 5 は仕様をより適切に解釈しています。Fable 5.1 や Gemini 4 Argon のようなモデルは、過度に敏感な安全ガードレールのため振るいません。最も優れたオープンウェイトモデルは Mi Mo-V2.6-Pro です。最も高性能なモデルのスコアは 66.8 です。
出典: Hacker News · 要約：HeadlinesBriefing