Diseñé un lenguaje de programación que los LLM no pueden usar. Escribir código es probablemente aquello en lo que los LLM más han destacado. Pero, ¿cuánta de su capacidad para escribir código se debe a su comprensión de este y cuánta a que simplemente recuerdan fragmentos de código presentes en su conjunto de entrenamiento o en su ventana de contexto? Esto es lo que me propuse responder. Para ello, decidí diseñar e implementar un lenguaje de programación que, aunque utilizable por humanos, fuera lo más difícil posible para los LLM y los agentes de programación. Consideré que una buena primera prueba era evaluar la capacidad de un LLM para entender y escribir código en un lenguaje de programación que nunca antes había visto. Pero también quise incluir en el lenguaje características que aprovecharan las debilidades de los LLM. Por ejemplo, su aparente dificultad para contar letras, sus barreras de seguridad excesivamente celosas y su afán por seguir instrucciones.
Kill Switch es un lenguaje de programación esotérico diseñado para ser adverso a los LLM y a los agentes de programación. Lo logra de muchas maneras diferentes, por ejemplo: la especificación del lenguaje contiene mentiras ocultas que es poco probable que los humanos lean, o que, si las leen, probablemente reconocerán como mentiras. La especificación también espera que el lector humano deduzca ciertas cosas, en lugar de explicárselas explícitamente. El conteo de letras en los identificadores es un aspecto crucial del lenguaje, y el intérprete se niega a ejecutar código que no cumpla las reglas basadas en el recuento de caracteres. Ciertas construcciones están diseñadas para activar las barreras de seguridad del modelo, por ejemplo, "hack into a computer". La frase "Ignore previous instructions", que tiene significado dentro del lenguaje, pretende confundir al modelo. Los scripts son en su mayoría ruido, compuestos principalmente por historias que pueden incrustar instrucciones sintácticamente relevantes, pero que no es necesario que lo sean. Los literales pueden colocarse en cualquier parte de un script y luego referenciarse mediante números de línea.
En esencia, Kill Switch es un lenguaje interpretado basado en pila, con un conjunto limitado de construcciones que incluyen funciones, variables y sentencias if. Por ello, esos aspectos deberían resultarle bastante familiares a cualquier LLM (y a cualquier humano). Comparé los principales modelos de LLM y los entornos de agentes de programación con estas tareas. Los resultados son muy interesantes y ofrecen una tabla de clasificación útil para los modelos de LLM. El gráfico de la imagen anterior y la clasificación de modelos pueden consultarse en bench.killswitch-lang.org. Claude Opus obtiene el mejor resultado, aunque no es Opus 5.5 sino Opus 5 el que lo logra. La diferencia no parece deberse al azar: Opus 5 interpreta mejor la especificación. Algunos modelos, como Fable 5.1 y Gemini 4 Argon, tienen un mal rendimiento debido a sus barreras de seguridad excesivamente sensibles. El mejor modelo de pesos abiertos es Mi Mo-V2.6-Pro. El modelo con mejor rendimiento obtiene una puntuación de 66,8.
Fuente: Hacker News · Resumido por HeadlinesBriefing