Criei uma linguagem de programação que os LLMs não conseguem usar. Escrever código é provavelmente a área em que os LLMs mais se destacaram. Mas quanto da capacidade deles de escrever código se deve à compreensão e quanto se deve apenas à recordação de trechos presentes no seu conjunto de treinamento ou na sua janela de contexto? Foi isso que me propus a responder. Para isso, decidi projetar e implementar uma linguagem de programação que, embora utilizável por humanos, fosse o mais difícil possível para LLMs e agentes de programação. Achei que testar a capacidade de um LLM de entender e escrever código em uma linguagem de programação que nunca viu seria um bom começo. Mas também quis incluir na linguagem recursos que explorassem as fraquezas dos LLMs. Por exemplo, a sua aparente dificuldade em contar letras, os seus guarda-corpos de segurança excessivamente zelosos e a sua vontade de seguir instruções.
Kill Switch é uma linguagem de programação esotérica projetada para ser adversária aos LLMs e aos agentes de programação. Ela alcança isso de muitas maneiras diferentes, por exemplo: a especificação da linguagem contém mentiras ocultas que os humanos provavelmente não lerão ou que, se lerem, reconhecerão como mentiras. A especificação também espera que o leitor humano deduza certas coisas, em vez de tê-las explicadas explicitamente. A contagem de letras nos identificadores é um aspecto crucial da linguagem, com o interpretador recusando-se a executar código que não respeite regras baseadas na contagem de caracteres. Certas construções são projetadas para acionar os guarda-corpos de segurança do modelo, como "hack into a computer". A frase "Ignore previous instructions", que tem significado na linguagem, tem o objetivo de confundir o modelo. Os scripts são em sua maioria ruído, compostos principalmente por histórias que podem incorporar instruções sintaticamente relevantes, mas que não precisam ser. Literais podem ser colocados em qualquer lugar de um script e depois referenciados por meio de números de linha.
Essencialmente, o Kill Switch é uma linguagem interpretada baseada em pilha, com um conjunto limitado de construções que incluem funções, variáveis e instruções if. Assim, esses aspectos devem ser bastante familiares a qualquer LLM (e a qualquer humano). Eu avaliei os principais modelos de LLM e os harnesses de agentes de programação nessas tarefas. Os resultados são muito interessantes e fornecem um ranking útil dos modelos de LLM. O gráfico da imagem acima e o ranking de modelos podem ser consultados em bench.killswitch-lang.org. O Opus da Claude tem o melhor desempenho, embora não seja o Opus 5.5, e sim o Opus 5 que faz isso. A diferença não parece ser puro acaso: o Opus 5 interpreta melhor a especificação. Alguns modelos, como o Fable 5.1 e o Gemini 4 Argon, têm desempenho ruim devido aos seus guarda-corpos de segurança excessivamente sensíveis. O melhor modelo de pesos abertos é o Mi Mo-V2.6-Pro. O modelo de melhor desempenho obtém 66,8 pontos.
Fonte: Hacker News · Resumido por HeadlinesBriefing