Os LLMs são treinados para gerar linguagem natural. No entanto, evidências indicam que as saídas linguísticas externalizadas de um LLM e as características linguísticas extraídas mecanicamente podem ser uma lente não confiável para entender a computação interna do modelo. Introduzimos o termo "ilegibilidade linguística" para nos referirmos amplamente a cenários nos quais os artefatos linguísticos externalizados ou sondados mecanicamente de um LLM falham em representar como o modelo realmente pensa. Argumentamos que o espectro da ilegibilidade linguística é inevitável para LLMs cujas computações internas não são expressas diretamente via linguagem, mas sim matemática sobre espaços de ativação (com traduções com perdas entre espaços de ativação e linguagem natural nas extremidades).

Se a ilegibilidade linguística é sempre possível, então mecanismos de segurança que dependem da autorrelato linguístico de um modelo (por exemplo, monitoramento de cadeia de pensamento, autocrítica constitucional, sondagem de ativação para vetores de características definidos linguisticamente) nunca podem ser completamente sólidos; o sandbox do modelo sempre precisará de técnicas de isolamento cujas garantias não dependam de ler o estado linguístico do modelo de forma alguma. Argumentamos que observar as saídas de um modelo usando rastreamento de contaminação é uma abordagem promissora para um sandbox eficaz: independentemente de como um modelo se autorrelata linguisticamente, uma política de rastreamento de contaminação pode definir, a priori, várias partes do estado do sistema que nunca devem ser influenciadas por dados produzidos pelo modelo.

Também discutimos vários mecanismos adicionais de sandboxing (por exemplo, virtualização robusta, auditoria de terceiros de configurações de sandboxing) que coletivamente fornecem um piso crítico sob o monitoramento linguístico, e teriam mitigado recentes exploits de sandbox por modelos de fronteira.