HeadlinesBriefing favicon HeadlinesBriefing.com

O J-espaço da Anthropic: Introdução matemática

Towards Data Science •
×

No artigo da Anthropic «Verbalizable Representations Form a Global Workspace in Language Models», os pesquisadores introduzem o J-espaço, um análogo em LLMs (demonstrado no Claude Opus 4.6) ao espaço de trabalho global no córtex humano. Os autores apresentam ampla evidência empírica e demonstram o J-espaço como uma ferramenta de auditoria para o alinhamento de LLMs.

Reexaminamos a definição formal e as propriedades matemáticas do J-espaço, fornecendo justificativas precisas para as intervenções cirúrgicas da Anthropic. O estilo conciso do artigo original pode deixar mecânicas-chave implícitas; oferecemos uma explicação clara e passo a passo através de uma lente de matemática aplicada.

A representação semântica de um token na posição t na camada 𝓁 dentro do fluxo residual é definida. O impacto causal médio na camada final L é uma expectativa sobre prompts, posições e contextos futuros. Multiplicando pela matriz de desincorporação obtêm-se os vetores J-lens. Estes formam um quadro sobrecompleto; o J-espaço é o conjunto de combinações lineares não negativas k-esparsas destes vetores — uma união de cones.

O componente verbalizável é a projeção ortogonal sobre o J-espaço, uma expansão aproximada k-esparsa. O componente não verbalizável é o resíduo.

Entidades-chave: Empresas: Anthropic, Towards Data Science