HeadlinesBriefing favicon HeadlinesBriefing.com

El J-espacio de Anthropic: Introducción matemática

Towards Data Science •
×

En el artículo de Anthropic «Verbalizable Representations Form a Global Workspace in Language Models», los investigadores presentan el J-espacio, un análogo en los LLM (demostrado en Claude Opus 4.6) del espacio de trabajo global en la corteza humana. Los autores presentan amplia evidencia empírica y demuestran el J-espacio como una herramienta de auditoría para la alineación de los LLM.

Reexaminamos la definición formal y las propiedades matemáticas del J-espacio, proporcionando justificaciones precisas para las intervenciones quirúrgicas de Anthropic. El estilo conciso del artículo original puede dejar implícitas mecánicas clave; ofrecemos una explicación clara y paso a paso a través de una lente de matemáticas aplicadas.

Se define la representación semántica de un token en la posición t en la capa 𝓁 dentro del flujo residual. El impacto causal promedio en la capa final L es una expectativa sobre prompts, posiciones y contextos futuros. Multiplicando por la matriz de desincrustación se obtienen los vectores J-lens. Estos forman un marco sobrecompleto; el J-espacio es el conjunto de combinaciones lineales no negativas k-dispersas de estos vectores: una unión de conos.

El componente verbalizable es la proyección ortogonal sobre el J-espacio, una expansión aproximada k-dispersa. El componente no verbalizable es el residuo.

Entidades clave: Empresas: Anthropic, Towards Data Science