В статье Anthropic «Verbalizable Representations Form a Global Workspace in Language Models» исследователи вводят J-пространство — аналог глобального рабочего пространства в человеческой коре для больших языковых моделей (продемонстрированный на Claude Opus 4.6). Авторы представляют обширные эмпирические данные и демонстрируют J-пространство как инструмент аудита для выравнивания больших языковых моделей.

Мы пересматриваем формальное определение и математические свойства J-пространства, предоставляя точные обоснования для хирургических вмешательств Anthropic. Краткий стиль оригинальной статьи может оставлять ключевые механизмы неявными; мы предлагаем ясное пошаговое изложение через призму прикладной математики.

Определяется семантическое представление токена в позиции t в слое 𝓁 внутри остаточного потока. Среднее причинное воздействие на финальный слой L — это математическое ожидание по промптам, позициям и будущим контекстам. Умножение на матрицу разэмбеддинга даёт векторы J-линзы. Они образуют переполненный фрейм; J-пространство — это множество k-разреженных неотрицательных линейных комбинаций этих векторов, то есть объединение конусов.

Вербализуемая компонента — это ортогональная проекция на J-пространство, приближённое k-разреженное разложение. Невербализуемая компонента — это остаток.

Ключевые сущности: Компании: Anthropic, Towards Data Science