Dans l'article d'Anthropic « Verbalizable Representations Form a Global Workspace in Language Models », les chercheurs introduisent le J-espace, un analogue dans les LLM (démontré sur Claude Opus 4.6) de l'espace de travail global du cortex humain. Les auteurs présentent de nombreuses preuves empiriques et démontrent le J-espace comme outil d'audit pour l'alignement des LLM.

Nous réexaminons la définition formelle et les propriétés mathématiques du J-espace, en fournissant des justifications précises pour les interventions chirurgicales d'Anthropic. Le style concis de l'article original peut laisser implicites des mécanismes clés ; nous offrons un exposé clair et étape par étape à travers le prisme des mathématiques appliquées.

La représentation sémantique d'un token à la position t dans la couche 𝓁 au sein du flux résiduel est définie. L'impact causal moyen sur la couche finale L est une espérance sur les prompts, les positions et les contextes futurs. La multiplication par la matrice de désintégration donne les vecteurs J-lens. Ceux-ci forment une trame surcomplète ; le J-espace est l'ensemble des combinaisons linéaires non négatives k-parcimonieuses de ces vecteurs — une union de cônes.

La composante verbalisable est la projection orthogonale sur le J-espace, une expansion approximative k-parcimonieuse. La composante non verbalisable est le résidu.

Entités clés : Entreprises : Anthropic, Towards Data Science

FAQ : Qu'est-ce que le J-espace dans la recherche d'Anthropic ?

Le J-espace est un analogue dans les LLM de l'espace de travail global du cortex humain, démontré sur Claude Opus 4.6, et sert d'outil d'audit pour l'alignement des LLM.

FAQ Q : Qu'est-ce que le J-espace dans la recherche d'Anthropic ?

FAQ R : Le J-espace est un analogue dans les LLM de l'espace de travail global du cortex humain, démontré sur Claude Opus 4.6, et sert d'outil d'audit pour l'alignement des LLM.