In Anthropics Paper „Verbalizable Representations Form a Global Workspace in Language Models“ führen die Forscher den J-Raum ein, ein LLM-Analogon (demonstriert an Claude Opus 4.6) zum globalen Arbeitsraum im menschlichen Kortex. Die Autoren präsentieren umfangreiche empirische Belege und demonstrieren den J-Raum als Audit-Werkzeug für die LLM-Ausrichtung.

Wir untersuchen die formale Definition und die mathematischen Eigenschaften des J-Raums erneut und liefern präzise Begründungen für Anthropics chirurgische Interventionen. Der knappe Stil des Originalpapiers kann zentrale Mechanismen implizit lassen; wir bieten eine klare, schrittweise Darstellung aus der Perspektive der angewandten Mathematik.

Die semantische Repräsentation eines Tokens an Position t in Schicht 𝓁 innerhalb des Residualstroms wird definiert. Die durchschnittliche kausale Auswirkung auf die letzte Schicht L ist ein Erwartungswert über Prompts, Positionen und zukünftige Kontexte. Die Multiplikation mit der Unembedding-Matrix ergibt J-Lens-Vektoren. Diese bilden einen übervollständigen Frame; der J-Raum ist die Menge der k-sparsen nichtnegativen Linearkombinationen dieser Vektoren – eine Vereinigung von Kegeln.

Die verbalisierbare Komponente ist die orthogonale Projektion auf den J-Raum, eine approximative k-sparse Entwicklung. Die nicht verbalisierbare Komponente ist das Residuum.

Wichtige Entitäten: Unternehmen: Anthropic, Towards Data Science