HeadlinesBriefing favicon HeadlinesBriefing.com

AnthropicのJ空間:数学的入門

Towards Data Science •
×

Anthropicの論文「Verbalizable Representations Form a Global Workspace in Language Models」において、研究者たちはJ空間を導入する。これは人間の皮質におけるグローバルワークスペースのLLMにおける類似物(Claude Opus 4.6で実証)である。著者たちは広範な実証的証拠を示し、LLMアラインメントのための監査ツールとしてのJ空間を実証している。

我々はJ空間の形式的定義と数学的性質を再検討し、Anthropicの外科的介入に対する正確な正当化を提供する。原著論文の簡潔な文体は重要なメカニズムを暗黙のままにすることがある。我々は応用数学の視点から、明確で段階的な説明を提供する。

残差ストリーム内の層𝓁における位置tのトークンの意味表現が定義される。最終層Lへの平均因果的影響は、プロンプト、位置、将来の文脈に関する期待値である。アンエンベディング行列を掛けるとJレンズベクトルが得られる。これらは過完備フレームを形成する。J空間はこれらのベクトルのk-スパース非負線形結合の集合であり、錐の和集合である。

言語化可能な成分はJ空間への直交射影であり、近似k-スパース展開である。言語化不可能な成分は残差である。

主要なエンティティ:企業:Anthropic、Towards Data Science

FAQ:Anthropicの研究におけるJ空間とは何か?

J空間は人間の皮質におけるグローバルワークスペースのLLMにおける類似物であり、Claude Opus 4.6で実証され、LLMアラインメントのための監査ツールとして機能する。

FAQ 質問:Anthropicの研究におけるJ空間とは何か?

FAQ 回答:J空間は人間の皮質におけるグローバルワークスペースのLLMにおける類似物であり、Claude Opus 4.6で実証され、LLMアラインメントのための監査ツールとして機能する。