HeadlinesBriefing favicon HeadlinesBriefing.com

Anthropic的J空间:数学入门

Towards Data Science •
×

在Anthropic的论文《可言语化表征构成语言模型中的全局工作空间》中,研究者引入了J空间——一个在Claude Opus 4.6上得到演示的、类似于人类皮层全局工作空间的大语言模型对应物。作者提供了大量实证证据,并展示了J空间作为大语言模型对齐审计工具的作用。

我们重新审视J空间的形式化定义与数学性质,为Anthropic的精准干预提供精确论证。原论文简洁的风格可能使关键机制隐含不显;我们通过应用数学的视角,提供清晰、分步的阐述。

我们定义了残差流中第𝓁层位置t处token的语义表征。对最终层L的平均因果影响是对提示、位置和未来上下文的期望。乘以解嵌入矩阵得到J透镜向量。这些向量构成一个过完备框架;J空间是这些向量的k-稀疏非负线性组合的集合——即锥的并集。

可言语化分量是到J空间的正交投影,即近似k-稀疏展开。不可言语化分量是残差。

关键实体:公司:Anthropic、Towards Data Science

FAQ:Anthropic研究中的J空间是什么?

J空间是人类皮层全局工作空间的大语言模型对应物,在Claude Opus 4.6上得到演示,并作为大语言模型对齐的审计工具。

FAQ问:Anthropic研究中的J空间是什么?

FAQ答:J空间是人类皮层全局工作空间的大语言模型对应物,在Claude Opus 4.6上得到演示,并作为大语言模型对齐的审计工具。