PSSA (plastic state-space architecture) 是一种用 Rust 从零编写的小型语言模型，无需 PyTorch 或 TensorFlow。与 Transformer 为每个标记对计算得分不同，PSSA 通过一个循环状态空间层和一个情景记忆银行逐标记处理文本。在 12.7M 个标记的 Wiki Text-103 上，PSSA 达到了 3.98 的训练交叉熵，而 Transformer 为 4.43——相差 0.45 nat。在未见数据上，PSSA 得分为 3.997，而 Transformer 为 4.429；下一标记准确率为 24.1%，而 Transformer 为 18.0%。生成 200 个标记，PSSA 耗时 226ms，而 Transformer 耗时 2,735ms——在 CPU 上快 12 倍。关键特性包括学习到的连续状态矩阵、一个 512 槽的双曲记忆银行、具有反射门控的可塑权重，以及通过岭回归实现的闭合形式巩固。这些是 1.5M 参数的研究原型，非生产模型。两者的文本质量均较差，但 PSSA 展示了更优的学习效率和速度。

该架构与 Transformer 的根本区别在于：成本随序列长度线性增长，而非二次增长，且上下文不会在每一步被重新读取。循环模型携带固定大小的状态前向传播，而 Transformer 每个标记都会重新读取其整个上下文窗口。

PSSA 使用 Rust 手写线性代数，具有 CUDA 训练路径和标量 CPU 参考实现（最大梯度差异为 2.98e-8）。比较侧重于学习效率，而非流畅性。

常见问题：PSSA 与 Transformer 模型有何不同？

PSSA 使用循环状态空间层逐标记处理文本，具有固定大小的状态、一个情景记忆银行，以及在处理过程中重写的可塑权重。Transformer 通过注意力机制对每个标记对进行评分，导致成本呈二次增长。PSSA 学习更快，在 CPU 上生成速度快 12 倍，且在未见数据上的泛化能力更强，尽管两者均为 1.5M 参数的研究原型，文本质量较差。