★ 3
PSSA：用 Rust 从零手写的非 Transformer 语言模型
开发者用 Rust 从零实现 PSSA，一个非 Transformer 的小型语言模型，采用循环状态空间层、情景记忆库并在运行时改写部分权重，不依赖任何 ML 框架。在相同参数与语料下，其训练损失与困惑度优于标准 Transformer，CPU 生成速度约快 12 倍。
Hacker News33 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
开发者用 Rust 从零实现 PSSA，一个非 Transformer 的小型语言模型，采用循环状态空间层、情景记忆库并在运行时改写部分权重，不依赖任何 ML 框架。在相同参数与语料下，其训练损失与困惑度优于标准 Transformer，CPU 生成速度约快 12 倍。