★ 3
PSSA:用 Rust 从零手写的非 Transformer 语言模型
开发者用 Rust 从零实现 PSSA,一个非 Transformer 的小型语言模型,采用循环状态空间层、情景记忆库并在运行时改写部分权重,不依赖任何 ML 框架。在相同参数与语料下,其训练损失与困惑度优于标准 Transformer,CPU 生成速度约快 12 倍。
Hacker News33 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
开发者用 Rust 从零实现 PSSA,一个非 Transformer 的小型语言模型,采用循环状态空间层、情景记忆库并在运行时改写部分权重,不依赖任何 ML 框架。在相同参数与语料下,其训练损失与困惑度优于标准 Transformer,CPU 生成速度约快 12 倍。
论文提出长程个性化AI应将记忆建模为用户特有的动态状态空间,具有局部异质几何结构,而非静态隐空间中的离散记录检索。交互、反馈与时间推移会形成轨迹,记忆访问由此变为轨迹条件下的用户状态重建,而非单纯的最近邻查找。