★ 3
论文：DeltaNet 固定矩阵状态实现 99.95% 召回
论文研究一种带固定 token 特定键偏置的小型 DeltaNet 变体，在 32 KiB 循环矩阵状态下记忆每序列 32 个新键值对，三个训练种子平均准确率达 99.95%。当填充内容将查询前上下文扩展到 1798 个 token 时回忆仍近乎完美，而清零首个记忆块会消除该能力。参数匹配的向量与…
arXiv cs.LG31 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文研究一种带固定 token 特定键偏置的小型 DeltaNet 变体，在 32 KiB 循环矩阵状态下记忆每序列 32 个新键值对，三个训练种子平均准确率达 99.95%。当填充内容将查询前上下文扩展到 1798 个 token 时回忆仍近乎完美，而清零首个记忆块会消除该能力。参数匹配的向量与…