★ 3
论文：DeltaNet 固定矩阵状态实现 99.95% 召回
论文研究一种带固定 token 特定键偏置的小型 DeltaNet 变体，在 32 KiB 循环矩阵状态下记忆每序列 32 个新键值对，三个训练种子平均准确率达 99.95%。当填充内容将查询前上下文扩展到 1798 个 token 时回忆仍近乎完美，而清零首个记忆块会消除该能力。参数匹配的向量与…
arXiv cs.LG31 天前
#循环记忆
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
部分可观测模仿的最小循环行为记忆
论文研究在部分可观测下复现指定专家所需的最少循环记忆，用兼容关系刻画该最小记忆。作者提出单载体测量协议，分离行为充分性、超额码率与观测携带的信息。实验显示在操作任务中学习码率接近零比特与两比特需求，而学习该表示仍然困难，事件无关的未来行为监督可将最长视野像素设置从 0/8 提升到 6/8 充分种子。
arXiv cs.LG40 天前