★ 3
arXiv 提出 Delta N-gram:仅前向写入模型原生 N-gram 记忆
论文提出 Delta N-gram,将新证据写入预训练哈希 N-gram 表的稀疏补丁而不改动原表,写入只需前向计算,清除补丁即可恢复原模型。0.6B 原型在第二次写入后仍保留 16/16 事实,而在线梯度写入仅保留 2-4/16;在 Qwen3.8-Flash-Next 上 delta writ…
arXiv NLP10 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文提出 Delta N-gram,将新证据写入预训练哈希 N-gram 表的稀疏补丁而不改动原表,写入只需前向计算,清除补丁即可恢复原模型。0.6B 原型在第二次写入后仍保留 16/16 事实,而在线梯度写入仅保留 2-4/16;在 Qwen3.8-Flash-Next 上 delta writ…