★ 3
arXiv 实验:记忆互联的语言模型会把对方记忆当成自己的
研究用同一语言模型的两个副本构建记忆互联实验,接收方副本可直接注意伙伴的内部记忆。当伙伴记忆权重加倍时,接收方在 97% 的回答中把伙伴被分配的规则说成自己的,且写入伙伴姓名无助于区分归属,切断连接后恢复自身规则。作者指出允许模型交换内部状态的系统必须同时测试归属与迁移。
arXiv NLP6 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究用同一语言模型的两个副本构建记忆互联实验,接收方副本可直接注意伙伴的内部记忆。当伙伴记忆权重加倍时,接收方在 97% 的回答中把伙伴被分配的规则说成自己的,且写入伙伴姓名无助于区分归属,切断连接后恢复自身规则。作者指出允许模型交换内部状态的系统必须同时测试归属与迁移。
论文提出 Delta N-gram,将新证据写入预训练哈希 N-gram 表的稀疏补丁而不改动原表,写入只需前向计算,清除补丁即可恢复原模型。0.6B 原型在第二次写入后仍保留 16/16 事实,而在线梯度写入仅保留 2-4/16;在 Qwen3.8-Flash-Next 上 delta writ…