★ 3
ResMem 将检索知识蒸馏为参数化记忆
研究提出 ResMem，让大模型离线阅读检索文本生成教师目标，训练参数化记忆学习加性 logit 残差，避免存储海量 token 表示。相比 kNN 流程，教师构建存储减少 94.7%，在五个问答数据集上平均 token F1 从 32.83% 升至 34.48%，且破坏原有正确答案的比例降低 2…
arXiv NLP10 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究提出 ResMem，让大模型离线阅读检索文本生成教师目标，训练参数化记忆学习加性 logit 残差，避免存储海量 token 表示。相比 kNN 流程，教师构建存储减少 94.7%，在五个问答数据集上平均 token F1 从 32.83% 升至 34.48%，且破坏原有正确答案的比例降低 2…