★ 1
研究测量实体替换响应在跨提示间的复用程度
作者在固定权重下测量实体替换响应在英语事实问题间的迁移量,比较隐藏状态复用与输出分数复用两种方式。在 Qwen、Llama、Gemma-2-2B 上,隐藏复用可消除 22%-49% 的不变错误,但更大模型、对话格式与新实体会出现复制失败,说明效果依赖格式与队列。
arXiv NLP10 小时前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
作者在固定权重下测量实体替换响应在英语事实问题间的迁移量,比较隐藏状态复用与输出分数复用两种方式。在 Qwen、Llama、Gemma-2-2B 上,隐藏复用可消除 22%-49% 的不变错误,但更大模型、对话格式与新实体会出现复制失败,说明效果依赖格式与队列。