★ 3
注意力流形：用B样条曲面调控语言模型
论文提出「注意力流形」，用可学习的二维B样条曲面根据查询-键交互调制每个value维度，初始化零值以保留预训练行为。在LLaMA 3.2-1B/3B上以0.3%参数开销降低WikiText-2困惑度2-2.5点，并改变69%-83%提示的贪心输出。曲面可机械编辑，系数取-1可形成「注意力墙」阻断特…
arXiv cs.LG31 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出「注意力流形」，用可学习的二维B样条曲面根据查询-键交互调制每个value维度，初始化零值以保留预训练行为。在LLaMA 3.2-1B/3B上以0.3%参数开销降低WikiText-2困惑度2-2.5点，并改变69%-83%提示的贪心输出。曲面可机械编辑，系数取-1可形成「注意力墙」阻断特…