★ 3
注意力流形：用B样条曲面调控语言模型
论文提出「注意力流形」，用可学习的二维B样条曲面根据查询-键交互调制每个value维度，初始化零值以保留预训练行为。在LLaMA 3.2-1B/3B上以0.3%参数开销降低WikiText-2困惑度2-2.5点，并改变69%-83%提示的贪心输出。曲面可机械编辑，系数取-1可形成「注意力墙」阻断特…
arXiv cs.LG31 天前
#模型可解释性
共 6 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
ALOE：语义寻址低秩算子知识编辑
论文提出 ALOE，将知识编辑同时视为写入与寻址问题：从复述与同主体难负例中学习语义地址，经 rollout 精炼与门控校准对齐自回归隐状态，并把门控低秩算子嵌入单个 MLP 层，使部署模型单次前向即可完成编辑，无需外部检索器或路由器。在 CounterFact、ZSRE、KnowEdit 三个 …
arXiv cs.AI38 天前
★ 3
注意力感知路由：MoE 中耦合路由与注意力
论文提出注意力感知路由（AAR），从注意力权重滑动窗口中提取时序与频谱特征增强路由器，冻结基础 Transformer 仅训练路由参数。在 OLMoE 上 GSM8K 提升 3.37 个百分点，并揭示路由与注意力构成耦合回路，且存在深度敏感的检索-推理张力。
arXiv cs.AI42 天前
★ 2
研究：谱平滑与尖峰扰动可重塑 Llama、Qwen 能力分布
论文对 Llama 与 Qwen 等五个开源指令模型的前馈 up_proj、down_proj 矩阵做后验谱平滑与尖峰扰动，保持奇异向量与奇异值几何均值不变。结果显示大幅正扰动更稳定地抑制语言与演绎推理能力，中等负扰动有时提升事实或任务局部表现，敏感性随模型家族与层间谱不均衡程度显著变化。
arXiv NLP10 天前
★ 2
研究：语言模型上下文学习从复制到组合的演化
一篇 arXiv 论文通过受控诊断实验，区分模型是复制邻近示例还是整合提示信息，发现约三分之一模型偏好复制答案，其余偏好规则一致答案。检查点分析显示模型在准确率提升前就已优先关注任务相关提示词，合成文档训练可推动模型走向组合式回答，表明上下文学习并非单一能力。
arXiv NLP18 天前
★ 2
解耦微调中内部表示变化与因果重要性
论文研究微调如何重塑 LLM 内部表示，发现 EAP 识别的任务相关组件集中在特定层，其分布与表示变化最大的层基本不相关。跨任务组件重叠并不带来性能迁移，且当两任务组件高度重叠时，微调一个任务可能损害另一个任务的表现。
arXiv cs.AI42 天前