★ 3
研究：GPT-2 注意力头消融因果推断存在投影层混淆
论文以 GPT-2 small 为例，指出注意力头消融这一常用因果推断方法在干预语义、评估指标与控制设计不严谨时结论脆弱。投影后实现的「置零」与修正的投影前消融几乎不相关（Pearson r=0.057），且选出完全不同的 top-5 重要头。作者强调单头消融本身不足以支撑因果结论，需要正确的干预…
arXiv cs.LG31 天前
#消融实验
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
FourierQK：滤波器形状与泄漏覆盖律
论文研究频域注意力中滤波器形状的影响，通过字符级语言建模消融实验检验五个假设。发现 DC 与 Nyquist 分量有害，最优单尺度带宽约 2 bins，可容许滤波器优于高斯滤波器，且 FFT 泄漏随频谱覆盖单调增长。
arXiv cs.LG31 天前
★ 2
QSV：球面格上的四元数注意力
论文提出 Quat-Sphere-Vision（QSV），用每个 token 的单一学习单位四元数替代标准注意力的 Q/K/V 三投影，相对四元数同时提供注意力 logit 与特征传输。消融显示传输通道承担了几乎全部学习到的成对计算，而注意力权重本身影响甚微。参数匹配对照表明，标准注意力在同一图上…
arXiv cs.LG35 天前