★ 2
FourierQK：滤波器形状与泄漏覆盖律
论文研究频域注意力中滤波器形状的影响，通过字符级语言建模消融实验检验五个假设。发现 DC 与 Nyquist 分量有害，最优单尺度带宽约 2 bins，可容许滤波器优于高斯滤波器，且 FFT 泄漏随频谱覆盖单调增长。
arXiv cs.LG31 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文研究频域注意力中滤波器形状的影响，通过字符级语言建模消融实验检验五个假设。发现 DC 与 Nyquist 分量有害，最优单尺度带宽约 2 bins，可容许滤波器优于高斯滤波器，且 FFT 泄漏随频谱覆盖单调增长。