★ 2
研究揭示模加法 Transformer 傅里叶电路的局部畸变与方向反转
一篇 arXiv 论文对单层 Transformer 中已被逆向解析的傅里叶模加法电路进行局部微分几何分析，测量各关键频率下 MLP 贡献的方向 Beltrami 系数。结果显示训练后的映射呈现非共形畸变（中位 |μ| 0.304–0.446）、Beltrami 幅角的空间组织以及局部方向反转区域…
arXiv cs.AI10 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
一篇 arXiv 论文对单层 Transformer 中已被逆向解析的傅里叶模加法电路进行局部微分几何分析，测量各关键频率下 MLP 贡献的方向 Beltrami 系数。结果显示训练后的映射呈现非共形畸变（中位 |μ| 0.304–0.446）、Beltrami 幅角的空间组织以及局部方向反转区域…