★ 3
研究：多数 Transcoder 特征实为伪装的 MLP 神经元
论文对比稀疏化 MLP 与 transcoder，定义与单个 MLP 神经元权重高度对齐的「神经元特征」，发现在 13 个开源 transcoder 的深层中这类特征占活跃特征相当比例。只有神经元特征与底层 MLP 存在稳定对应，其余特征在多次训练间波动更大。结论是 MLP 神经元作为可解释性基础…
arXiv cs.AI13 天前
#MLP
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
研究对比 MLP 与 Transformer 在噪声 k-parity 特征上的归纳偏置
arXiv 论文用可控噪声 k-parity 合成数据集，系统比较 MLP 与 Transformer 的训练动态与归纳偏置。结果显示 Transformer 对噪声特征更鲁棒但难以学习低可用性的复杂特征，MLP 则相反且随数据量稳定提升。研究还发现固定训练预算下增加样本数可能拖慢 Transfo…
arXiv cs.LG3 天前