★ 2
研究对比 MLP 与 Transformer 在噪声 k-parity 特征上的归纳偏置
arXiv 论文用可控噪声 k-parity 合成数据集，系统比较 MLP 与 Transformer 的训练动态与归纳偏置。结果显示 Transformer 对噪声特征更鲁棒但难以学习低可用性的复杂特征，MLP 则相反且随数据量稳定提升。研究还发现固定训练预算下增加样本数可能拖慢 Transfo…
arXiv cs.LG3 天前
#归纳偏置
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
程序化预训练提升分子性质预测
论文提出三阶段训练流程：程序化预训练、SMILES分子预训练与下游微调，探索在接触分子数据前从抽象程序化数据中学习归纳偏置。在亲脂性任务上测试误差降低4.8%，效果在数据稀缺时最强，且可迁移信息主要集中于注意力层。
arXiv cs.LG46 天前