★ 3
FrameFT：基于融合框架的高效微调方法
FrameFT利用融合框架的稀疏系数矩阵建模参数更新，大幅减少内存占用并提升计算效率。实验表明其在语言和视觉任务上性能与最先进PEFT方法相当或更优，但可训练参数更少。
arXiv cs.AI66 天前
#稀疏性
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
论文解释对抗训练神经网络显著性图稀疏性
研究为两层 ReLU 网络中对抗训练神经网络的梯度显著性图稀疏现象提供理论解释。作者基于对抗训练等价于带权重衰减惩罚和对抗全变差项的经验风险最小化，证明最小化器收敛到具有最小梯度和 Barron 范数的贝叶斯分类器，稀疏性源于 ℓ∞ 攻击下梯度范数的各向异性。
arXiv cs.LG24 天前