★ 3
从最小范数插值视角理解 Grokking
论文发展统计理论，刻画正则化几何与信号稀疏性如何支配插值附近的泛化，解释 Grokking 现象。在强过参数化无噪声问题中证明零一泛化律，并构造一族凸范数使插值器从全零预测跃迁至精确恢复。研究还揭示最小范数插值的统计不稳定性：正则强度微小扰动即可导致泛化剧变。
arXiv cs.LG32 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文发展统计理论，刻画正则化几何与信号稀疏性如何支配插值附近的泛化，解释 Grokking 现象。在强过参数化无噪声问题中证明零一泛化律，并构造一族凸范数使插值器从全零预测跃迁至精确恢复。研究还揭示最小范数插值的统计不稳定性：正则强度微小扰动即可导致泛化剧变。