★ 3
从最小范数插值视角理解 Grokking
论文发展统计理论，刻画正则化几何与信号稀疏性如何支配插值附近的泛化，解释 Grokking 现象。在强过参数化无噪声问题中证明零一泛化律，并构造一族凸范数使插值器从全零预测跃迁至精确恢复。研究还揭示最小范数插值的统计不稳定性：正则强度微小扰动即可导致泛化剧变。
arXiv cs.LG32 天前
#泛化理论
共 10 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
扩散模型去噪分数匹配：秩约束对泛化的影响
论文研究具有秩约束非线性项与线性跳连的分数网络在去噪分数匹配中的泛化行为，通过随机特征模型分析最优秩约束估计器。研究给出渐近精确的训练与测试误差刻画，识别出区分经验拟合与总体精度的特征模态，并解释秩约束如何正则化分数估计。
arXiv cs.LG17 天前
★ 2
★ 2
对称商平坦性与泛化理论
论文在对称商空间上建立理论链条：商线性稳定性蕴含商平坦性，商平坦性蕴含输入平滑性，输入平滑性在局部覆盖假设下导出泛化。作者定义商平坦性为经验损失 Hessian 在正则商流形上的迹，并证明 SGD 一步均方商线性稳定性给出显式平坦性界。最终推导出基于商平坦性与商线性稳定性的总体泛化界。
arXiv cs.LG34 天前
★ 2
自由推断维度：假设混合下的零碰撞导航复杂度度量
论文研究有限元强化学习中值混合智能体无需识别真实环境即可实现近最优零碰撞导航的“自由推断”现象，并提出自由推断维度dFI作为环境复杂度的组合度量。研究证明dFI严格小于VC维，并给出PAC式泛化界与最优混合策略（先平均后切换）。
arXiv cs.LG46 天前
★ 2
一次性幅度剪枝与计算自适应早退的理论保证
该论文从「部分计算 vs 完整计算」的统一视角研究神经网络计算削减，涵盖静态的一次性幅度剪枝与自适应的早退机制。作者在渐近单神经元模型中证明了剪枝的集中定理并给出显式收敛速率，并提出条件感知机刻画早退的泛化误差随计算差距幂律衰减。研究进一步扩展到深度网络，刻画剪枝失真随深度的累积，并在神经网路高斯…
arXiv cs.LG49 天前
★ 2
f-散度正则与锐度感知最小化的统一解释
论文从二阶展开出发，证明基于 f-散度的正则化与锐度感知最小化（SAM）在参数扰动下局部一致，均产生曲率敏感惩罚。研究进一步将视角扩展到输入空间扰动，给出比标准 SAM 更一般的扰动框架。以 α-skew Jensen-Shannon 散度为试验台，实验显示曲率惩罚最强处精度与负对数似然均最优。
arXiv cs.LG53 天前
★ 1
研究用捕食者-猎物模型与 Eyring 公式解释机器学习泛化
论文借助捕食者-猎物模型研究机器学习泛化，并回顾随机梯度朗之万动力学与 GAN 的生物学、化学解释。在固定次数多项式拟合含噪数据的例子中，捕食者-猎物模型优于梯度下降。作者进一步用 Eyring 公式等热力学论证解释 grokking（延迟泛化）现象。
arXiv cs.LG5 天前
★ 1
arXiv 给出混合依赖下投票分类器的间隔证书
论文研究平稳混合序列下加权投票分类器的泛化间隔界，不把依赖简单替换为有效样本量。作者结合独立块 Rademacher 理论与截断间隔损失，得到显式一致投票间隔证书，并给出黑盒迁移定理与马尔可夫流下的谱集中速率。实验显示依赖不可知证书在真实传感器数据上达到 0.95 覆盖率，而朴素区间仅 0.38。
arXiv cs.LG13 天前
★ 1
高维持续线性回归中最优显式与隐式正则化强度研究
论文研究高维持续线性回归，推导出固定步数梯度下降训练的泛化损失闭式表达，证明最优固定步长随任务数近似以 lnT/T 衰减，并与最优 L2 正则化渐近等价。研究还扩展到对角正则化矩阵的广义岭回归，为持续学习系统设计提供理论指导。
arXiv cs.LG17 天前
这个主题的相关资产
相关公司xAI2