★ 2
arXiv 论文提出 UALD 采样算法，面向非可微与重尾分布
arXiv 新论文提出基于动量的欠阻尼锚定朗之万动力学（UALD）及其离散化算法 UALMC，用于对非可微和重尾分布进行采样。该方法用平滑参考势替换原始势，并在漂移项中做乘性缩放，首次在欠阻尼框架下实现无渐近偏差的采样。作者给出 2-Wasserstein 距离下的非渐近收敛保证，显示迭代复杂度在…
arXiv cs.LG5 天前
#收敛性分析
共 9 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
IR-PRM+ 新分析：前效用预测实现常数遗憾与最优迭代收敛
该论文提出一种新分析方法，将 IR-PRM+ 框架的强收敛保证从额外梯度更新扩展到同时与交替更新两种设置。在有限两人零和矩阵博弈中，前效用预测可恢复常数遗憾界、O(T^{-1}) 平均对偶间隙和 O(T^{-1/2}) 最优当前迭代间隙，并证明当前策略收敛至纳什均衡集。该结果还通过 IR-PCFR…
arXiv cs.LG18 天前
★ 2
RA-LMC：重尾噪声下LLM贝叶斯微调采样
该论文针对随机梯度朗之万蒙特卡洛（SG-LMC）在非对数凹采样中依赖全局Lipschitz梯度和有界噪声方差的问题，提出状态依赖重尾噪声模型与广义光滑性假设，并给出R-LMC、A-LMC、RA-LMC三种方法。作者在Fisher信息下建立非渐近收敛保证，并在LLM与视觉语言模型的贝叶斯微调实验中显…
arXiv cs.LG21 天前
★ 2
双层优化非凸下层需二阶平稳性
现有双层优化研究多局限于下层强凸或凸的假设，难以覆盖实际机器学习问题。论文提出基于二阶平稳性的替代重构方法，并给出 PROBE 算法，可探测并逃离下层鞍点。理论上首次在一般下层非凸设定下证明达到下层二阶平稳解的有限时间收敛率 O(T^{-2/5})，在大模型数据筛选与元学习任务上优于现有方法。
arXiv cs.LG35 天前
★ 2
ZO-COSMO：去中心化零阶优化的无索引单跳混合
论文提出 ZO-COSMO，面向去中心化零阶学习的稀疏通信场景，刻画了「单跳条件」并耦合双查询估计与保均值掩码共识。作者给出匹配类下的收缩界与收敛保证，并在 64 个合成智能体与 8 个 Qwen LoRA 工作节点上验证。在同等通信预算下，Qwen2-7B 在 QNLI 上比显式索引 Rand-…
arXiv cs.LG39 天前
★ 2
带裁剪与加性噪声的随机梯度方法几乎必然收敛分析
梯度裁剪与加性噪声是训练机器学习模型的标准技术，尤其在需要鲁棒性或隐私保证的场景，但裁剪引入偏差、噪声增加方差，使单条优化轨迹的长期行为难以刻画。作者证明在光滑性与一致有界随机梯度噪声假设下，带裁剪与加性高斯噪声的SGD（SGD-CN）在标准衰减步长条件下几乎必然收敛，并推广到动量变体。结果为理解…
arXiv cs.LG49 天前
★ 1
岭回归中新鲜草图的理论优势
论文研究迭代随机求解器中「复用草图」与「每步重抽新鲜随机性」的设计选择，证明在列采样的欠定迭代岭回归中新鲜草图具有可证明优势。该方法沿当前残差方向分析误差，而非在整个 Gram 矩阵上统一分析，从而为杠杆分数与岭杠杆分数采样给出更紧的收敛保证，并导出残差感知采样规则。实验在合成与真实数据（含 Qw…
arXiv cs.LG32 天前
★ 1
熵Gromov-Wasserstein问题的收敛算法
论文针对熵Gromov-Wasserstein问题提出平均镜像下降（AMD）算法，证明其对任意代价函数收敛，并证明固定步长的对偶梯度法同样对任意代价收敛。两种方法均考虑了实践中不可避免的非精确迭代。实验显示AMD与对偶梯度法在经典镜像下降失效的算例上仍能收敛。
arXiv cs.LG34 天前
★ 1
双时间尺度Actor-Critic算法的集中不等式
论文为长期平均奖励设定下带函数逼近的双时间尺度Actor-Critic算法推导了统一的全时集中界，证明演员参数在有限时间后以高概率进入并保持在安全区域。实验显示演员误差随参数更新次数递减。
arXiv cs.LG38 天前
这个主题的相关资产
相关公司阿里巴巴2