★ 3
GVPO++：面向LLM后训练的策略优化新法
论文提出GVPO（组方差策略优化），将KL约束奖励最大化的解析解融入梯度加权，避免对重要性采样的依赖，从而缓解训练不稳定问题。GVPO保证唯一最优解，并自然扩展到在线策略蒸馏（OPD），支持多样化目标设计。该方法为可靠、通用的LLM后训练提供新范式。
arXiv cs.AI42 天前
#训练稳定性
共 5 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
ATI-OPD：自适应教师干预稳定长序列在线策略蒸馏
针对在线策略蒸馏中学生长回答前缀偏离教师推理、导致训练不稳的问题，论文提出ATI-OPD：用教师短片段替换最早的高分歧片段，让学生从修正文本继续推理，并剔除持续分歧的尾部。在五个数学推理基准与两组师生模型对上，平均准确率优于标准OPD。
arXiv NLP3 天前
★ 2
研究提出新 LoRA 初始化方案，稳定非对称学习率训练
论文通过信号-噪声分解定位 LoRA+ 非对称学习率下训练不稳定的来源，即初始化引入的噪声项。提出将 A 矩阵方差按 n^-2 缩放的初始化方案，显著扩大稳定学习率区间，避免高比率下的性能崩塌。
arXiv cs.LG7 天前
★ 2
Controlled-Minimax：用控制理论稳定对抗优化
论文从连续时间动力系统视角研究极小极大优化的不稳定问题，将训练动态建模为二阶常微分方程，定位非收敛根源为损失函数 Hessian 在平衡点附近的特征结构问题。作者提出 Controlled-Minimax 稳定框架，通过反馈控制器提供局部指数稳定性理论保证。在 Dirac-GAN、2D 高斯混合、…
arXiv cs.LG21 天前
★ 2
这个主题的相关资产
相关公司MiniMax1