★ 3
NPO：少步生成模型的噪声空间奖励对齐
论文提出噪声策略优化（NPO），针对少步生成模型的对齐问题，在生成器初始噪声空间上学习摊销流策略，将高斯噪声传输至奖励倾斜的噪声分布。在图像、语言和蛋白质结构生成上，NPO以低16至549倍的推理成本匹配测试时搜索方法，取得更优的奖励-质量权衡。
arXiv cs.LG17 天前
#奖励对齐
共 5 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究揭示终端智能体训练数据生成与验证三类失败
论文指出，用 Claude Opus 等前沿模型作为元智能体生成终端任务与验证器用于强化学习训练虽已常见，但可运行的 Docker 镜像与测试套件并不保证端到端流程可靠。作者诊断出基准无效、测试框架脆弱、奖励错位三类失败，发现提示重设计与上下文扩展可将基线可解性提升 5.6 倍，但 9B 模型在 …
arXiv cs.AI28 天前
★ 3
RA-OPD：奖励对齐的在线蒸馏防止教师误导
在线蒸馏中教师模型可能提供与结果奖励不一致的误导性指导。RA-OPD 通过过滤不一致轨迹，仅保留能推动学生走向正确方向的更新，提升学生模型性能。在数学和代码基准上显著优于标准 OPD。
arXiv cs.AI63 天前
★ 2
流形约束初始噪声优化实现生成模型对齐
针对蒸馏与流映射模型的一步/少步生成，研究者提出 ZeNOVA，一种无梯度的初始噪声对齐方法。它通过退火软值引导、流形约束超球朗之万动力学与 Metropolis-Hastings 跳跃，解决黑盒奖励场景下的不稳定与低效问题。在图像与视频生成模型上，ZeNOVA 比所有零阶基线更稳定地提升奖励，展…
arXiv cs.LG31 天前
★ 2
DOHF：基于Doob h变换的在线扩散微调
论文提出DOHF方法，将Doob h变换转化为实用的在线训练算法，为生成样本分配最优性权重并估计归一化局部修正∇log h，直接蒸馏进生成模型。理论上从统一h变换视角刻画了DiffusionNFT更新与各类无分类器引导方法。框架支持黑盒与不可微奖励且无需额外网络评估，在统计采样与视觉生成上验证了改…
arXiv cs.LG34 天前
这个主题的相关资产
相关公司Anthropic1