★ 4
RSI Arena:十款前沿模型自主训练语言模型并接受人类反馈
论文提出 RSI Arena,让十个前沿模型作为训练智能体,从 NVIDIA Nemotron 3.5 Lightning 30B-A3B Base 出发,在 1000 GPU 小时预算内自主选数据、实现训练流程并挑选检查点。最强模型由 GPT-6 Astra 训练,在 12 项能力基准上弥合了基…
arXiv NLP5 天前
共 3 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文提出 RSI Arena,让十个前沿模型作为训练智能体,从 NVIDIA Nemotron 3.5 Lightning 30B-A3B Base 出发,在 1000 GPU 小时预算内自主选数据、实现训练流程并挑选检查点。最强模型由 GPT-6 Astra 训练,在 12 项能力基准上弥合了基…
论文研究如何在有限人类反馈下跨人群分配标注以构建多元对齐训练数据,定义基于个体监督效用的社会福利目标。WAPA 用辅助参考模型估计查询增益与个体效用,按边际福利增益选查询。实验显示优先指定群体时,仅采集 20% 人类标签即可恢复 75-86% 的效用差距。
一篇评论文章主张人机协作的价值在于提升 AI 对齐与安全,而非单纯增强模型能力。作者认为把人类反馈用于能力提升会削弱对齐目标,引发对 AI 发展方向的思考。