★ 3
推理大模型强化学习的 Rollout 效率：分类与未来方向
该综述系统梳理了面向推理的强化学习在大模型训练中的 rollout 效率问题。由于轨迹生成占据了训练成本的主要部分，作者从机制与瓶颈两个视角对现有方法进行分类，分析不同技术族如何应对 rollout 低效来源，并探讨组合机会与潜在冲突。文章还指出效率增益评估与报告中的空白，并提出开放挑战与未来研究…
arXiv cs.AI40 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
该综述系统梳理了面向推理的强化学习在大模型训练中的 rollout 效率问题。由于轨迹生成占据了训练成本的主要部分，作者从机制与瓶颈两个视角对现有方法进行分类，分析不同技术族如何应对 rollout 低效来源，并探讨组合机会与潜在冲突。文章还指出效率增益评估与报告中的空白，并提出开放挑战与未来研究…
研究在九个前沿大模型配置上评测 15 种图表示格式，覆盖本体知识抽取与结构图推理任务。结果显示知识抽取对序列化格式不敏感，但结构推理任务的准确率显著受格式选择影响，最优格式取决于模型、查询和任务，应将图序列化视为动态编排决策。