arXiv cs.AI·10 天前★ 3

Rouge 框架用 KL 正则路由实现 LLM 按需推理

原文标题:Route-and-Generate: KL-Regularized Router Improvement for Reasoning Routing in LLMs

重要度 3/5 · AI 综合评估报道影响力与新鲜度,4–5 分为高价值资讯。

AI 智能摘要

论文提出 Route-and-Generate(Rouge)分层训练框架,让 按输入自适应决定推理量。路由策略在多种推理格式间分配固定采样预算,基础模型用 与逐样本奖励优化,并以基于排名的奖励偏好更短的正确答案。路由策略通过闭式 KL 正则策略改进步骤蒸馏进神经路由器,在多个推理基准上改善准确率与效率的权衡。

深读 · 结论先行AI 生成展开看要点与影响 ↓

Rouge用KL正则路由按输入分配推理量,改善准确率与效率权衡

  • •分层训练框架,把推理投入分配与答案生成解耦
  • •路由策略在多种推理格式间分配固定采样预算,基础模型用GRPO与逐样本奖励优化
  • •采用基于排名的奖励,偏好更短的正确答案
  • •路由策略经闭式KL正则策略改进步骤蒸馏进神经路由器
  • •效果为简单题更简洁、难题保留长推理,多个推理基准上权衡改善

为什么重要:与早停类方法同属「按需推理」路线,但走路由而非截断;对同时追求准确率与的服务方是另一条可选路径。

以上深读由 AI 依据标题/摘要/正文节选生成,仅供参考;事实以原文为准。

阅读原文 +0
AI 处理过程展开/收起
原始标题:Route-and-Generate: KL-Regularized Router Improvement for Reasoning Routing in LLMs
AI 中文标题:Rouge 框架用 KL 正则路由实现 LLM 按需推理
来源:arXiv cs.AI · 发布于 10 天前
分类:大模型 · AI 重要度:★ 3(3)
标签:推理路由 / GRPO / KL 正则 / 推理效率 / LLM 训练
关键词:推理路由 / LLM 推理 / GRPO / 模型推理效率 / 强化学习
AI 处理:2026/10/23 12:03:14 · 模型 deepseek-chat · 规则版本 2026-10-21.1
AI 生成以上内容由 AI 自动生成:中文标题、摘要、分类与重要度;同一事件的多家报道会自动归并展示。 内容仅供参考,可能存在偏差,请以原文为准, 不构成任何投资或专业建议。
版权归原作者与原发布平台所有;若涉及侵权或信息错误,请在举报与侵权投诉页反馈,我们会及时处理。
每天 09:30,3 条 AI 圈真正重要的变化,免费订阅 →
Rouge 框架用 KL 正则路由实现 LLM 按需推理 - 智讯 AI News