arXiv NLP·5 小时前★ 3

arXiv 提出 LongCapHarness 框架,免数据合成与后训练提升长上下文推理

原文标题:LongCapHarness: Capability-Guided Auto-Harnessing for Long-Context Reasoning

重要度 3/5 · AI 综合评估报道影响力与新鲜度,4–5 分为高价值资讯。

AI 智能摘要

论文提出 LongCapHarness 框架,通过递归自我改进迭代修订能力原语、状态与控制逻辑,在不做数据合成与 后训练的前提下激发模型能力。在 Llama3-8B 上应用并迁移至 Qwen2.5-3B,在 HELMET 与 基准上大幅超越数据合成基线,开发成本不足 NExtLong、PolicyLong 训练成本的一半。

深读 · 结论先行AI 生成展开看要点与影响 ↓

LongCapHarness 免数据合成与后训练,在 HELMET/ 超越数据合成基线,成本不足 NExtLong、PolicyLong 一半

  • •方法核心是递归自我改进,迭代修订能力原语、状态与控制逻辑,全程不做数据合成、不做 LLM 后训练
  • •在 Llama3-8B 上应用后迁移至 Qwen2.5-3B,验证跨模型可迁移性
  • •在 HELMET 与 RULER 两个长基准上大幅超越近期数据合成基线
  • •估算开发成本低于 NExtLong 与 PolicyLong 训练成本的 50%

为什么重要:若结论成立,长能力提升可从「堆数据+后训练」转向「激发潜在能力」,直接压低算力与数据成本,对资源有限的长上下文团队影响最大。

以上深读由 AI 依据标题/摘要/正文节选生成,仅供参考;事实以原文为准。

所属主题推理5
阅读原文 +0
AI 处理过程展开/收起
原始标题:LongCapHarness: Capability-Guided Auto-Harnessing for Long-Context Reasoning
AI 中文标题:arXiv 提出 LongCapHarness 框架,免数据合成与后训练提升长上下文推理
来源:arXiv NLP · 发布于 5 小时前
分类:大模型 · AI 重要度:★ 3(3)
标签:长上下文 / 推理 / 免训练 / Llama3
关键词:长上下文推理 / Llama3 / Qwen2.5 / 免训练方法 / HELMET 基准
AI 处理:2026/11/10 18:02:20 · 模型 deepseek-chat · 规则版本 2026-10-21.1
AI 生成以上内容由 AI 自动生成:中文标题、摘要、分类与重要度;同一事件的多家报道会自动归并展示。 内容仅供参考,可能存在偏差,请以原文为准, 不构成任何投资或专业建议。
版权归原作者与原发布平台所有;若涉及侵权或信息错误,请在举报与侵权投诉页反馈,我们会及时处理。
每天 09:30,3 条 AI 圈真正重要的变化,免费订阅 →
内容有误或摘要不准?告诉我们
arXiv 提出 LongCapHarness 框架,免数据合成与后训练提升长上下文推理 - 智讯 AI News