★ 3
Harness-Delta 归因:智能体框架进化增益中 54% 来自过拟合
论文提出 Harness-Delta Attribution(HDA)评估协议,将智能体框架进化的性能增益拆分为过拟合、测试时扩展与残余可泛化部分。在 11 个执行模型与 3 个框架、21 个显著提升设置中,过拟合与测试时扩展平均分别占增益 54% 和 14%,且搜索集增益常无法迁移到留出任务。
arXiv cs.AI13 天前
共 5 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文提出 Harness-Delta Attribution(HDA)评估协议,将智能体框架进化的性能增益拆分为过拟合、测试时扩展与残余可泛化部分。在 11 个执行模型与 3 个框架、21 个显著提升设置中,过拟合与测试时扩展平均分别占增益 54% 和 14%,且搜索集增益常无法迁移到留出任务。
论文研究在NanoGPT自动研究中发现的泛化失败现象「forking」:数据回放下,带过度编码n-gram记忆分支的模型在epoch边界出现训练与验证损失的急剧分离,形似叉子。机制上,重复更新强化训练中出现的续写、抑制未见续写,n-gram模块放大了该效应,低频上下文贡献最大差距。作者将其与gro…
新研究指出,AI 智能体学习的是数据的可压缩模型,其容量不足以支撑记忆式记忆,因此不易过拟合。这一发现有助于理解智能体泛化能力的来源,对自动化科研与模型设计具有启示意义。
论文指出语言模型智能体通过将执行经验转化为可复用外部技能来持续改进,但反复更新技能本身构成一个学习过程,会出现冗余、任务特定化以及新更新破坏旧行为等「技能演化过拟合」问题。作者提出 SkillEvoReg 通用正则化框架,结合训练期技能 dropout、复杂度感知局部正则化与因果反例验证(CCV)…