★ 3
SciΠvot：科学自动研究智能体首席研究员判断力基准
研究团队构建 SciΠvot，一个基于人类纠正的248例科学判断力基准，源自六个月、26个项目、六个领域的 LLM 智能体研究记录。测试显示五个前沿模型中有四个在选定案例上低于随机水平，最高准确率63.5%，低于新手的73.4%。
arXiv cs.AI17 天前
#自动研究
共 5 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
MIRA：长周期研究智能体的元推理架构
论文提出 MIRA，将研究资源分配与执行分离的分层架构：外层元推理器从持久研究记录中整理上下文并下达下一步调查指令，内层执行器完成具体工作。无需策略训练即可在定理证明与神经网络架构搜索中提升长周期推理表现。进一步训练生成式 actor-critic（MIRA-AC）后，在四个自动研究环境中提升最终…
arXiv cs.AI28 天前
★ 3
Forking：数据回放下的突然过拟合现象
论文研究在NanoGPT自动研究中发现的泛化失败现象「forking」：数据回放下，带过度编码n-gram记忆分支的模型在epoch边界出现训练与验证损失的急剧分离，形似叉子。机制上，重复更新强化训练中出现的续写、抑制未见续写，n-gram模块放大了该效应，低频上下文贡献最大差距。作者将其与gro…
arXiv cs.LG31 天前
★ 3
生产级 AutoResearch：失败模式与多智能体框架
论文将 Karpathy 的 AutoResearch 范式（大模型迭代修改训练脚本并保留提升指标的改动）应用于生产级推荐系统嵌入优化，历时十二周、220 余次实验。作者识别出基础设施脆弱、智能体记忆衰减、搜索方向停滞、迭代成本不对称、指标固着五类失败模式，并提出「预防-持久化-重定向」三原则脚手…
arXiv cs.LG35 天前
★ 3
市场目录自动研究：从传统表单到AI原生匹配
该研究介绍了一个自动研究循环，用于生成服务市场中的提供商偏好分类法，已在美国主要消费者服务市场部署，覆盖132个职业。该循环将每个职业视为独立生成问题，通过迭代提出-评估-保留的细化周期，并采用多评判框架进行评分，以实现从传统表单到AI原生匹配的转变。
arXiv cs.AI61 天前