★ 3
EvalResearchBench:AI智能体能否自主设计评估?
论文提出EvalResearchBench(ERB),用于测试AI智能体能否自主完成评估研究:在给定材料、参考、候选API与预算下,由「researcher」智能体选择或合成任务、实现评分器并迭代修订。研究对比9个researcher与13个候选模型,最佳评估器与14个目标基准的候选对排序一致率约…
arXiv cs.AI27 天前
共 3 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文提出EvalResearchBench(ERB),用于测试AI智能体能否自主完成评估研究:在给定材料、参考、候选API与预算下,由「researcher」智能体选择或合成任务、实现评分器并迭代修订。研究对比9个researcher与13个候选模型,最佳评估器与14个目标基准的候选对排序一致率约…
论文提出 Agentic Idea Manager(AIM),一个面向创意驱动型自动化研究的全自主框架,借鉴贝叶斯优化,用智能体代理模型与采集机制组织并筛选研究想法,并以方案审计器与资源规划器维持想法—实现一致性与预算分配。在 10 项 AutoLab 任务上,系统优化任务提升 1.6 个百分点、…
《自然》新闻文章探讨AI“联合科学家”(AI co-scientists)如何改变科研流程,从假设生成、实验设计到数据分析均可参与协作。这类系统被视为科研范式的潜在变革力量,但也引发关于署名、可复现性与科研诚信的讨论。