★ 3
SCI-AGENT-EXAM:11 领域 120 任务评测科研智能体
论文推出 SCI-AGENT-EXAM,一个面向科研工作流的基准,含 11 个科学领域、7 类研究任务的 120 个专家精选任务,要求同时产出可执行代码与文本报告。评测采用程序化验证加专家校准 LLM 评审的混合协议。10 个前沿智能体中 GPT-6 Astra 总分最高 80.9,但仅 26% …
arXiv NLP7 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文推出 SCI-AGENT-EXAM,一个面向科研工作流的基准,含 11 个科学领域、7 类研究任务的 120 个专家精选任务,要求同时产出可执行代码与文本报告。评测采用程序化验证加专家校准 LLM 评审的混合协议。10 个前沿智能体中 GPT-6 Astra 总分最高 80.9,但仅 26% …
研究者发布 SAIL,一个总参数 35B、激活参数 3B 的开源模型,面向文献研究、科学编程与多步科研工作流。SAIL 通过科学感知改进循环开发,由前沿模型智能体分析其任务失败并构建针对性训练任务。该模型在科研任务上以远少于主流开源权重模型的参数取得有竞争力的表现。