★ 3
GlobeBench 发布文本世界模型基准,GPT-6 Astra 成功率 49.57% 居首
论文发布 GlobeBench,包含五大领域、十九项模拟技能共 1632 个任务,用于评测文本世界模型预测环境状态转移的能力。在 20 个通用大模型与专用文本世界模型中,GPT-6 Astra 以 49.57% 任务成功率居首。当动作影响需传播到依赖对象时,全部模型平均成功率骤降至 5.1%,仍有…
arXiv cs.AI13 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文发布 GlobeBench,包含五大领域、十九项模拟技能共 1632 个任务,用于评测文本世界模型预测环境状态转移的能力。在 20 个通用大模型与专用文本世界模型中,GPT-6 Astra 以 49.57% 任务成功率居首。当动作影响需传播到依赖对象时,全部模型平均成功率骤降至 5.1%,仍有…
论文推出 Forecast-Dojo,一个可重放的 LLM 预测智能体基准与训练环境,结合已结算的预测市场问题与带日期新闻,让智能体研究事件并在历史时点反复更新预测。数据集含 1,568 个 Polymarket 事件与 1,880 万篇带日期新闻。12 个模型评估中研究工具均降低 Brier 分…