★ 3
FABench 基准测试预测智能体的回测能力
研究者提出 FABench，一个可扩展的预测智能体回测环境，自动发现事件、生成问题并结算任意历史预测日的结果，首版含九个领域 287 道题。评估基于八个近期模型的智能体发现，检索在所有设置下都改善 Brier 分数，领先智能体在 54 道与 Polymarket 关联的题目上达到市场共识水平。研究…
arXiv cs.AI4 小时前
#预测智能体
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
Forecast-Dojo：可重放的大模型预测智能体环境
论文推出 Forecast-Dojo，一个可重放的 LLM 预测智能体基准与训练环境，结合已结算的预测市场问题与带日期新闻，让智能体研究事件并在历史时点反复更新预测。数据集含 1,568 个 Polymarket 事件与 1,880 万篇带日期新闻。12 个模型评估中研究工具均降低 Brier 分…
arXiv cs.AI38 天前
★ 2
预测智能体何时该推理：可靠性路由行为压力测试
论文研究预测智能体在检索、推理、参考市场先验或历史类比之间如何选择，发现机制选择高度依赖证据来源。作者提出 ReliabilityRoute，用历史覆盖率、市场先验可用性、证据强度等可靠性特征引导智能体行为。结果显示更多推理并非总是更好，路由策略本身应在可审计约束下自适应。
arXiv cs.AI38 天前