★ 3
RealtimeBench 发布:评估实时环境下的 LLM 智能体
研究者提出 RealtimeBench,包含六类游戏共 180 项任务,用于在游戏持续运行、推理耗时的条件下评估 LLM 智能体。实验显示 GPT-6.1-sol 在暂停游戏时优于更快的 Jev,但游戏持续运行时反而落后。作者提出双时间尺度离线递归自我改进(TORSI),使 Jev 平均测试分从 …
arXiv cs.AI17 天前
共 3 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究者提出 RealtimeBench,包含六类游戏共 180 项任务,用于在游戏持续运行、推理耗时的条件下评估 LLM 智能体。实验显示 GPT-6.1-sol 在暂停游戏时优于更快的 Jev,但游戏持续运行时反而落后。作者提出双时间尺度离线递归自我改进(TORSI),使 Jev 平均测试分从 …
研究者提出 RT-SAFE,一个模拟城市环境下的具身智能体安全评测基准,允许世界在推理与执行过程中持续演化。测试 8 个视觉语言模型发现,任务完成率虽高达 94.1%,但实时执行使碰撞率增加 12.3 倍,最难场景仅 0.7% 无安全事故完成。该基准还可支持离线强化学习训练以降低碰撞率。
轻量版世界模型 LingBot-World 2.0 开源,参数量仅 1.3B,可在单张显卡上实时运行。该模型降低了世界模型的部署门槛,使实时交互式环境模拟在消费级硬件上成为可能。对研究与中小团队而言,这类小体量世界模型有望推动更多实时仿真与智能体训练实验。