★ 3
TurnFlow 基准:评测多轮 LLM 智能体的用户状态推理
论文推出 TurnFlow,一个结合自适应用户模拟与可验证判分的交互式基准,检验模型能否在多轮对话中保持、修正并执行用户需求。9 个 LLM 在 490 个场景中通过率仅 42.86%–59.59%,在范围蔓延与目标转移类任务上明显不可靠。
arXiv cs.AI5 小时前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文推出 TurnFlow,一个结合自适应用户模拟与可验证判分的交互式基准,检验模型能否在多轮对话中保持、修正并执行用户需求。9 个 LLM 在 490 个场景中通过率仅 42.86%–59.59%,在范围蔓延与目标转移类任务上明显不可靠。