★ 3
ContractEval:面向流程指令合规的查询条件化执行匹配
论文指出LLM智能体在执行流程性任务时,最终答案看似合理却可能跳过了必要的检查、分支或依赖,属于“无根据”的失败。作者提出 ContractEval 诊断框架,将流程指令表示为查询激活的义务,并与响应或轨迹证据匹配,从而区分遗漏、错误分支、顺序错误、多余动作与不变量违背等合规失败。实验显示仅看输出…
arXiv cs.AI53 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文指出LLM智能体在执行流程性任务时,最终答案看似合理却可能跳过了必要的检查、分支或依赖,属于“无根据”的失败。作者提出 ContractEval 诊断框架,将流程指令表示为查询激活的义务,并与响应或轨迹证据匹配,从而区分遗漏、错误分支、顺序错误、多余动作与不变量违背等合规失败。实验显示仅看输出…