★ 3
arXiv 论文构建 WhoWins 基准,实测 LLM 智能体指令冲突
研究团队构建 WhoWins 基准,含 1080 个代码评分场景与七组控制实验,测试 14 个开放权重模型(0.6B 至 122B)共 188 万余条回复。结果显示同一消息内两条冲突指令中先出现者胜率 72%–95%,跨消息则降至 23%–63%;系统消息中的策略在 Qwen 系列上多数落败,而 …
arXiv NLP6 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究团队构建 WhoWins 基准,含 1080 个代码评分场景与七组控制实验,测试 14 个开放权重模型(0.6B 至 122B)共 188 万余条回复。结果显示同一消息内两条冲突指令中先出现者胜率 72%–95%,跨消息则降至 23%–63%;系统消息中的策略在 Qwen 系列上多数落败,而 …