arXiv cs.AI·9 小时前★ 3

arXiv 论文评估 14 个 System-1 决策模型能否替代 LLM 评审

原文标题：To Jev or Not to Jev: When Can System-1 Decision Models Replace LLM Judges?

重要度 3/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

一篇 arXiv 论文系统评估了 TypeSafe Jev 等 14 个 System-1 决策模型在 11 个评审基准上替代生成式 LLM 评审的可行性。结果显示其中 5 个模型在成对与 best-of-4 基准上与无推理 GPT-5.6 统计上无差异，DReX-Max 与 d1-ultra 在 JudgeBench 等基准上显著优于 Claude Haiku 5.5。在提供参考答案条件下，11 个模型在 JudgeBench 达到 90.3%-93.4%，与带推理的 Opus 5.5、GPT-5.6 相当，而成本约为其 1/16。研究还发现对注入指令的鲁棒性取决于单个模型而非 System-1 设计本身。

论文速读 · 四段结构cs.CL去论文速读 →

问题: 生成式 LLM 评审成本高，System-1 决策模型能否替代。
方法: 按预设协议选 14 个单次前向输出校准概率的决策模型，在 11 个评审基准上与四个生成式评审对比。
结果: 11 个模型在提供参考答案时 JudgeBench 达 90.3%-93.4%，与带推理 Opus 5.5、GPT-5.6 相当，成本约 1/16。
影响: 评审环节可用决策模型大幅降本，但抗注入鲁棒性取决于单个模型而非架构。

所属主题基准测试5 决策模型4

#学术研究 #LLM 评审 #决策模型 #基准测试 #推理成本 #arXiv

阅读原文 +0

AI 处理过程展开/收起

原始标题：To Jev or Not to Jev: When Can System-1 Decision Models Replace LLM Judges?

AI 中文标题：arXiv 论文评估 14 个 System-1 决策模型能否替代 LLM 评审

来源：arXiv cs.AI · 发布于 9 小时前

分类：学术研究 · AI 重要度：★ 3（3）

标签：LLM 评审 / 决策模型 / 基准测试 / 推理成本 / arXiv

关键词：LLM-as-a-judge / System-1 决策模型 / 模型评审基准 / Jev 决策模型 / AI 评测

AI 处理：2026/11/3 18:36:41 · 模型 deepseek-chat · 规则版本 2026-10-21.1

AI 生成以上内容由 AI 自动生成：中文标题、摘要、分类与重要度；同一事件的多家报道会自动归并展示。内容仅供参考，可能存在偏差，请以原文为准，不构成任何投资或专业建议。
版权归原作者与原发布平台所有；若涉及侵权或信息错误，请在举报与侵权投诉页反馈，我们会及时处理。