★ 3
研究：决策模型可作低成本幻觉检测裁判，部分类型仍不及 GPT-6 Sol
论文构建覆盖五类幻觉的二元基准（6 个数据集 9852 条），比较五个决策模型与生成式裁判 gpt-6-sol。最佳决策模型在上下文不一致上与 gpt-6-sol 持平、事实错误差 3 个百分点，但逻辑与指令不一致落后 4-8 个百分点。决策模型置信度偏高，级联方案可在 1-3% 成本下追平或超过…
arXiv NLP4 天前
#LLM 裁判
共 4 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究：临床医生主导规则护栏，提升心理健康聊天机器人可核查性
论文提出由两名临床医生定义并裁决四条安全检查规则的护栏方案，规则库经形式化验证后作为 LLM 输出过滤层，每个判定都可由具名规则与 16 项事实复算。对比实验显示 Llama-3.3-70B 裁判在 84.6% 已含危机资源的回复中仍要求提供资源，而验证层按构造不会误报，作者同时报告了该裁判更强的…
arXiv NLP9 天前
★ 3
AdaGuard：可推理的 LLM 裁判安全护栏框架
论文提出 AdaGuard，一种自适应 LLM-as-a-Judge 护栏框架，通过动态策略执行与自适应推理预算分配，支持运行时泛化到用户自定义的安全与合规策略，无需频繁更新模型。其核心创新是动态推断输入-策略对的复杂度，在高速度黑盒推理与可解释的推理式审核之间切换，兼顾延迟与透明度。实验显示 A…
arXiv cs.AI24 天前
★ 2
SemTree：可检查可修复的语义决策树规则
论文提出 SemTree，把规则决策表示为语义决策树，每个节点是带明确 Yes/No/Unknown 标准的自然语言问题，由可插拔语义裁判回答。执行路径即决策推理，支持节点级修复与 LLM 编辑器改树，在 ShARC 上达 67.70% 准确率，节点修复把 BANKING77 准确率从 82.04…
arXiv cs.LG18 天前