★ 3
UDHRBench：评测大模型对世界人权宣言的合规性
研究者发布 UDHRBench，包含覆盖《世界人权宣言》全部 30 条条款的 1124 个人权问题，以及 ChatGPT、Grok、Gemini、Fanar 四个模型的 4496 条专家标注回答。分析发现模型违规多源于「效率、风险管理、科学中立」等看似理性的推理，而非直接否定权利，并提出 LLM-…
arXiv NLP19 天前
#LLM评判
共 12 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究揭示 LLM 评判模型受请求呈现方式影响的对抗漏洞
研究发现，在结构化评判请求中仅添加一个冒号即可使答案评判模型产生误判，且漏洞程度随请求呈现方式显著变化。在 DROP 与 GSM8K 的 200 个源簇上，Jev 的误接受率从 1.0% 升至 26.0%。GPT-6 Sol 未观察到该条件下的误接受。
arXiv NLP24 天前
★ 3
研究：多智能体代码评审何时真正有据可依
论文指出多智能体代码验证方法要求证据独立于被审答案且在候选间有差异，而代码评判场景不满足第二个条件。在 MARCH 框架上测试发现，它在 78%–95% 的比较中判定两解同样好，准确率仅 4.4%，远低于直接询问模型的 43.7%。作者提出两种无需标签的度量，据此让流水线在无把握时拒答，准确率从 …
arXiv cs.AI35 天前
★ 3
LLM评判用于专利撰写智能体评估
论文通过Vibe Patenting这一端到端专利撰写测试台，研究LLM评判在复杂专业工作中的可靠性。独立调用的LLM评判对生成的专利草稿打分并提供结构化反馈用于迭代修订，评判引导的修订持续提升评判评估的质量，还能让低推理智能体接近高推理智能体的表现。与专业专利律师的独立评估对比显示，评判一致性显…
arXiv cs.AI48 天前
★ 3
ContractEval：面向流程指令合规的查询条件化执行匹配
论文指出LLM智能体在执行流程性任务时，最终答案看似合理却可能跳过了必要的检查、分支或依赖，属于“无根据”的失败。作者提出 ContractEval 诊断框架，将流程指令表示为查询激活的义务，并与响应或轨迹证据匹配，从而区分遗漏、错误分支、顺序错误、多余动作与不变量违背等合规失败。实验显示仅看输出…
arXiv cs.AI53 天前
★ 3
市场目录自动研究：从传统表单到AI原生匹配
该研究介绍了一个自动研究循环，用于生成服务市场中的提供商偏好分类法，已在美国主要消费者服务市场部署，覆盖132个职业。该循环将每个职业视为独立生成问题，通过迭代提出-评估-保留的细化周期，并采用多评判框架进行评分，以实现从传统表单到AI原生匹配的转变。
arXiv cs.AI61 天前
★ 2
对比决策模型作为评判者的评测
论文评测开源对比决策模型CLM-v0.1-8B在公开评判基准上的表现，发现其接近随机水平，在RM-Bench与JudgeBench上与抛硬币无统计差异。同参数量的奖励模型与生成式评判者得分显著更高。校准后置信度可修复，但置信门控级联几乎无法保留项目，说明近随机评判者的校准置信度价值有限。
arXiv cs.LG26 天前
★ 2
审计成对等价判断：多智能体假设生成中的自我批判与多样性测量
论文研究多智能体科学假设生成中的两个评测问题：自我批判相对运行间波动的真实增益，以及等价规则如何影响多样性测量。实验显示，从0到1轮批判带来34.5个百分点的机制级分歧，而1到5轮仅增加1.3个百分点。在等价规则对比中，替换起始事件时LLM评判识别出83%的有效对为不同机制，而TF-IDF为0%、…
arXiv cs.AI27 天前
★ 2
BAER：骨干自适应的 LLM 成对评判路由
论文提出 Backbone-Adaptive Evidence Routing（BAER），在保持候选对称性的前提下自适应选择证据收集机制。它将专家的带符号偏好与候选不变可靠性分离，构建证据堆叠、可靠性路由与候选盲参考验证三个对称头。在四个基准、两个 8B 评判骨干的八种条件下均取得最高测试准确率…
arXiv cs.AI35 天前
★ 2
预训练ASR伪标注处理嘈杂警用音频
研究系统评估了伪标注方法在嘈杂警用广播通信（BPC）音频上适配 Whisper 与 Qwen3-ASR 的效果。作者发现内部置信度指标（对数概率、STAR 分数）无法区分伪标签质量，于是提出用外部 LLM 作为评判者过滤上下文不合理的转写。该方法显著降低巴尔的摩与芝加哥语料的词错误率，并提出跨模型…
arXiv cs.AI35 天前
★ 2
GAVEL：临床时间线与病例报告比对裁决
论文针对临床时间线抽取评测依赖不完美专家标注与事件对齐的问题，提出GAVEL——一种LLM评判协议，将两条时间线与病例报告比对并返回差异类型、裁决与报告段落。研究评估了事件匹配器、审查2738条发现并对六种抽取器与两名人工标注者排名。在126份报告中，合并时间线在77%比较中被偏好，将差异从每份7…
arXiv cs.AI48 天前
★ 2
XAI-Arena：让大模型评判可解释性解释的质量
论文提出 XAI-Arena，一个以LLM为评判者的框架，用于对可解释AI（XAI）解释质量进行可扩展、可复现、多维度的评估。它从简洁性、清晰度、任务适配、信任校准、可执行性、透明度、忠实度与整体可解释性等维度比较不同XAI方法。人类验证显示LLM评分与人工评分显著正相关（Spearman rho…
arXiv cs.AI53 天前