★ 3
论文提出 HRS 方法让冻结 LLM 评审对齐人类评分分布
论文提出 Human-Residual Steering（HRS），据称是首个通过隐状态干预让冻结 LLM 评审对齐人类评分分布的方法。HRS 学习从评审隐表示与评分 logits 预测低秩修正，在 14 个基准与三个模型家族的四个评审上优于所有冻结权重基线。以 Qwen2.5-7B 为例，14 …
arXiv NLP3 天前
#LLM 评审
共 16 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究质疑 AI 科学家新颖性判断：提出 ClaimNov 细粒度模块
论文构建含 1060 个提案的数据集，评估 AI 科学发现流程中的新颖性检查，发现高拒绝率检查对后来被人类实现的创意误报也高。作者提出 ClaimNov 主张级新颖性模块，在 1.5% 误报率下捕获 97% 的伪装论文，并将 LLM 评审误报从 11.8% 降至 1.5%。代码与数据已开源。
arXiv NLP5 天前
★ 3
SCI-AGENT-EXAM：11 领域 120 任务评测科研智能体
论文推出 SCI-AGENT-EXAM，一个面向科研工作流的基准，含 11 个科学领域、7 类研究任务的 120 个专家精选任务，要求同时产出可执行代码与文本报告。评测采用程序化验证加专家校准 LLM 评审的混合协议。10 个前沿智能体中 GPT-6 Astra 总分最高 80.9，但仅 26% …
arXiv NLP7 天前
★ 3
MisconceptDialogue：评分标准决定 LLM 数学辅导成功率测量结果
论文发布 MisconceptDialogue 全自动框架，让五个 7B-14B 开源模型辅导 LLM 模拟学生，完成 5000 多轮对话。同一批对话中，精确匹配评分给出 42.1% 的补救成功率，而人工校准的 LLM 评审给出 81.3%，相差 39.2 个百分点；且告知真实误解与故意替换的误解…
arXiv NLP7 天前
★ 3
研究：交互式 LLM 评测中整体准确率会掩盖提示特定误差
论文指出，用单一整体准确率或 F1 验证自动评分器会掩盖不同提示下的错误差异，从而扭曲模型对对话压力的响应比较。在 288 条平衡审计中整体 F1 为 0.916，但不同提示下误标比例在 2.6%-33.3% 之间；另一项审计中看似 9.3 分的提升在两位评分者下仅剩 2.3 分且区间含零。作者建…
arXiv NLP7 天前
★ 3
研究：Arena-Hard 用 GPT-4.1 评审，指令微调可致 28% 判定翻转
研究者用 500 条 Arena-Hard v2.0 提示、固定两个模型答案，以 GPT-4.1 为评审测试八种指令组合。默认设置重跑仅使总分变动约 1 分，却有 21.2% 提示的胜负平结果改变；某些指令改动使结果变化比例再增 28.2 个百分点，而总分几乎不动。作者建议重复运行并同时报告总分与…
arXiv NLP10 天前
★ 3
论文提出验证器强度与可恢复性两项智能体自改进前提
论文提出衡量智能体平台自改进循环能否无人值守运行的两个量：验证器强度 σ 与可恢复性。实验发现平台 LLM 评审在 37 个设置中有 9 个无论输入什么都给相同分数且不报错；回滚方面只有保留旧版本才能可靠撤销。结论是仅当旧版本保留且验证器强度已测量时，变更才可无人值守上线。
arXiv cs.AI12 天前
★ 3
研究：LLM 评审可自我去偏，21 组中 20 组提升
论文提出两种轻量策略：偏置感知提示与自我去偏，让 LLM-as-a-Judge 无需额外训练即可减轻系统性偏差。作者新增权威偏差、自信偏差、格式偏差三类基准，共评测七种偏差。在三个前沿模型上，自我去偏在 21 个模型-偏差组合中 20 个有提升，最高 +15 个百分点；而微调的外部评审模型对新偏差…
arXiv cs.AI13 天前
★ 3
Kairos 实验：三个 LLM 评审无法分辨 AI 智能体的真实与伪造记忆
Kairos 实验让三个 LLM 评审区分 AI 智能体的真实记忆与伪造记忆，结果均未能可靠辨别。该结果对依赖 LLM 做记忆校验与智能体审计的方案提出质疑，说明当前评审模型在记忆真伪判断上存在明显盲区。
Hacker News – LLM15 天前
★ 3
研究：无标注评分标准澄清提升 LLM 评审共识但未贴近人类
论文提出一种无标注流程，将 LLM 评审团的分歧转化为评分标准修订，在 SummEval 上将评审间一致性提升 0.069，但与专家评分的一致性无显著变化。在 HealthBench 与 USR 上，评审间一致性与人类一致性均未达到预注册效应标准。
arXiv NLP21 天前
★ 2
实测：LLM 评审对植入缺陷的渲染仍判通过
开发者撰文记录实验：在代码渲染中故意植入缺陷后，LLM 评审仍给出通过评分，同一代码多次评分不一致。这暴露了用大模型做自动化质量评审的可靠性问题。
Hacker News – LLM9 天前
★ 2
SANE：面向 LLM 评审的自动化蜕变测试框架
针对 LLM 作为评审模型（LLM Judge）的可靠性问题，论文提出基于智能体的 SANE 框架，可自动为不同评分器推导扰动配方与预期分数关系。在五个领域测试中，SANE 生成的验证测试族数量为 Judge Reliability Harness 的 3.7 倍，且评审排序与人类标注一致性显著更…
arXiv NLP11 天前
★ 2
研究：无真值筛选 LLM 评审，用于 AI 口腔卫生教练
论文提出分阶段流水线，在专家评审前用输出审计、与托管评审一致性、偏差检查、决策稳健性等规则筛选候选 LLM 评审与学生模型。以 AI 口腔卫生教练为案例，两个微调小模型 Granite-4.1-8B 与 Qwen3-8B 由五个评审打分。本地 Qwen3.8-27B 与托管评审最接近，未发现评审偏…
arXiv cs.AI13 天前
★ 2
团队用确定性模型替代 LLM 评审，速度提升 9.2 倍、成本降低 4.5 倍
一篇 Medium 文章介绍在临床 AI 智能体场景中，用确定性模型替换 LLM 作为评审器，实现 9.2 倍速度提升与 4.5 倍成本下降。该实践基于 LangChain 与 Jev 构建，强调医疗场景下可解释与可复现的评估方式。
Hacker News – LLM14 天前
★ 2
多语言风格个性化生成指标元评估研究
论文提出基于回归的指标元评估方法，用校准后的指标输出预测人类评分，并构建覆盖 10 种语言、4 个评估维度的大规模多语言风格个性化生成基准。对 32 个指标在 40 种评估设置下元评估发现，简单字符串与嵌入指标经校准后可媲美强 LLM 评审。
arXiv NLP18 天前
★ 2
SCUR：LLM 评审的实例级可靠性评估
论文指出 LLM-as-a-judge 的多数投票聚合无法保证单条样本评估可靠，提出 Structured Cross-fitted Uncertainty Risk（SCUR），基于评审团行为无标签估计实例级可靠性。SCUR 融合评审团不确定性、测量交叉熵与扰动敏感性三类信号，在五个真实基准上更…
arXiv cs.LG19 天前