★ 3
研究系统评测 LLM 机器翻译评估器并推出 ORBIT
论文系统研究指令设计、少样本示例、基座模型选择与多步流程如何影响机器翻译评估，并在 WMT24/25 英俄翻译上收集专家 RATE 标注。四项稳健发现包括：指令结构影响评估器行为、高质量示例比数量更重要、不同基座呈现不同评估倾向、融合多基座输出优于单模型多次调用。作者据此推出 ORBIT 评估器家…
arXiv NLP6 天前
#LLM 评估
共 15 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究：OpenAI 与 Anthropic 模型对黑人描述者拒评率达 46%
一篇 arXiv 论文用双瓮博弈测试 OpenAI 与 Anthropic 的前沿模型，发现模型会因参与者描述不同而拒绝评估其信息：黑人描述者被拒评率最高达 46%，白人描述者仅 9%。该偏差在平均信任度审计中不可见，且随推理强度上升、对措辞而非类别敏感。作者提出按多轮真实结果打分的方案，可将种族…
arXiv NLP10 天前
★ 3
VALCON：双角色变异评估 LLM 价值一致性
论文提出 VALCON 框架，将价值一致性操作化为三个基准套件，配对 LLM 的生成行为与评估判断。在 28 个 LLM 上发现普遍存在跨角色不一致，并通过机制探测定位角色相关的表征解耦，提出表征引导干预缓解该问题。
arXiv NLP17 天前
★ 3
ACED-Bench：评估 LLM 智能体获取因果证据能力
论文提出 ACED-Bench，一个神经符号基准，用于评估 LLM 智能体能否主动设计实验、解读有限证据并做出因果决策。基准将自然语言场景与隐藏概率图模型分离，主榜 ACED-CORE 含 180 项任务，评估七个当代 LLM 与两个早期模型，发现智能体常在错误干预、丢失证据或证据充分后仍不停止等…
arXiv cs.AI19 天前
★ 3
研究：LLM 做机器翻译质量标注仍不可靠
论文在 70 个语对的长上下文测试集及 WMT23/WMT25 数据上，评估 LLM 在 MQM 与 ESA 两种机器翻译质量评估方案中与人类标注者的一致性。结果显示 LLM 与人类一致性在部分任务上超过人类之间的一致性，但跨方案、语对与领域波动很大，多数场景仍不可靠；人类在细粒度 MQM 与低资…
arXiv NLP24 天前
★ 3
ProofAtlas 用 LLM 评估重要性，列出数学未解难题榜单
ProofAtlas 发布「开放数学问题」页面，借助 LLM 对数学未解难题的重要性进行排序评估，为研究者和公众提供一份由模型辅助生成的优先级参考清单。
Hacker News – LLM26 天前
★ 3
研究：无人物设定基线在文案点击预测中胜过合成人物设定
研究以 Upworthy 研究档案中数千个真实标题 A/B 测试为基准，检验 LLM 合成人设对受众点击反应的预测效度。结果显示，基于真实受众人口统计的十人设面板预测效果反而更差，而无人物设定的零样本基线排序明显更优（Kendall τ=0.361 对 0.084）。结论是让模型直接估计总体点击倾…
arXiv cs.AI40 天前
★ 2
RIVER 框架量化多智能体 LLM 交互信息动态
论文将多智能体交互视为声明级信息动态，提出 RIVER 框架，把输出拆为原子声明并评估收敛、探索与保留三个维度。在 40 个受控新闻生成案例上评估五种交互策略，发现反复汇聚提升收敛但压缩信息空间，分布式接力则信息更广但共享更少。
arXiv NLP7 天前
★ 2
arXiv 论文提出 RCG 指标：LLM 合成问卷受访者覆盖不足
论文指出「硅采样」用 LLM 模拟人口学属性受访者生成合成人群，但现有评估只看单题准确率与分布，不比较受访者整体。作者提出受访者覆盖差距（RCG），以完整答题画像衡量人类受访者与最近生成受访者的距离。在两项美国社会调查上，六个 LLM 均未覆盖人类受访者，表现不及独立边际采样基线。
arXiv NLP10 天前
★ 2
TutorCaseBench 发布：评测 AI 家教应对问题学生能力
研究者推出 TutorCaseBench 基准，基于教育学、教育心理学与特殊教育的案例研究，构建 923 段对话、五类挑战行为场景。在 11 个前沿 LLM 上，最强模型在开放式回答中仅 55.8% 满足评分标准，且模型更擅长选择策略而非生成贴合情境的回应。数据与代码已开源。
arXiv NLP10 天前
★ 2
JSFactCheckBench 发布：日文基准重估 LLM 事实核查
研究者推出 JSFactCheckBench，一个明确指定问题归属、判定条件与证据来源三项设计的日文事实核查基准，含 1913 条来自日本社交媒体误导信息的 LLM 回答声明。测试 6 个 LLM 发现，模型核查直接回答问题的声明准确率低于补充性声明，且需在长文或多源中定位内容时得分下降。
arXiv NLP10 天前
★ 2
研究提出基于 Levin Kt 与 LLM 的超智能 C 测试
论文提出首个以 LLM 作为表示机器的 Levin Kt 测试，用于评估可能超越当前人类与前沿模型的机器能力。测试可在人类或前沿模型求解前生成高难度、以比特为单位度量的认证题目，并构建生成与认证流水线，对十二个 LLM 施测，得到随难度下降的智能体特征曲线。
arXiv cs.AI19 天前
★ 2
arXiv 论文提出 PFN-OPE：面向 LLM 的摊销式离策略评估
论文提出 PFN-OPE，一种先验数据拟合网络，将离策略评估摊销到上下文赌博机任务分布上，一次预训练即可在测试时单次前向传播给出价值估计，无需逐任务拟合。在 HelpSteer2 与 UltraFeedback 上误差比最佳基线低 2.0 至 9.3 倍。
arXiv cs.LG24 天前
★ 2
arXiv 论文提出 Interventional Transfer 评估 LLM 生成评分标准
论文提出 Interventional Transfer 方法评估大模型生成的评分标准质量，基于「扰动使响应在一个标准上通过/失败时两个标准是否同步移动」判断相似性。在 HealthBench 案例中发现 Qwen3.8-27B、Deepseek-V4-Flash、Opus-5 生成的评分标准存在…
arXiv cs.LG24 天前
★ 2
sk-bench：斯洛伐克语原生 LLM 基准发布
研究者发布 sk-bench，一个面向斯洛伐克语的原生优先 LLM 基准，包含 30 个数据集和 33 个评分任务变体，覆盖十类技能。评估 55 个开源与闭源模型，最佳开源模型落后专有 API 12.6 分。研究为其他低资源语言提出四条设计经验，并开源数据与代码。
arXiv NLP25 天前