★ 3
研究提出中断预算评估 LLM 智能体提问质量
论文提出区分智能体「问多少」与「问得好不好」的评估协议，用中断预算限制提问数量，用用户注意力成本惩罚难读或无价值的问题。在八个 LLM 与四个客服领域测试中，限制为 1-3 个问题可降低 36-73% 注意力成本，同时保留 86-94% 任务奖励。结合用户历史回答记忆可再降 13% 成本。
arXiv NLP13 天前
#评估基准
共 11 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
EnterpriseVal：量化企业生成式 AI 的价值与可靠性
针对企业 GenAI 项目难以证明业务价值的问题，论文提出 EnterpriseVal 用例级评估系统，涵盖用例规范、指标目录、专家与 LLM 混合评分、阈值门控和价值风险模型。在全球银行的三个工作流试点中，信贷备忘录起草引用精度达 88%、幻觉率 1.6%。
arXiv cs.AI42 天前
★ 3
重新审视健康AI方法学进展的评估方式
研究在统一评估框架下重实现12种新旧算法，并在MIMIC-IV与NWICU两个临床数据集上对比专家设计的临床任务与随机生成任务。结果显示聚合式两两比较在不同任务族与数据集间迁移性强，但临床任务存在更强的任务-方法交互。值得注意的是，新算法并未稳定优于旧方法，梯度提升树配合现代稀疏表示仍极具竞争力。
arXiv cs.LG46 天前
★ 3
AI智能体定义综述：标准、指标与基准汇编
AI领域智能体一词缺乏统一定义，导致评估、比较与复现困难。论文围绕环境交互、学习适应、自主性、目标导向行为与时间一致性五个维度组织综述，梳理各维度的指标、基准与评估框架。同时推出公开数字资源Agent Compendium，为跨系统比较智能体能力提供共同结构。
arXiv cs.AI51 天前
★ 3
AgentJudgeBench：多难度LLM裁判评估基准
AgentJudgeBench系统研究LLM裁判在智能体工具调用中的可靠性，发现裁判对齐度随任务难度单调下降，且无真实答案时所有裁判收敛于狭窄区间。结构化评估标准可提升对齐，但无法统一泛化。
arXiv cs.AI66 天前
★ 2
MAREval：多智能体框架评估推荐解释
论文提出 MAREval，用规划、主持、仲裁三类智能体加蒙特卡洛采样来评估推荐系统的自然语言解释，缓解单智能体 LLM 评估的提示敏感与输出不稳定问题。在公开与电商私有数据集上，其与人类判断的一致性优于基线，线上 A/B 测试显示互动与收入指标显著提升。
arXiv cs.AI5 天前
★ 2
研究提出蛋白-配体结合预测结构方法评估指南
一项研究针对基于结构的蛋白质-配体结合预测方法提出系统性评估指南，旨在规范该领域方法的比较与验证流程。指南有望提升药物发现中计算预测结果的可信度与可复现性。
Nature Machine Intelligence10 天前
★ 2
XAI 评估的合成真值框架
针对可解释 AI 缺乏可靠评估标准的问题，论文提出基于合成真值的评估框架，通过受控干预生成输入重要性已知的数据集，从而构建与模型行为对齐的真值解释。框架覆盖二值图像、表格数据与时间序列三个领域，对九种主流 XAI 方法进行评估，揭示现有技术存在显著局限，并强调基于干预的合成基准对可靠评估的重要性。
arXiv cs.AI35 天前
★ 2
深度不平衡回归评估的盲点
论文指出深度不平衡回归（DIR）评估存在三大盲点：以图像基准为主、标准 many/medium/few-shot 协议不具决策完备性、尾部区域跨随机种子稳定性未被系统评估。作者引入多模态虚拟传感基准 MuViS 与平衡指标 bMAE、bMASE，发现尾部区域对种子波动高度敏感，是当前评估中被掩盖的…
arXiv cs.LG40 天前
★ 2
KnowBench：以降低标注成本评估临床AI
arXiv 上发布 KnowBench，提出一种以“减少人工投入”为核心指标的临床 AI 评估方法。该基准关注模型在真实临床任务中能否降低医生标注与审核成本，而非单纯追求准确率。这为医疗 AI 的实用化评价提供了新视角。
Hacker News – AI48 天前
★ 2
XAI-Arena：让大模型评判可解释性解释的质量
论文提出 XAI-Arena，一个以LLM为评判者的框架，用于对可解释AI（XAI）解释质量进行可扩展、可复现、多维度的评估。它从简洁性、清晰度、任务适配、信任校准、可执行性、透明度、忠实度与整体可解释性等维度比较不同XAI方法。人类验证显示LLM评分与人工评分显著正相关（Spearman rho…
arXiv cs.AI53 天前