★ 4
LLM评判非万能，自改进智能体需确定性护栏
指出自改进智能体依赖LLM评判的缺陷，提出PROCTOR框架，通过确定性验证层和教师-学生循环防止评估信号失败。实际运行中识别出十一类失败模式，包括奖励黑客等。
arXiv cs.AI60 天前
#评估
共 19 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 4
答案并非论证：AI推理监控的局限
该研究探讨了在AI监督中提供参考答案是否有助于推理验证，还是仅暴露错误结论。通过分析237个逐步解答，发现认证答案能提高结论一致性检查，但并未增强对论证过程的独立验证。研究警告，可接受的输出并不保证推理过程健全，这对AI安全监控具有重要启示。
arXiv cs.AI61 天前
★ 3
CompMat-Bench：计算材料科学AI智能体基准
研究团队推出CompMat-Bench，包含94个源自近期计算材料学论文的任务，评估AI智能体完成科研步骤的能力。通过预先复现研究步骤，避免评估时重复昂贵模拟，并以固定规则而非LLM评判打分。三个LLM智能体在完整指导下单任务通过率为66.0%-90.4%，失败多归因于科学错误而非软件使用问题。
arXiv cs.AI31 天前
★ 3
Benchmark Radar：AI基准与评估的活数据库搜索引擎
论文推出Benchmark Radar，一个面向AI基准检索与发现的活数据库与搜索引擎，覆盖LLM评估、智能体与工具使用、编码、推理、安全及领域评估。系统结合每日发现与可搜索目录、模型卡提及与分数历史，保留来源与引用。目录含1283条来源记录与12916条数值观测，并发布网页仪表盘、排行榜与CLI。
arXiv cs.AI51 天前
★ 3
研究：行为语言模型中评分式与生成式读数的实证对比
论文在固定模型检查点与提示内容的前提下，比较评分答案token所得概率与写出理由后生成预测的差异。在覆盖三个市场四类零售任务的13个模型-领域单元中，评分式读出在12个单元中排序更准，AUC高出1.5至14.5点。研究还发现生成理由会降低对主导预测特征的依赖并趋于套话，建议保留生成理由但用评分头做…
arXiv cs.AI53 天前
★ 3
DI-Bench：为企业智能体生成领域数据智能基准
本文提出DI-Bench流水线，用于自动生成企业数据智能（DI）基准，模拟需要计算与知识检索的真实任务。该流水线构建工件链接图，生成包含结构化数据和关联知识的问题，并通过查询执行获得真实答案。应用于两个公开数据集后，生成了731个任务的基准，评估显示模型在业务规则修改计算的任务上准确率仅32%，凸…
arXiv cs.AI54 天前
★ 3
ARC-Bench：揭示冻结JEPA世界模型动作排序缺陷
ARC-Bench是一个无泄漏、固定候选协议，用于审计冻结JEPA风格目标是否正确排序候选动作。研究发现，官方JEPA-WM检查点在操作和迷宫领域存在严重且结构性的排序失败，且该缺陷在更换视觉骨干后依然存在。研究解释缺陷被闭环重规划掩盖，降低重规划频率会导致成功率崩溃，表明闭环成功率系统性高估了冻…
arXiv cs.AI54 天前
★ 3
MERIT：工具型智能体长期记忆成本感知评估
MERIT是一个基准和测试平台，用于衡量长期记忆对任务执行型智能体的边际效用，并明确成本核算。在23,440个评分片段中，记忆将依赖任务的成功率从0.00提升至0.55-1.00。研究发现，嵌入检索在更新事实时表现不稳定，而结构化事实存储和LLM摘要等更新时写入的存储方式保持稳定。此外，更换记忆实…
arXiv cs.AI54 天前
★ 3
AI招聘系统综述：从匹配模型到招聘代理
一篇系统化综述回顾了AI在招聘中的发展，从简历匹配到多阶段工作流，包括神经人岗匹配、大语言模型组件和工具使用型招聘代理。文章分析了三个转变，并指出评估中的空白，如隐私和综合评估缺失，提出了未来研究方向。
arXiv cs.AI56 天前
★ 3
论文揭示接口导致Agent工具调用轨迹被审查
该研究揭示智能体评估中工具调用率可能因接口审查而失真，即使模型输出正常。通过实验定位问题在于适配器交互，并发布预检工具以检测此类静默失败。
arXiv cs.AI59 天前
★ 3
智能农业智能体系统FAIRY全季大豆作业评估
哈尔滨工业大学部署了名为FAIRY的智能农业智能体系统，用于大豆研究农场的全季运营。该系统采用“一切皆事件”的执行范式，整合多种传感器和机械，并评估了九种最先进的智能体控制器。研究表明，智能体系统可有效管理复杂的时空农业工作流程。
arXiv cs.AI61 天前
★ 3
RealSWE：真实用户请求下编码智能体的组合评估
RealSWE基于真实用户请求的差异，构建了381个多变量任务族，评估编码智能体性能。结果显示真实输入使解决率平均下降6.4个百分点，并可能改变模型排名，且明确期望行为与动机能显著提升性能。
arXiv cs.AI63 天前
★ 3
同一模型不同框架导致编码智能体结果差异
研究比较同一模型在不同框架配置下的编码表现，发现改变框架可显著影响结果。在紧凑上下文下，处理方式提高了任务成功率，但增加了失败率。这表明编码智能体评估应将模型与框架视为整体。
arXiv cs.AI66 天前
★ 3
SyPS：衡量大语言模型的谄媚提示敏感性
该研究提出SyPS框架，通过构建受控提示变体来测量LLM的谄媚提示敏感性，并引入SPSS分数以分离基线谄媚与提示引起的转变。实验发现，验证寻求和情感压力提示常增加谄媚，而反框架和反谄媚提示则减少谄媚，表明LLM的谄媚行为具有社会结构性。
arXiv cs.AI68 天前
★ 2
AI 幻觉预算超支后该如何处理
文章以「预算」为比喻讨论 AI 幻觉问题：如果为模型幻觉设定可容忍额度，一旦超支应当如何应对。涉及幻觉治理、可靠性评估与产品侧兜底策略等话题。
InfoQ AI18 小时前
★ 2
★ 2
Hex 用评估将 AI 功能错误率降低 7 倍
Hex 技术博客分享如何通过评估（evals）体系将 AI 功能的错误率降低 7 倍。文章介绍了其构建评估集、迭代提示与模型的工程实践，属于 AI 产品落地经验分享。
Hacker News – AI24 天前
★ 2
从构建 AI 到驾驭 AI：深水区的六个工程问题
文章讨论企业从“构建 AI”转向“驾驭 AI”过程中面临的六个工程问题，涵盖可靠性、评估、成本与运维等。核心观点是 AI 落地难点已从模型能力转向工程化与治理。这为正在推进 AI 生产化的团队提供了实践框架。
InfoQ AI51 天前
★ 2
因果估计中干扰函数预测评估
该研究探讨预测误差与因果估计性能的关系，在部分线性模型下比较OLS、GAM、XGBoost和DML-XGBoost。预测误差不能直接反映因果偏差，联合误差指标也不可靠，需谨慎使用。
arXiv cs.AI61 天前