★ 3
论文质疑 AI 省时测量：复现 METR 研究得 19%–24% 减速
论文区分「秒表视角」与「账本视角」，主张衡量 AI 节省时间必须同时计入被放过的错误。作者用公开数据复现 METR 开发者研究，同样 246 个议题可得出 19% 或 24% 的减速结论，AI 仅在 3%–82% 的议题上有帮助。在 GDPval 全量复核流程中，仅复核时间就把 GPT-5 的加速…
arXiv cs.AI4 天前
#评测方法
共 25 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究：交互式 LLM 评测中整体准确率会掩盖提示特定误差
论文指出，用单一整体准确率或 F1 验证自动评分器会掩盖不同提示下的错误差异，从而扭曲模型对对话压力的响应比较。在 288 条平衡审计中整体 F1 为 0.916，但不同提示下误标比例在 2.6%-33.3% 之间；另一项审计中看似 9.3 分的提升在两位评分者下仅剩 2.3 分且区间含零。作者建…
arXiv NLP6 天前
★ 3
研究：先问视角会改变视觉语言模型的选择，GPT 与 Qwen3.8 均受影响
论文指出，在 Director Task 中先要求模型报告导演能看到哪些积木，会显著提高其选择被遮挡积木的比例——六个 GPT 模型上升 12 至 88 个百分点，Qwen3.8-27B 上升 17 个百分点。这说明视角提问本身会改变后续动作，作者据此提出配对提示基线，供所有心智理论评测采用。
arXiv NLP10 天前
★ 3
研究指出 SWE-bench Pro 等编码基准因泄露真值提示而过度指定任务
论文分析编码基准中任务欠指定与过度指定问题，指出 SWE-bench Pro、FEA-bench、Doc2Feat-bench 和 Multi-SWE-bench 通过引入真值提示解决欠指定，反而造成过度指定与剧透，使模型绕过基准本应考察的难点。作者实验不同指定程度并提出简约提示的构造方法，将公开…
arXiv cs.AI12 天前
★ 3
Harness-Delta 归因：智能体框架进化增益中 54% 来自过拟合
论文提出 Harness-Delta Attribution（HDA）评估协议，将智能体框架进化的性能增益拆分为过拟合、测试时扩展与残余可泛化部分。在 11 个执行模型与 3 个框架、21 个显著提升设置中，过拟合与测试时扩展平均分别占增益 54% 和 14%，且搜索集增益常无法迁移到留出任务。
arXiv cs.AI12 天前
★ 3
研究：零假设对照对自动科学发现验收守卫必要但不充分
论文提出四种改变物理描述的可执行操作，并用零假设接受率、正例接受率与后果一致性三项指标评估。结果显示描述性检验会接受科学上空洞的候选（如全零映射在 96% 混沌系统上通过闭合检验），而稀疏自编码器中仅 45% 被富集检验支持的特征经独立消融成立。
arXiv cs.AI12 天前
★ 3
研究提出能力本位评测 CBE，揭示 GPT 与 Qwen 逻辑推理不一致
论文批评当前基准只报告单一准确率，无法反映推理能力的泛化性，提出能力本位评测（CBE）：用参数化生成器在固定能力要求下扩展复杂度，并以等价表述检验正确性。在六款 GPT 与 Qwen 模型上，即使强模型也无法通过跨表述的能力一致性检验；思维链与 GRPO 能提升表现但未解决全部失败，监督式 LoR…
arXiv NLP13 天前
★ 3
arXiv 论文：RLVR 域外增益多为答案格式
论文测量可验证奖励强化学习（RLVR）报告的域外增益中有多少来自答案格式而非真实能力。在四个 7B SimpleRL 基座-RL 模型对上，公开代码提取器报告的域外多选题增益有 82% 在更严格的提取器下消失。
arXiv cs.LG16 天前
★ 3
AI 基准测试究竟测什么：56 个基准对比
一项研究对 56 个 AI 基准测试进行系统比较，分析它们实际衡量的能力维度与覆盖范围。该工作有助于厘清基准评测的有效性与局限，指导更合理的模型评估。
Hacker News – AI31 天前
★ 3
研究：上下文压缩更新充分性审计方法
论文通过配对历史审计揭示记忆系统的一个失败模式：记忆能正确回答当前查询，却丢弃了后续更新所需的区分信息。在 24 组历史对、12 种记忆条件下测试 DeepSeek 与 GLM 后端，发现大量结构良好但语义错误的记忆，以及标识符重命名后晚期引用充分性从 8/8 骤降至 94/320。作者提出标签等…
arXiv cs.LG44 天前
★ 3
智能体强化学习增益的REACH与SOLVE归因
论文指出智能体RL的端到端成功率混合了「到达状态」与「从状态求解」两种变化，提出checkpoint handoff评估协议，将增益拆分为REACH与SOLVE。跨两个基准与两条独立流水线，reacher×solver交互在全部五种条件下为正，说明RL历史对RL求解器价值更高。
arXiv cs.AI44 天前
★ 3
AutoTuring测试AI智能体是否真懂计算机架构
论文提出AutoTuring方法，让同一智能体两次面对相同的15维加速器设计空间：一次以具名架构旋钮呈现，一次以匿名[0,1]变量呈现，其余条件完全一致，以测量“意义”带来的差异。在九个FP16 GEMM内核上，具名架构智能体平均超越建模H200达5.4%，比盲测版本高12.3%，且模拟器调用减少…
arXiv cs.AI44 天前
★ 2
研究：LLM 辅导交互特征对学生成绩预测增益有限
论文基于 StudyChat 中一门本科 AI 课程的 16851 条学生-助教对话，评估 LLM 辅导交互特征能否在常数基线之上提升作业分数预测。梯度提升的平均绝对误差为 3.023 分，仅略优于中位数基线的 3.138 分，置信区间跨零。由于 91.4% 学生分数高于 90，误差集中在低分尾部…
arXiv NLP5 天前
★ 2
研究：多语言 P(True) 自评需区分问题、回答与验证语言
论文在六语言因子设计中独立变化问题语言、回答语言与验证指令语言，用 10 个 3B-14B 开源模型在 LSQA、MMMLU、TriviaQA 上测量首 token P(True) 置信度。结果显示三种语言影响评估的不同部分：准确率由哪种语言主导取决于基准，验证语言单独可使校准误差偏移达 0.04…
arXiv NLP6 天前
★ 2
研究提出压力比ρ与四项探针，压力测试智能体自验证器可靠性
论文提出一种对智能体自验证器（如 Rationale Consistency Score）进行压力测试的方法，引入压力比 ρ 衡量验证器对搜索的引导程度，并设计四个可证伪探针覆盖四类失效模式。在 LLM 设计机器学习流水线的实验中，验证器在原有配置下几乎不影响搜索目标，且智能体可提前探测验证器以保…
arXiv cs.AI12 天前
★ 2
研究者推动 AI 基准测试走向科学化
《Quanta Magazine》报道一位研究者致力于让 AI 基准测试成为严谨科学而非「玄学」，聚焦评测方法的可复现性与可靠性问题。该话题在 Hacker News 上关注度较低。
Hacker News – AI14 天前
★ 2
arXiv 论文：上下文注入下长程可靠性拆解为三组件
该论文在 400 步账本任务上逐步评估语言模型长程失效的三个组件：重复识别、局部处理与计数器跟踪。在 Qwen3-8B 上，重复识别错误在后期上升，而插入无关内容会让计数器在全部 20 个随机种子上失败。外部精确提醒可在一到两步内重新对齐计数器状态。
arXiv NLP16 天前
★ 2
研究：目标 token 不对称可伪装成层级专化
论文指出层级消融研究常因不同语料的目标 token 分布不同（如数学解答含更多空白与数字）而产生虚假的深度专化现象。在 GSM8K 与 Wikitext 对比中，分解后仅空白 token 呈正交互，去除空白即反转合并效应，该风险可仅凭分词器提前预判。
arXiv NLP17 天前
★ 2
TasteBench 发布：如何构建真正衡量品味的基准
论文提出 TasteBench，一个覆盖视觉、品牌、书籍与科技品类的成对好坏判断基准，并给出区分工艺判断与应试刷分的控制协议。首轮试点暴露位置偏置（0.956）、文件名词泄漏（0.912）与难度天花板三类效度威胁，并开源评测工具。
arXiv cs.AI18 天前
★ 2
研究质疑MemoryAgentBench冲突解决分数：最后写入规则即可答80%
论文用零学习的「最新陈述获胜」规则执行MemoryAgentBench冲突解决测试，官方指标下答对80.25%。剩余题目中有67项金标答案无法被最后写入图触及，暴露基准的可达性缺陷，作者主张按单项而非聚合分数解读。
arXiv cs.AI24 天前
★ 2
LLM智能体恢复机制需因果评估
论文指出仅用平均任务成功率衡量智能体错误恢复会掩盖风险：同一恢复操作可能救活失败轨迹，也可能破坏本可成功的轨迹。作者将恢复建模为因果决策问题，提出轻量策略CIR，在恢复前判断是否值得干预。在ALFWorld长程任务上，CIR将Qwen3-14B成功率从70.33%提升至73.33%，且不干扰观测正…
arXiv cs.AI30 天前
★ 2
CHOIR：自由列举法揭示大模型集成中的不同声音
论文提出 CHOIR 框架，将认知人类学的自由列举方法迁移到大模型集成，通过反复获取排序列表、聚类为提示级概念并测量跨模型、提示变体与人格条件下的概念显著性。在 Infinity-Chat 100 与 27 题诊断集上，表面一致性很高（93/100 高于随机），但基础模型身份仍是最强可恢复特征，人…
arXiv cs.AI31 天前
★ 2
更多程序还是更多重复：LLM Harness的覆盖与特化
论文提出受控评估，区分答案覆盖、可重复任务优势与执行前选择收益，以厘清LLM harness自动生成中的任务特化。在386个MATH-500任务上比较八个生成harness与九个字节相同的基线副本，发现相同程序带来2.16个百分点的重复平均oracle余量，但生成程序的可重复优势主要揭示持续弱点。…
arXiv cs.AI32 天前
★ 1
Induction AI 博客：为何要有意打破 LLM 缓存以隔离基准测试
Induction AI 发布技术博客，讨论在基准测试中故意破坏大模型缓存（cache）以实现缓存隔离，避免跨请求缓存命中污染评测结果。属于评测方法论层面的技术分享，社区讨论热度较低。
Hacker News – LLM9 天前
★ 1
研究提出提示合并算子的「继承性」准入测试
论文针对 LLM 智能体提示合并，提出以「继承性」作为合并算子准入测试：只有当子代向供体移动、超过零剂量子代，且移动量下置信界达到请求剂量一半时才准入。在 gemini-3.1-flash-lite 的谈判任务上，策略追加与约束重写被准入，自由重写被拒绝，模板追加结果未定。
arXiv cs.AI10 天前