★ 3
论文提出 HRS 方法让冻结 LLM 评审对齐人类评分分布
论文提出 Human-Residual Steering（HRS），据称是首个通过隐状态干预让冻结 LLM 评审对齐人类评分分布的方法。HRS 学习从评审隐表示与评分 logits 预测低秩修正，在 14 个基准与三个模型家族的四个评审上优于所有冻结权重基线。以 Qwen2.5-7B 为例，14 …
arXiv NLP3 天前
#评估方法
共 18 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
语义重建游戏：LLM 越狱评估新方法
论文指出越狱攻击评估中攻击成功率（ASR）高度依赖评判 LLM，仅更换评判模型即可使报告 ASR 变化高达 82 个百分点。作者提出无需训练的语义重建游戏评估器，将合规判断分解为受限语义比较，在三个现成 LLM 评判器上取得最低平均误差并减少 ASR 波动。
arXiv cs.LG18 天前
★ 3
新方法审计金融 LLM 智能体的策略价值
论文提出 Agent Policy-Value Audit，通过固定各有序动作变化类型的观测次数并随机重分配到合格事件，分离出「构成基准」与「选择价值」。在基于真实财报事件收益的半合成基准中，零中心配对检验在 11.6% 的无技能重复中错误归因选择能力，而转换匹配审计将误判率降至 5.3%。对 4…
arXiv cs.AI27 天前
★ 3
动态LLM路由器常被误导
研究分析六种商业LLM路由器在14种设置下的表现，发现没有一种能超越在匹配成本下随机选择两个精选模型的基线，部分路由器落后超过10个百分点。研究将差距归因于四种模式：难度盲区、长度反转、语义匹配和候选池次优。研究提出不奖励这些模式的替代评估方法，并设计了一个避免全部四种问题的简单双模型路由器，但其…
arXiv cs.AI28 天前
★ 3
稀疏重叠下的 LLM 评判者验证
论文证明标注重叠稀疏性是 LLM-as-a-judge 部署决策错误的首要决定因素：5% 成对重叠下错误决策率达 25%，在十个候选中选错最佳评判者的概率为 65%。作者给出最小重叠公式与零成本分层分配方案，并在 10 个 LLM 评判者、四个评估矩阵上验证。
arXiv cs.AI34 天前
★ 3
研究：推理能否提升大模型心理深度取决于评判者
论文通过短篇故事的心理深度研究LLM-as-a-Judge的失效模式，七位人类读者与在原始PDS数据集上筛选的LLM评审团评估60对盲测故事。人类偏好未显示普遍推理优势：GPT-5略优于GPT-4o，而DeepSeek-R1落后V3，读者间一致性接近随机（α=0.070）。评审团却在89%维度比较…
arXiv cs.LG48 天前
★ 3
AI智能体持久身份基准PAI-Bench
论文提出PAI-Bench，一个供应商中立的基准，用于评估持久化AI智能体对版本化、受更新治理的身份契约的忠实度。基准区分回忆、组合、行为执行、抵抗、持久性、谱系与角色条件更新等维度，覆盖16个合成档案与32个探针。审计发现直接父标识符在48/48原子响应中出现，但隐式自画像仅1/48，揭示身份表…
arXiv cs.AI48 天前
★ 3
LLM评判用于专利撰写智能体评估
论文通过Vibe Patenting这一端到端专利撰写测试台，研究LLM评判在复杂专业工作中的可靠性。独立调用的LLM评判对生成的专利草稿打分并提供结构化反馈用于迭代修订，评判引导的修订持续提升评判评估的质量，还能让低推理智能体接近高推理智能体的表现。与专业专利律师的独立评估对比显示，评判一致性显…
arXiv cs.AI48 天前
★ 2
研究提出 Multi-Label Agreement 框架评估多标签标注一致性
论文提出 MLA 框架，保留每条样本完整二元标签向量，采用平均成对汉明一致度，兼顾共同选中与共同遗漏。框架支持 pooled-marginal、Gwet AC1 与固定基线归一化，输出条目级、标签级与语料级结果，并提供条件最小一致度诊断与 Python 实现。
arXiv NLP5 天前
★ 2
研究：1 型糖尿病数字孪生应按决策质量评估
论文提出应以对下游治疗排序的决策质量而非血糖轨迹预测精度来评估 1 型糖尿病数字孪生。基于 FDA 认可的 UVA/Padova 模型 30 名虚拟患者、21 种治疗方案测试发现，预测精度与决策质量并不一致：平均患者基线预测最差但排序第二，而预测精度近两倍的神经网络排序仅相当于随机。
arXiv cs.LG10 天前
★ 2
论文提出工业 AI 规划能力贡献的可观测证据标准
论文针对工业 AI 规划系统中新增能力难以归因的问题，提出可观测证据标准，区分行动机会、执行计划变更、运营后果、等价性、不确定性与适用范围。基于 Favorita、M5、Walmart 数据回放实验，揭示单一指标评估的三重局限，并给出能力级贡献证据记录框架。
arXiv cs.AI12 天前
★ 2
Cortex：编码智能体的定点治理理论技术报告
论文研究 Cortex 这一编码智能体监督层，负责执行前治理、需求追踪与迭代验证修复，并在有限格上形式化需求闭合，证明穷举迭代可达到最小不动点。报告同时定义 Gauntlet 轨迹相似度与构建门控评分等评估方法，但作者指出观测集不均与溯源不完整限制了因果结论。
arXiv cs.AI13 天前
★ 2
MaSCoD：结构上下文引导的候选因果图生成多智能体框架
研究提出多智能体框架MaSCoD，在直接边判断之前先组织候选第三变量与局部结构模式，以显式控制潜在因果关系的过早遗漏。在Auto-MPG、DWD、Sachs上以GPT-5.4为主干、GPT-4o复现，结果显示其保留-选择性表现依赖数据集与主干，而非普遍优越。研究主张将结构预组织作为遗漏控制的显式设…
arXiv cs.AI45 天前
★ 2
IBBench-Light：外部指令任务条件响应配对评估
IBBench-Light针对同一外部记录的执行与阅读两种用途进行配对测试，12个语义基产生每模型144对匹配样本。配对精确契约准确率（PECA）要求两个成员均满足输出契约，Qwen在132个执行和109个处理提示上成功但仅97对完整。研究还发现改变EOS集合会使Phi的配对成功从0/144变为6…
arXiv cs.AI48 天前
★ 2
用选择题问答评估视频字幕质量
现有视频字幕评估依赖与参考文本匹配，受一对多特性困扰且维度单一。研究以信息保真度重新定义字幕质量，通过多项选择题问答衡量字幕对视频信息的覆盖程度。
Apple Machine Learning Research52 天前
★ 2
漂移下模型重训练评估：累积子群差异配对比较
研究比较了定时、损失触发与子群差距触发三种重训练策略与保留初始模型在延迟标签下的子群误差差异。模拟显示三种策略均降低平均累积差异，但有限窗口与总体比较仅在 69%–92% 轨迹上一致。ACS 回放中人员加权反转了种族假阳性率比较，提示策略比较需明确评估总体。
arXiv cs.LG53 天前
★ 1
研究对比经典机器学习与深度学习在传感器人体活动识别表现
研究在 UCI-HAR 与 KU-HAR 两个公开数据集上，对四种经典机器学习与四种深度学习模型做受控对比，覆盖加速度计、陀螺仪及组合模态。结果显示深度学习并未稳定胜出，KU-HAR 上 LightGBM 的 macro-F1 达 0.857 高于最优深度学习模型。研究强调分组感知评估协议对结果影…
arXiv cs.LG13 天前
★ 1
模块化金融强化学习信用分配的等信息评估
论文提出结合等信息重建控制、固定效用比较与预设下游护栏的评估框架，用于检验模块化金融强化学习中的信用分配。三项受控研究发现：残差式分配可被普通损失预算控制完全复现；直接缺口监督改善组件预测却无法保持解码结果；组件级评论家监督在固定效用下恶化风险条件确定性等价与回撤。
arXiv cs.AI19 天前