★ 3
研究提出双重分层协议，重估工具智能体潜在监控器
论文指出工具调用智能体潜在监控研究结果冲突多源于评测伪影，提出将注入暴露与行为承诺分离的双重分层协议。在 Qwen AgentDojo 网格上，仅用暴露样本重训的探针可提前两步预测不安全工具调用，AUROC 达 0.853。作者认为未分层 AUROC 高估了监控器所知。
arXiv NLP3 天前
#评测协议
共 6 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究提出 RATE 协议：机器翻译准确度已超人类但流畅度仍落后
论文指出 MQM、ESA 等现有机器翻译评估标准存在标注者水平不一、分类过繁、严重度粒度粗、偏重准确度等问题。作者构建 WMT24 英俄翻译的专业语言学家高质量评测数据集，并提出 RATE 协议，采用精简错误分类、扩展严重度与多维评分。分析显示当前最优机器翻译系统在准确度上可能已超越人类译文，但流…
arXiv NLP6 天前
★ 3
RSIHub 开源框架发布：统一构建与对比智能体进化方法
研究推出开源框架 RSIHub，用可复用算子与可变资源声明组合配方，统一提供执行、评估、恢复与血缘追踪。作者在不改动框架核心的前提下实例化 AHE、Hyperagents、A-Evolve 与 GEPA，并在 Terminal Bench 2 与 τ³ Banking 上评测，最大整体 pass@…
arXiv cs.AI7 天前
★ 2
大模型跨语言Token与推理效率配对研究方案
一篇arXiv论文提出前瞻性配对研究方案，旨在分离输入语言、可观测推理轨迹语言与答案实现三个接口对LLM推理成本的影响。设计涵盖240个精确评分项、8种语言、3个开源权重检查点与22种语言条件，共47,520次核心运行。研究将tokenizer扩展、可观测轨迹成本与答案实现成本区分开，为跨语言效率…
arXiv cs.AI27 天前
★ 2
文生3D评测榜单存在配置脆弱性
论文审计了渲染图像评测中文生3D榜单的稳定性：即使生成场景完全固定，相机设置与描述措辞等协议因素也会改变排名。在6个生成器的300个冻结场景上，19个对齐评测器中有17个的配置方差超过生成器间方差，18个评测器在某种配置下会改变胜者。作者建议报告（生成器、分数、卡片ID）并采用协议相关比较与选择感…
arXiv cs.AI31 天前
★ 2
GAVEL：临床时间线与病例报告比对裁决
论文针对临床时间线抽取评测依赖不完美专家标注与事件对齐的问题，提出GAVEL——一种LLM评判协议，将两条时间线与病例报告比对并返回差异类型、裁决与报告段落。研究评估了事件匹配器、审查2738条发现并对六种抽取器与两名人工标注者排名。在126份报告中，合并时间线在77%比较中被偏好，将差异从每份7…
arXiv cs.AI48 天前