★ 3
研究提出 Control Map 框架，评估测试时模型更新
论文指出仅用更新次数或频率评估测试时更新会掩盖「更新了什么、在哪、何时、以何顺序」的差异，提出 Control Map 框架记录每次评分答案前的已提交更新。实验显示：760M 参数模型上 24 种相同更新次数的调度准确率在 19.7%-34.2% 间波动；ROME 在 13 个操作点均保留编辑但全…
arXiv cs.LG5 天前
#评测框架
共 7 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
SIM-UT 框架发布：模拟用户评测医疗分诊聊天机器人
研究者提出 SIM-UT，一种多轮模拟用户行为的评测方法，用 5000 余轮多语种模拟对话测试印度、南非、肯尼亚三个真实 WhatsApp 健康聊天机器人。MedGemma、ChatGPT 与 Claude 均出现「降级风险」：用户淡化症状时模型会附和，把孕期出血说成「没问题」，属临床危险的谄媚行…
arXiv NLP10 天前
★ 3
LabFactory：构建可执行 AI 实验室
论文提出 LabFactory 框架，让 AI 构建者将科学任务简报转化为可执行的 AI 实验室——集成模型、知识资源、工具与控制器的任务专用求解器。交付物由独立主机在留出输入上执行并按任务协议评分，28 个构建案例在全部 33 个子测试中均超过参考值，表明 AI 智能体可端到端交付可调用、可检查…
arXiv cs.LG38 天前
★ 2
研究提出 SPE 框架量化 LLM 无工具规划能力上限
论文通过一次性生成完整计划、不使用工具与执行反馈，隔离测量大模型的内生规划能力，并提出可验证指标 SPE=R×Q×E 分解执行可靠性、计划协调与动作经济性。在 8400 条 4×4 滑块拼图输出上，模型在更长步数下效率下降，完成计划的效率高也可能伴随目标达成差。
arXiv cs.AI5 天前
★ 2
综述：语言模型多元对齐的目标、人类参照与偏好表示
论文围绕多元对齐梳理 70 项工作，提出两层分类法：第一层区分 Overton 多元、可操控多元与分布多元，第二层区分总体人群、国家地区与子群体三类人类参照。作者指出既有研究集中于可操控与分布多元，并把偏好表示、实现机制、模态与证据质量视为横切设计选择。文章进一步把每种目标与所需证据对应，指出当前…
arXiv cs.AI13 天前
★ 2
GameCommBench 发布：AI 生成游戏解说统一评测基准
论文推出 GameCommBench，覆盖棋类、体育与电竞，解说按类型标注并对齐异构游戏语境。作者提出类型感知解说评测框架 TACE，验证其可靠性与人类一致性后用于评测代表性 AI 解说模型。结果显示能力分布不均，实时观察与策略分析是主要瓶颈。
arXiv cs.AI24 天前
★ 1
为何测试框架对能耗与 token 效率至关重要
一篇技术讨论指出，评测框架（harness）的设计直接影响模型运行的能耗与 token 消耗效率。文章探讨如何通过更合理的评测与调用方式降低推理成本，提升资源利用率。
Hacker News16 天前