arXiv cs.LG·27 天前★ 2

模型能力参差不齐从何而来

原文标题：Where Does Jagged Competence Come From?

重要度 2/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

论文构建由下层A（计算各槽求和）与上层B（依赖槽1求和与历史模式预测类别）组成的任务，训练小型循环网络学习B并测量其对A的掌握。结果显示网络只在与B相关的槽位可读出A（线性探针97-98%），其余槽位仅5-10%，类别误读集中在槽1临界点附近，即使显式训练A也仅近似正确。作者认为下层理论的不均匀获取、访问与保持部分解释了「参差不齐的能力」。

论文速读 · 四段结构cs.LG去论文速读 →

问题: 能力强的系统为何在平均误差很低时仍对特定输入失败（参差不齐的能力）。
方法: 构造下层 A（各槽求和）与上层 B（依赖槽1求和与历史模式）的两层任务，训练小型循环网络学 B，用线性探针测量其对 A 的掌握。
结果: 与 B 相关的槽位可读出 A（线性探针 97-98%），其余槽位仅 5-10%；自然 KL 低于 3e-4 bits 时最大 law TV 约 0.25。
影响: 为「能力参差」提供可复现的机制解释，提示评测不能只看平均指标。