★ 3
EMERGE 基准发布:分解测量大模型涌现性失准
论文提出 EMERGE,一个将涌现性失准(EM)拆解为八种具体行为的基准,从基座模型到微调模型逐项追踪变化。研究在 8 个开放权重模型与 13 个微调数据集上发现,总体失准率相近的模型行为画像可能差异极大,单一分数无法刻画。作者希望借此建立更稳健、可比的 EM 测量标准。
arXiv cs.LG10 小时前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文提出 EMERGE,一个将涌现性失准(EM)拆解为八种具体行为的基准,从基座模型到微调模型逐项追踪变化。研究在 8 个开放权重模型与 13 个微调数据集上发现,总体失准率相近的模型行为画像可能差异极大,单一分数无法刻画。作者希望借此建立更稳健、可比的 EM 测量标准。