★ 3
arXiv 研究：微调更新的秩度量需要噪声基线
论文将微调权重更新的秩度量与同形状随机矩阵、预训练权重及无对齐内容的匹配微调对比，发现计数方向的度量仅略低于噪声，稳定秩则远低于噪声。该模式在 13 组最高 8B 参数的模型对上成立，且并非对齐特征；作者据此质疑「后训练只是表面改变」的近期论断。
arXiv cs.LG14 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文将微调权重更新的秩度量与同形状随机矩阵、预训练权重及无对齐内容的匹配微调对比，发现计数方向的度量仅略低于噪声，稳定秩则远低于噪声。该模式在 13 组最高 8B 参数的模型对上成立，且并非对齐特征；作者据此质疑「后训练只是表面改变」的近期论断。