★ 3研究：Qwen2.5 微调模型共享涌现失准注意力头一篇 arXiv 论文研究涌现失准（EM）是否依赖共同的计算组件。作者对 Qwen2.5-3B-Instruct 做三次 LoRA 微调，分别训练有害医疗建议、高风险金融建议和极限运动推荐。通过基于方向的激活追踪，发现三个模型排名前五的注意力头中有三个位置共享；替换这些头的贡献可将自由生成失准率从…arXiv cs.LG17 天前