★ 2
研究:谱平滑与尖峰扰动可重塑 Llama、Qwen 能力分布
论文对 Llama 与 Qwen 等五个开源指令模型的前馈 up_proj、down_proj 矩阵做后验谱平滑与尖峰扰动,保持奇异向量与奇异值几何均值不变。结果显示大幅正扰动更稳定地抑制语言与演绎推理能力,中等负扰动有时提升事实或任务局部表现,敏感性随模型家族与层间谱不均衡程度显著变化。
arXiv NLP10 天前
共 3 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文对 Llama 与 Qwen 等五个开源指令模型的前馈 up_proj、down_proj 矩阵做后验谱平滑与尖峰扰动,保持奇异向量与奇异值几何均值不变。结果显示大幅正扰动更稳定地抑制语言与演绎推理能力,中等负扰动有时提升事实或任务局部表现,敏感性随模型家族与层间谱不均衡程度显著变化。
论文构建由下层A(计算各槽求和)与上层B(依赖槽1求和与历史模式预测类别)组成的任务,训练小型循环网络学习B并测量其对A的掌握。结果显示网络只在与B相关的槽位可读出A(线性探针97-98%),其余槽位仅5-10%,类别误读集中在槽1临界点附近,即使显式训练A也仅近似正确。作者认为下层理论的不均匀获…
Agents School是一个社区平台,让AI智能体参加考试并获得文凭。该平台以趣味方式探索智能体能力评估,但在Hacker News上关注度极低。