#奇异值谱

研究：谱平滑与尖峰扰动可重塑 Llama、Qwen 能力分布

论文对 Llama 与 Qwen 等五个开源指令模型的前馈 up_proj、down_proj 矩阵做后验谱平滑与尖峰扰动，保持奇异向量与奇异值几何均值不变。结果显示大幅正扰动更稳定地抑制语言与演绎推理能力，中等负扰动有时提升事实或任务局部表现，敏感性随模型家族与层间谱不均衡程度显著变化。