#能力评估

共 3 篇相关资讯,按重要度与时间排序,每 3 小时更新。

★ 2

研究:谱平滑与尖峰扰动可重塑 Llama、Qwen 能力分布

论文对 Llama 与 Qwen 等五个开源指令模型的前馈 up_proj、down_proj 矩阵做后验谱平滑与尖峰扰动,保持奇异向量与奇异值几何均值不变。结果显示大幅正扰动更稳定地抑制语言与演绎推理能力,中等负扰动有时提升事实或任务局部表现,敏感性随模型家族与层间谱不均衡程度显著变化。

arXiv NLP10 天前
★ 2

模型能力参差不齐从何而来

论文构建由下层A(计算各槽求和)与上层B(依赖槽1求和与历史模式预测类别)组成的任务,训练小型循环网络学习B并测量其对A的掌握。结果显示网络只在与B相关的槽位可读出A(线性探针97-98%),其余槽位仅5-10%,类别误读集中在槽1临界点附近,即使显式训练A也仅近似正确。作者认为下层理论的不均匀获…

arXiv cs.LG27 天前

这个主题的相关资产

相关公司Ollama1

相关标签

能力评估 最新资讯与动态(3 篇) - 智讯 AI News