★ 3
研究揭示大模型否定句处理失败机制
研究构建否定基准测试开源与闭源 LLM，发现 37%–71% 的情况下模型在否定问句下仍重复原答案。机制分析显示特定注意力头与 MLP 神经元通过抑制原答案检索、提升候选答案来实现否定，与人类处理方式不同，这正是失败根源。作者提出新的训练目标，在减少否定错误的同时对通用能力损害更小。
arXiv NLP25 天前
#大模型可解释性
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
列表计数失败并非单一现象
研究考察七个指令模型在相同提示下的列表计数错误，发现错误模式因模型而异：Qwen 与 Gemma 27B 常把奇数翻转为邻近偶数，OLMo 集中在少数中等整数，Llama 倾向少计。这些模式并非稳定的家族规律，子词碎片化也未加重计数难度。线性探针通常仍能从残差流恢复真实计数，提示后期 MLP 幅度…
arXiv cs.LG41 天前