★ 3
研究揭示选择题格式抑制拒答:Llama-3.1-8B 与 Qwen3-8B 机制证据
论文在 WMDP 数据集上对 Llama-3.1-8B 与 Qwen3-8B 给出选择题格式降低拒答率的首个机制解释:模型处理选择题时会迅速锁定答案字母词元,激活值距拒答方向约为开放式格式的 3 倍。消融承载答案的注意力头会提升拒答率,说明答案选择与拒答相互竞争,选择题安全分数主要衡量知识能力而非…
arXiv NLP9 小时前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文在 WMDP 数据集上对 Llama-3.1-8B 与 Qwen3-8B 给出选择题格式降低拒答率的首个机制解释:模型处理选择题时会迅速锁定答案字母词元,激活值距拒答方向约为开放式格式的 3 倍。消融承载答案的注意力头会提升拒答率,说明答案选择与拒答相互竞争,选择题安全分数主要衡量知识能力而非…