★ 3
用残差流激活预测 LLM 评判位置翻转
论文研究 LLM 评判者因候选回答呈现顺序不同而改变判决的「位置翻转」现象。作者检验初始判决前的残差流激活能否预测翻转，在 JudgeBench 上对三个 Qwen3 评判者与 Llama-3.1-8B 训练线性探针，AUROC 达 0.621–0.850，优于结合置信度、logits 与回答长度…
arXiv cs.LG26 天前
#残差流
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
arXiv 论文：全双工语音模型轮次风格迁移
论文识别出全双工语音语言模型中决定何时发言的单一后层残差流方向，称为 initiative vector。该方向可读取决策并提前 800 毫秒预测发言起始，缩放后可将语音占比从 6-12% 提升至 42-61%。短参考录音即可将说话人的轮次风格迁移到模型，且迁移具有参考特异性。
arXiv NLP17 天前
★ 2
列表计数失败并非单一现象
研究考察七个指令模型在相同提示下的列表计数错误，发现错误模式因模型而异：Qwen 与 Gemma 27B 常把奇数翻转为邻近偶数，OLMo 集中在少数中等整数，Llama 倾向少计。这些模式并非稳定的家族规律，子词碎片化也未加重计数难度。线性探针通常仍能从残差流恢复真实计数，提示后期 MLP 幅度…
arXiv cs.LG41 天前
这个主题的相关资产
相关公司Ollama1