★ 3
字节研究揭示 DeepSeek 时强时弱与 Token 站位有关
字节跳动的研究发现，DeepSeek 模型表现时强时弱的原因与 Token 在序列中的站位有关。该发现揭示了推理模型输出稳定性的潜在机制，对理解大模型行为具有参考价值。
量子位24 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
字节跳动的研究发现，DeepSeek 模型表现时强时弱的原因与 Token 在序列中的站位有关。该发现揭示了推理模型输出稳定性的潜在机制，对理解大模型行为具有参考价值。
论文系统测量了Llama-3.1-8B、Qwen3-8B与Gemma-3-4B在不同批大小和浮点精度下激活探针的稳定性。发现聚合准确率会低估判定翻转数量2至9倍，解码阶段翻转率达2.8%，但主要由文本差异而非算术误差导致。作者建议鲁棒性评估应报告逐样本一致性而非聚合准确率。