★ 3
研究揭示代码模型 OpenCoder-1.5B 表征漂移：行为稳定但承载神经元不定
论文在 OpenCoder-1.5B 预训练过程中测量 169 个 Python 语法构造的表征漂移，覆盖两万亿词元。研究发现部分构造的损失在训练前 4% 即触底，但模型对其承载神经元的依赖持续增长，且承载集合到最后一个检查点仍在变化。预先设定的「承载神经元会稳定」假设被证伪。
arXiv NLP9 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文在 OpenCoder-1.5B 预训练过程中测量 169 个 Python 语法构造的表征漂移，覆盖两万亿词元。研究发现部分构造的损失在训练前 4% 即触底，但模型对其承载神经元的依赖持续增长，且承载集合到最后一个检查点仍在变化。预先设定的「承载神经元会稳定」假设被证伪。