★ 3
研究揭示代码模型 OpenCoder-1.5B 表征漂移：行为稳定但承载神经元不定
论文在 OpenCoder-1.5B 预训练过程中测量 169 个 Python 语法构造的表征漂移，覆盖两万亿词元。研究发现部分构造的损失在训练前 4% 即触底，但模型对其承载神经元的依赖持续增长，且承载集合到最后一个检查点仍在变化。预先设定的「承载神经元会稳定」假设被证伪。
arXiv NLP9 小时前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文在 OpenCoder-1.5B 预训练过程中测量 169 个 Python 语法构造的表征漂移，覆盖两万亿词元。研究发现部分构造的损失在训练前 4% 即触底，但模型对其承载神经元的依赖持续增长，且承载集合到最后一个检查点仍在变化。预先设定的「承载神经元会稳定」假设被证伪。
论文针对可解释性研究从直接读取神经元转向读取探针、稀疏自编码器等第二模型的问题，提出「校准概念剖面」方法，把直接读取神经元变成可重复的测量。方法在 OpenCoder-1.5B 上实现，跨两万亿训练词元的检查点追踪，为每个数值提供噪声单位与随机水平。作者开源了提示集、代码与数据。