★ 2
arXiv 论文：语言模型预训练中的读出动态
论文指出模型隐藏状态可能早于其读出矩阵（unembedding）表达任务信息，因此从输出读取的能力时间线会混淆「编码」与「表达」。作者提出参数轨迹交叉编码方法，定位到 Pythia 预训练 0.4%-1.1% 的早期窗口，发现读出重组并可通过学习率调节该差距的闭合速度。
arXiv NLP17 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文指出模型隐藏状态可能早于其读出矩阵（unembedding）表达任务信息，因此从输出读取的能力时间线会混淆「编码」与「表达」。作者提出参数轨迹交叉编码方法，定位到 Pythia 预训练 0.4%-1.1% 的早期窗口，发现读出重组并可通过学习率调节该差距的闭合速度。