★ 2
arXiv 论文：语言模型预训练中的读出动态
论文指出模型隐藏状态可能早于其读出矩阵（unembedding）表达任务信息，因此从输出读取的能力时间线会混淆「编码」与「表达」。作者提出参数轨迹交叉编码方法，定位到 Pythia 预训练 0.4%-1.1% 的早期窗口，发现读出重组并可通过学习率调节该差距的闭合速度。
arXiv NLP17 天前
#Pythia
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
arXiv 研究：LLM 语言习得中的形态、语义与分歧
论文利用 Pythia、OLMo 等开源模型的中间检查点，在教师强制评估下系统考察语言习得随训练步与模型规模的变化。研究发现模型在语义嵌入稳定之前就已习得形态结构，训练数据规模正向影响分歧识别，而预训练共现与推理重复则产生负面影响。
arXiv cs.LG18 天前