★ 2
研究：循环语言模型深度复用靠训练与推理循环一致而非归一化
一篇 arXiv 论文研究循环语言模型（如 Ouro 系列）为何能在超出训练预算的循环步数下保持可用。作者发现移除循环边界归一化后，Ouro-1.4B 与 Ouro-2.6B 在平衡二分类任务上准确率归零，但原因并非状态范数增长；从头训练的 19M 参数模型则显示不归一化反而更好。结论是训练循环与…
arXiv cs.LG7 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
一篇 arXiv 论文研究循环语言模型（如 Ouro 系列）为何能在超出训练预算的循环步数下保持可用。作者发现移除循环边界归一化后，Ouro-1.4B 与 Ouro-2.6B 在平衡二分类任务上准确率归零，但原因并非状态范数增长；从头训练的 19M 参数模型则显示不归一化反而更好。结论是训练循环与…