★ 3
arXiv 论文提出长上下文持续预训练缩放定律
研究团队建立经验加性幂律，将长上下文性能与模型规模、短上下文预训练与长上下文持续预训练（LCCP）的 token 预算关联起来。在五种模型规模、上百种预算配置上验证该定律可外推，并提出 Constant-Last4 训练观测协议，在 1.22B 模型约 100B LCCP token 上准确预测性…
arXiv NLP11 天前
#持续预训练
共 6 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
论文研究虚拟世界持续预训练，0.8B-27B 模型具身智能体扩展规律
论文通过 120 组训练配置，系统研究持续预训练在数据量、多样性与模型规模三个维度上对虚拟世界具身智能体的影响，模型规模覆盖 0.8B 至 27B。结果显示更多数据提升语料内表现，多样性改善向相关世界迁移但对远距离世界增益有限，模型规模提升数据效率却在单世界训练下泛化更差。作者拟合出验证损失与三要…
arXiv cs.AI11 天前
★ 3
DivMoE：跨域专家组合的细粒度 MoE 升级框架
论文指出细粒度 MoE 升级存在路由崩塌问题，提出 DivMoE 框架，通过领域专用细粒度专家初始化与多样性约束路由实现结构均衡。在 Qwen3-1.7B 等两个基座模型与 15 项基准上，DivMoE 持续优于六个升级基线，12B 模型在推理微调后匹配 16B 的 Moonlight-MoE。
arXiv cs.AI24 天前
★ 3
arXiv 论文：灾难性遗忘集中于低频词输出嵌入，调高 Adam epsilon 可缓解
一篇 arXiv 论文系统分析了 LLM 持续预训练与微调中的灾难性遗忘发生位置，发现遗忘集中在训练语料中罕见 token 的输出嵌入上，而非模型主体。机制上，缺失 token 受到持续的单侧 softmax 梯度，被 Adam 二阶矩归一化放大成完整更新。作者提出仅在输出投影层提高 Adam 的…
arXiv NLP25 天前
★ 3
IndustryLLM：面向工业采购的失败驱动训练
阿里团队基于 Qwen3.5-35B-A3B-Base 训练开源工业语言模型 IndustryLLM，采用持续预训练加监督微调的失败驱动方案，整合国标、真实交易记录与多语体重写数据。线上 A/B 实验显示 GMV 提升 4.25%、满意询盘提升 8.3%，延迟从 6-7 秒降至 1.5 秒，权重已…
arXiv cs.AI34 天前
★ 2
AQL-Lite 框架发布：低成本持续预训练提升阿拉伯语大模型
研究者提出 AQL-Lite 框架，通过高质量数据筛选与部分参数持续预训练，将多语言大模型适配到现代标准阿拉伯语。在 5B token 对比中，该方法以 52% 的实际耗时达到全参数持续预训练 94% 的增益。扩展至 40B token 后，12B 模型在 Open Arabic LLM Lead…
arXiv NLP10 天前