★ 4
华为称昇腾已跨过生态拐点
华为计算战略与业务发展部部长朱照生表示，昇腾已跨越生态拐点，有能力在 Agentic 时代构建 AI 新生态。昇腾 CANN 开源社区月均活跃用户超 5200 人，自 6 月起成为国内活跃度最高的开源社区，基于昇腾完成预训练的大模型与多模态模型已超 40 个。
36氪43 天前
#预训练
共 57 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
Bi-Phase Training：少参数高效预训练方法
论文提出双阶段训练 BPT，用可训练对角矩阵与低秩适配器组合出高秩权重更新并周期性合并进冻结基座，保留全参数优化的高秩学习动态。在 Qwen2.5 100M 至 1.5B 与 OLMo-2-1B 上，1.5B 规模可减少 66% 可训练参数而验证困惑度仅小幅上升。
arXiv cs.LG2 天前
★ 3
单人研究者发布 Metis-1.6 双模型技术报告
独立研究者从零训练出 Praxis（2.94B 参数，每步激活 0.46B）与 Logos（10.23B 参数，激活 1.18B）两个模型，采用 Mamba-2 与注意力混合专家堆叠并重复两遍。Logos 在 40 项后训练基准平均 52.93，接近 Qwen3-4B，但训练数据量约为可比模型中位…
arXiv cs.LG2 天前
★ 3
arXiv 论文开源 OpenESM 能量引导模型，多数任务超越 GPT
研究者提出能量引导模型（ESM），在单一架构内整合能量引导与 token 生成，先优化能量景观上的隐状态再生成 token。在三个大规模语料上预训练、26 个下游任务评测中，ESM 随规模与数据增长呈现良好扩展性，并在多数任务上优于 GPT 类模型；模型权重与训练基础设施已全部开源。
arXiv NLP5 天前
★ 3
arXiv 发布拉丁语编码器 LAMB 及两个语料库
研究者推出基于 ModernBERT 架构的拉丁语编码器 LAMB，分两阶段在超 740 亿拉丁语 token 上预训练，并采用形态学驱动的掩码策略。同时发布 Acervus 与 Corpus Trinum 两个语料库，后者为首个拉丁语语义三元组数据集。在 17 个子任务中 LAMB 于 16 项…
arXiv NLP6 天前
★ 3
LARE：按损失重加权，1.5B 模型预训练五基准平均提升 7.84 分
论文提出 LARE 方法，在不改变数据混合比例的前提下，依据运行损失统计自动调整各领域权重。在 240B token 训练的 1.5B 模型上，五个基准平均提升 7.84 个百分点，GSM8K 提升 17.06 分、MATH 提升 9.00 分。
arXiv cs.LG6 天前
★ 3
新缩放定律：合成数据改写比例随算力上升
论文提出针对合成数据改写的缩放定律，用模型规模、训练 token 数、改写 token 占比与自然数据轮数预测损失，并把生成改写所耗算力计入成本。在算力受限设定下，最优改写比例随算力从 3e18 FLOPs 时的不足 10% 升至 1e22 FLOPs 时的 32%；据此外推训练的 220 亿参数…
arXiv cs.LG6 天前
★ 3
伯克利提出 Nestor 嵌套稀疏架构，预训练与持续学习优于 MoE
arXiv 论文提出 Nestor，用类似 MoE 的条件计算机制泛化注意力算子，使稀疏性可与 MoE 稀疏性层级嵌套。在同等算力与稀疏度下，Nestor 的语言模型预训练效果优于传统 MoE，且在长上下文适配与新领域持续预训练中遗忘更少。代码与检查点已在 GitHub 开源。
arXiv cs.LG6 天前
★ 3
arXiv 论文提出长上下文持续预训练缩放定律
研究团队建立经验加性幂律，将长上下文性能与模型规模、短上下文预训练与长上下文持续预训练（LCCP）的 token 预算关联起来。在五种模型规模、上百种预算配置上验证该定律可外推，并提出 Constant-Last4 训练观测协议，在 1.22B 模型约 100B LCCP token 上准确预测性…
arXiv NLP10 天前
★ 3
ECHO：把多 token 预测并入自回归目标
论文提出 Efficient Causal Self-Recursion（ECHO），让主干最后一层直接预测所有时间跨度，使监督落在生成下一 token 的参数上，并用动态深度采样降低深层训练成本。预训练阶段在推理与代码任务上以一半 MTP 开销取得增益，推理时模型可自任草稿模型，在开放式高熵生成…
arXiv NLP12 天前
★ 3
研究系统对比 NVFP4 低精度预训练配方
论文在中型模型规模上系统比较 NVFP4 训练配方，覆盖 8B 稠密模型与 30B-A3B MoE 模型、训练至 1T token。研究提出融合无偏梯度估计的最终配方，称是当前该规模下与 BF16 损失差距最小的 FP4 训练结果。消融显示选择性高精度层对大规模精度恢复是必要的。
arXiv NLP12 天前
★ 3
微软 AI 公布前沿预训练技术进展
微软 AI 团队发布文章介绍其在前沿模型预训练方面的技术路线与工程实践，涉及大规模训练基础设施、数据与算力扩展策略。此举显示微软正持续加码自研基础模型能力，减少对外部模型的依赖。
Hacker News – AI17 天前
★ 3
UltraBERT：突破 BERT 预训练极限的双向编码器
研究者提出 UltraBERT，通过为低和高掩码率分配独立 LM 头并限制蒸馏目标，首次在分类和检索任务上同时达到最优。GLUE 得分 91.0，BEIR 得分 47.7，并揭示编码器在数万亿 token 后饱和、低掩码率利于分类而高掩码率利于检索等发现。
arXiv NLP18 天前
★ 3
多模态数据混合的缩放定律：文本、视觉与音频
研究基于 MoE 架构开展 268 组实验（457M 至 8.3B 参数、最多 1500 亿 token），推导文本、视觉、音频三模态的数据混合缩放定律。发现音频偏好扩参数、文本视觉需均衡扩展，视觉音频数据重复超 2 倍收益甚微，且跨模态干扰高度不对称。
arXiv NLP18 天前
★ 3
首个三模态掩码扩散模型MDM发布，从零预训练文本图像音频
研究者提出首个从零预训练的三模态掩码扩散模型（MDM），覆盖文本、图文与音频文本数据。论文系统分析了多模态缩放定律、模态混合比例、噪声调度与批大小效应，并给出优化的推理采样默认参数。批大小分析还导出了基于随机微分方程（SDE）的新方法。
Apple Machine Learning Research19 天前
★ 3
双语预训练混合数据优于超参数调优
论文提出在数据受限的语言模型预训练中，混合高资源辅助语言的数据比激进超参数调优（如高权重衰减）更有效。混合数据通过可调混合比例扩展训练分布，提升低资源语言的泛化能力。
Apple Machine Learning Research20 天前
★ 3
研究：Priming 技术免重训改造 AI 模型架构
一项名为 Priming 的新方法可复用预训练 Transformer 权重，在不从头重训的前提下构建更高效的模型架构。其成本不到原始训练的 1%，吞吐量最高可达两倍，为模型架构改造提供了低成本路径。
Amazon Science Blog20 天前
★ 3
研究：用专家选择偏置缓解 MoE 数据不均衡
论文提出按类别条件设置专家选择偏置，将不同类别 token 优先路由到专门专家池，从而为数据稀缺的类别过度分配专家容量。在最高 106 亿参数模型上，该方法在多模态、低资源语言与代码任务上均取得提升，且保持标准 MoE 推理。
arXiv NLP20 天前
★ 3
ELR 提出无税循环语言模型，产出 Koi-4B
arXiv 论文提出 Elastic Latent Recurrence（ELR）训练方法，让循环（latent recurrent）语言模型在单次循环时不再落后于同规模非循环模型，从而消除「单循环税」。通过门控状态更新、混合循环深度与循环索引条件化三项设计，模型可随推理算力增加循环次数换取精度。…
arXiv NLP20 天前
★ 3
个人开发者用免费 TPU 训练出 Kisoku 1.6B 模型
开发者 Joseph Rodriguez 借助谷歌 TPU Research Cloud 的 TPU v4-32，从零预训练出 1.6B 参数的 Kisoku 模型，仅用约 0.5 万亿 token，在 10 项基准测试中与 Meta Llama 3.2 1B 打平，训练数据量少约 18 倍。模型…
Hacker News – LLM23 天前
★ 3
arXiv 论文：稀疏混合专家模型的弹性专家路由
论文针对稀疏混合专家模型静态 top-k 路由的脆弱边界问题，提出弹性专家路由（Elastic Expert Routing），从以 k 为中心的局部离散分布中随机采样活跃专家预算。在 OLMoE-1B-7B 与 Qwen3-30B-A3B 监督微调上分别提升 0.84 与 2.02 分，从头预训…
arXiv NLP23 天前
★ 3
链式 LMO 优化大语言模型：TensorChain 提出
论文提出链式线性最小化预言机（chained LMOs）框架，统一 Muon 衍生的多种矩阵归一化优化器，并指出许多链式方法在光滑凸目标上可能发散。基于线性联想记忆分析链式组合的优势，提出 TensorChain 优化器，在 Qwen3 0.6B 与 1.7B 预训练中平均 token 效率优于所…
arXiv cs.LG23 天前
★ 3
MoE 预训练专家耦合降低 All-to-All 通信开销
研究者发现 MoE 预训练早期路由器已学会以相关模式分配 token 给专家，据此提出相关专家放置与 token 重排两种方法，将更多 token-专家分配保留在本地 GPU。在 Megatron-LM 上，两种方法将 all-to-all 时间降低 1.16-2.63 倍，端到端步时最多降低 1…
arXiv NLP24 天前
★ 3
研究：最优优化器取决于批大小
论文挑战了优化器评估中单一批大小的基准测试惯例，指出Muon不存在跨训练设置一致的有原则缩放规则，且即使经过充分超参调优，语言模型预训练的最优优化器仍会随批大小变化。这提示优化器开发与评测需覆盖多种批大小。
arXiv cs.LG24 天前
★ 3
循环Transformer共享记忆的意外有效性
循环Transformer通过重复使用同一组层增加算力而不增加参数，但每次递归都写入独立KV缓存，导致显存随算力增长。论文提出让循环语言模型共享记忆：仅首次递归写入缓存，后续递归读取并保留短窗口。在1.5亿至10亿参数规模下，混合变体在五次递归时相对同规模标准Transformer将FineWeb…
arXiv cs.LG27 天前
★ 3
自适应批大小为何有助于LLM预训练：无界方差视角
论文从随机优化方差角度解释LLM预训练中增大批大小的有效性，指出常用的有界方差假设在实践中不成立。作者提出广义BG-a噪声模型，在L-光滑条件下推导出与增长指数相关的信息论下界与匹配上界，并据此设计自适应批调度器。在C4上预训练至多10亿参数的OLMo2模型时，该调度器在相同token预算下取得更…
arXiv cs.LG27 天前
★ 3
格式感知融合加速 FP4 预训练
论文提出格式感知融合方法，将量化生产者与尺度域、消费者布局协同设计，用于原生 MXFP、全局 NVFP 与 CTA 局部 NVFP。在 Llama-3 系列 8B 预训练中，最快路径达 37.9K tokens/s/GPU，MXFP 路线达 86.3% BF16 模型 FLOP 利用率。
arXiv cs.LG30 天前
★ 3
研究：预训练与中期训练让模型从奖励中学到什么
论文研究预训练与中训练如何提供使奖励适配有效的信息与计算，区分了在训练奖励上一致但泛化答案不同的机制。实验用 Qwen2.5 检查点验证分工：正确的源监督与首操作监督使序列模型成功率达 82.61%，远高于随机源对照的 44.15%。记忆回放可在奖励适配中保留检索能力，GSM8K 与 Hotpot…
arXiv cs.LG31 天前
★ 3
Acacia：在网页图上训练的图基础模型
论文提出图基础模型 Acacia，完全基于 Common Crawl 网页图从零训练，不依赖预训练 LLM。它无需额外训练即可支持任意特征维度与语义，覆盖节点分类、链接预测、节点聚类和图生成等任务，并具备上下文学习能力。该结果提供了图模型可像 LLM 一样从零涌现能力的证据。
arXiv cs.AI34 天前
★ 3
华为开源 openPangu-2.0 训练代码
华为正式开源盘古openPangu-2.0的预训练、SFT代码和后训练RL代码，模型相关组件已陆续上线开源平台。此举将大模型全流程训练代码对外开放，有助于开发者复现与二次开发，强化国产大模型开源生态。
36氪34 天前