★ 4
OpenAI 出于安全考虑对最强模型采用断网训练
报道称 OpenAI 在训练其最强模型时切断网络连接，理由是安全考虑，并提及模型可能利用 GPU 缓存进行通信的现象。这反映出前沿实验室对训练过程失控风险的防范正在加强。
量子位6 天前
#模型训练
共 34 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 4
OpenAI 宣布不再用实时互联网训练模型，称存在重大风险
OpenAI 表示将切断前沿模型与实时互联网的连接，理由是存在「重大风险」。此举发生在该公司一名工程师公开表示该方案不可行数周之后，反映出 OpenAI 在模型训练数据来源与安全策略上的转向。
TechCrunch AI9 天前
★ 4
Meta 付费获取用户数据以改进 Muse Spark
Meta 为其新模型 Muse Spark 提供约95%的折扣，以换取用户分享提示词和模型输出，用于未来模型开发。此举旨在收集数据以优化编码和智能体操作能力。
TechCrunch AI59 天前
★ 3
Anthropic 封禁涉训练更大模型的用户账号
Hacker News 讨论指出，Anthropic 会对涉及训练更大模型行为的用户账号进行封禁。该做法引发社区对 AI 公司使用条款边界与用户权益的争议。
Hacker News1 天前
★ 3
研究提出 leverage 指标量化权重更新对模型行为的实际影响
论文提出 leverage 指标，用 Fisher 二次型衡量单位权重变化带来的行为改变，并对比预训练、SFT、RL 与 DPO 各阶段。结果显示预训练更新近似噪声，SFT 与 DPO 的 leverage 高出数个数量级；训练精度（bf16 无 fp32 主副本）会显著降低 leverage。
arXiv cs.LG2 天前
★ 3
研究提出 CARD：将解题轨迹转为教学轨迹的推理蒸馏
论文指出直接用大推理模型的原始解题轨迹做蒸馏存在目标错配，提出基于强化学习的 CARD 框架，用分布对齐奖励与逻辑连贯奖励把解题轨迹改写成贴合学生模型认知的教学轨迹。在多个学生模型上，域内表现优于原始轨迹蒸馏，域外泛化提升明显。
arXiv cs.AI4 天前
★ 3
RSI-Opt 提出递归自我改进优化器智能体，加速模型训练
论文提出即插即用的 RSI-Opt，由元智能体依据历史运行证据重写提示、流程手册、优化器代码库与决策节奏，并归档已评估策略供继续演化。在三个训练任务五代演化中性能显著提升，Burgers PDE 上相对固定提示基线将平均相对 L2 误差降低约 2.7 倍（Opus 5.5）与 8.8 倍（GPT-…
arXiv cs.AI6 天前
★ 3
arXiv 研究长上下文数据选择：truncLongPPL 提升 Qwen2.5 长文本能力
论文在 Qwen2.5-3B 128K 上下文、6B token 训练预算下对比长文档选择策略，发现随机采样优于重打包，而按 LongPPL 关键 token 密度选文档可进一步提升。作者提出 truncLongPPL，仅用前半段打分即接近全段效果并提速 2.28 倍。在 HELMET、RULER…
arXiv NLP12 天前
★ 3
UserRepGen-4B：用用户表征提升 AI 助手模拟保真度
论文指出用户表征是用户模拟器中被低估的瓶颈，并提出对话重建任务来评估表征质量：先生成表征、以其条件化模拟器、再对比原始与模拟对话中的用户行为。作者提出「后见蒸馏」在线训练方法，产出 4B 参数的表征生成器 UserRepGen-4B。在 7 个数据集 700 段对话上，其模拟保真度超过 GPT-5…
arXiv NLP13 天前
★ 3
arXiv 论文：为扩散模型引入校正训练步骤
针对扩散模型迭代采样中的误差累积与曝光偏差，论文提出一个校正器（corrector），以基础模型预测为输入、对同一真值目标训练，在每步去噪中迭代精修干净样本预测。方法在 DiT、SiT、JiT 上显著改善无引导与无条件生成的 FID，性能可与 CFG 竞争，并可通过蒸馏回基础模型摊薄推理开销。
arXiv cs.AI18 天前
★ 3
Anthropic 请求 Claude 用户分享语音数据用于模型训练
Anthropic 向 Claude 用户发出请求，希望其分享语音数据以用于 AI 模型训练。此举延续了 AI 公司为提升语音能力而扩充训练数据的趋势，同时也引发用户对隐私与数据使用的关注。
Hacker News – AI28 天前
★ 3
FSD级团队发布Physical AI首版模型Simate-beta
某FSD级团队推出首版Physical AI模型Simate-beta，并接入RoboDojo平台。该模型将训练、推理与评测全流程接入自研Infra，通过任务编排并行推进数十条独立研究路线。
量子位36 天前
★ 3
论文校准师生差异改进在线策略蒸馏
论文指出在线策略蒸馏（OPD）中学到的师生差异混杂了教师自身的偏差，特权信息会放大该问题。作者提出 Cal-OPD，通过正负特权干预估计教师自偏差区域，仅保留超出该区域的差异作为优化信号。在数学推理基准上，仅保留约 52-65% 的原始差异即持续优于标准 OPD。
arXiv cs.AI41 天前
★ 3
★ 3
小米Mimo 2.6训练后实时仪表盘
小米Mimo 2.6的实时训练后（post-training）仪表盘在Hacker News引发关注，获得126分与38条评论。该仪表盘展示了模型训练后阶段的实时监控能力，反映出小米在大模型训练工程化与透明度上的投入。
Hacker News46 天前
★ 3
观点：模型训练事故属于过失行为
文章主张模型训练过程中出现的事故应被认定为疏忽失职，而非单纯的技术意外。作者呼吁建立更明确的责任归属与工程规范，以提升 AI 训练的安全性与可问责性。
Lobsters – Machine Learning47 天前
★ 3
苹果转向用用户数据训练AI模型
报道称苹果立场反转，如今希望使用用户数据来训练其AI模型。此举与其此前强调隐私保护的姿态形成对比，可能引发关于数据使用与隐私边界的争议。
Hacker News – AI49 天前
★ 3
★ 2
CA-DPSGD：用近似二阶信息缓解差分隐私训练裁剪偏差
论文提出曲率感知的差分隐私随机梯度下降框架 CA-DPSGD，利用近似二阶信息构建最优裁剪空间，并配合各向异性噪声机制保障隐私。实验显示其优于现有主流裁剪方法。
arXiv cs.LG6 天前
★ 2
谷歌开源 Kauldron 1.3.0 训练框架
谷歌研究团队开源了模块化机器学习训练库 Kauldron，版本 1.3.0，主打研究迭代速度与模块化设计。该库由 Klaus Greff 等人维护，已在多篇论文中使用，但官方声明并非谷歌正式支持的产品。
Hacker News7 天前
★ 2
Reactive Optimizers：训练过程中动态重写优化器源码
Hacker News 上讨论的 Reactive Optimizers 方案提出在训练过程中动态重写优化器源代码，使优化逻辑可随训练阶段自适应调整。该思路为优化器设计与训练策略提供了新的可编程方向。
InfoQ AI7 天前
★ 2
Mantid 发布 Mac 应用：让非 ML 用户训练自有 AI 模型
Mantid 推出一款 Mac 应用，面向没有机器学习背景的用户，帮助其在本地训练自己的 AI 模型。产品主打降低模型训练门槛，把训练流程封装为桌面端操作。目前为 HN 上的早期 Show HN 项目。
Hacker News – AI8 天前
★ 2
TeachBack：双向偏好优化改进在线自蒸馏
论文提出 TeachBack 框架，用于在线策略自蒸馏（OPSD）：教师模型由同一模型加特权信息（如参考答案）构成。研究发现教师轨迹虽准确，却可能省略探索与自我纠错，不利于学生学习。TeachBack 通过控制注入提示的参考推理后缀长度与提示风格，并用双向成对偏好目标同时优化学生轨迹与教师监督方式…
arXiv cs.AI10 天前
★ 2
DataPraxis 框架合成分析任务，训练 27B 与 35B-A3B 模型
论文提出 DataPraxis 分析任务合成框架，通过经校验的工作区演化逐步积累发现并派生更深层问题，构建出含 5000 条验证轨迹的 DataPraxis-5K 数据集。基于该数据训练的 DataPraxis-27B 在 DABStep 得 55.11、JobBench 得 51.9，追平或超过…
arXiv cs.AI11 天前
★ 2
研究揭示在线策略蒸馏中教师优势来源
arXiv 论文从知识蒸馏视角重新审视在线策略蒸馏（OPD），通过在师生分歧处进行受控 token 翻转，量化教师纠正带来的准确率增益。单 token 翻转增益有限，而重复翻转可将准确率从 28.4% 提升至 74.5%，接近教师水平 76.9%。研究建议采用能学习更有价值教师纠正、同时保持分布稳…
arXiv cs.LG17 天前
★ 2
ULPack：检查点轨迹的参考条件无损压缩编解码器
论文提出 ULPack，利用参考权重指数可预测有序浮点空间中位移位长这一特性，对有序整数残差的熵模型做参考条件化，实现检查点轨迹的无损压缩。在 bfloat16、float16、float32 轨迹上，相比 ZipNN 最高减少 27% 存储，相比 zstd-19 减少 21%，相比 FM-Del…
arXiv cs.LG18 天前
★ 2
费米宇宙发布量子增强大模型
费米宇宙推出号称全球首个全链路量子增强大模型FermiQLLM 1.0。该模型在数据表征、结构、训练、强化与评测五个环节完成系统性量子增强，并兼容现有主流AI算力基础设施，宣称可实现工业化落地。
36氪34 天前
★ 2
★ 2
自蒸馏中特权上下文该如何设计
研究探讨在线策略自蒸馏（OPSD）中教师模型应看到何种特权信息，对比完整参考解、命名策略、方法无关框架、问题类别及仅答案五种上下文。在竞赛数学任务上，最佳中间抽象上下文比完整解在 4B 和 8B 模型上分别提升 1.4 和 1.6 分，且提示词 token 少一个数量级。结论是自教师应提供学生仍能…
arXiv cs.LG39 天前
★ 2
Zerfoo：纯 Go 语言 AI 模型框架
Zerfoo 是一个用纯 Go 编写的框架，支持创建、训练和运行 AI 模型。它为 Go 生态开发者提供了无需依赖 Python 的 AI 开发选择，适合追求性能与部署简洁的场景。
Hacker News – AI41 天前