QVAC Genesis III 开源 STEM 合成语料
原文标题：QVAC Genesis III: A Large-Scale, High-Quality Open Synthetic STEM Corpus for Efficient Language Model Pre-Training
重要度 3/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。
论文发布 QVAC Genesis III，一个 1914.3 亿 token、覆盖 19 个 STEM 领域的多域合成语料，面向边缘与端侧小模型预训练。其采用双生成策略，以弱学生模型的失败与成功信号进行教师蒸馏，并引入 LLM-as-a-parser 评估协议。1.7B 参数模型从头训练的对照实验显示，其在 ARC、GPQA Diamond、MMLU STEM 上均超越 Cosmopedia-v2 与 Cosmo-1B。
深读 · 结论先行AI 生成展开看要点与影响 ↓
QVAC Genesis III开源1914.3亿token STEM合成语料，1.7B模型三项基准超越Cosmopedia-v2。
- •语料规模1914.3亿token，覆盖19个STEM领域，含多难度层级与不同教学风格
- •双生成策略：以弱学生模型的失败转纠正解释、成功扩为选项级对比推理，实现教师蒸馏
- •引入LLM-as-a-parser评估协议，同时追踪准确率与答案有效性
- •1.7B参数从头训练对照实验：ARC、GPQA Diamond、MMLU STEM均超Cosmopedia-v2与Cosmo-1B
为什么重要：面向边缘与端侧小模型的预训练数据缺口，开源STEM合成语料为token预算受限场景提供高每token学习价值的选项。
以上深读由 AI 依据标题/摘要/正文节选生成，仅供参考；事实以原文为准。
AI 处理过程展开/收起
相关推荐
DeepSeek 重磅开源 Agent 底座架构
AI 摘要DeepSeek 开源一套面向 Agent 的底座架构，据称 AI 已能自行定位 Bug 并提交 PR。该开源动作指向智能体工程化基础设施，可能影响 Agent 开发范式。
Mistral 开源万亿参数模型权重，主攻网络安全
AI 摘要Mistral 发布其万亿参数模型的权重，主打网络安全场景，称开放权重能让组织获得闭源模型无法提供的防御控制权。这是欧洲大模型厂商在开源路线上的又一次重要动作。
Mistral 开源 Mistral Large 4（Le Chonk）权重
AI 摘要Mistral 宣布以开放权重形式发布 Mistral Large 4，代号 Le Chonk。该消息在 Hacker News 引发 410 分热度与近百条讨论，标志 Mistral 继续坚持开源路线。
港科CMU联手岩山科技开源新模型，KV Cache砍99%吞吐提升6倍
AI 摘要香港科技大学、CMU与岩山科技联合开源新模型，通过将KV Cache压缩99%，实现单卡512路长推理并发、吞吐提升6倍。该成果显著降低长上下文推理的显存与成本压力。