★ 3
QVAC Genesis III 开源 STEM 合成语料
论文发布 QVAC Genesis III，一个 1914.3 亿 token、覆盖 19 个 STEM 领域的多域合成语料，面向边缘与端侧小模型预训练。其采用双生成策略，以弱学生模型的失败与成功信号进行教师蒸馏，并引入 LLM-as-a-parser 评估协议。1.7B 参数模型从头训练的对照实…
arXiv cs.AI45 天前
#STEM
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文发布 QVAC Genesis III，一个 1914.3 亿 token、覆盖 19 个 STEM 领域的多域合成语料，面向边缘与端侧小模型预训练。其采用双生成策略，以弱学生模型的失败与成功信号进行教师蒸馏，并引入 LLM-as-a-parser 评估协议。1.7B 参数模型从头训练的对照实…