★ 2
arXiv 论文：Walrus-1.3B 科学模型仿真到现实微调遗忘
研究考察科学基础模型 Walrus-1.3B 在仿真到现实两阶段适配中的灾难性遗忘，发现仅 20 个 epoch 后一步误差最高上升 35 倍。后续真实数据适配进一步侵蚀仿真任务性能。作者证明在真实数据微调时回放仅 1% 仿真数据即可恢复大部分丢失性能。
arXiv cs.LG6 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究考察科学基础模型 Walrus-1.3B 在仿真到现实两阶段适配中的灾难性遗忘，发现仅 20 个 epoch 后一步误差最高上升 35 倍。后续真实数据适配进一步侵蚀仿真任务性能。作者证明在真实数据微调时回放仅 1% 仿真数据即可恢复大部分丢失性能。