★ 3
8B小模型Little Dragon用RL训练生成GPU优化脚本，超越GPT-6 Astra等前沿大模型
论文提出「HOW TO TRAIN YOUR LITTLE DRAGON」训练方法，教一个80亿参数的小语言模型生成并改进GPU内核优化脚本，而非直接生成内核代码。研究基于TVM MetaSchedule构建了54,116个工作负载、108,594条训练样本，结合监督微调与带性能奖励的强化学习。最…
arXiv cs.LG17 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出「HOW TO TRAIN YOUR LITTLE DRAGON」训练方法，教一个80亿参数的小语言模型生成并改进GPU内核优化脚本，而非直接生成内核代码。研究基于TVM MetaSchedule构建了54,116个工作负载、108,594条训练样本，结合监督微调与带性能奖励的强化学习。最…