★ 3
研究：代码大模型离线后训练的性能与崩溃风险
研究探讨代码生成大模型的强化学习后训练能否完全离线完成，即利用已有数据集而非在线采样。结果显示仅需数小时训练即可显著提升零样本代码生成能力，且离线 RL 在 0.5B 至 7B 参数模型上均有增益。但不同模型家族的提升幅度存在差异，并伴随性能坍缩风险。
arXiv cs.LG49 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究探讨代码生成大模型的强化学习后训练能否完全离线完成，即利用已有数据集而非在线采样。结果显示仅需数小时训练即可显著提升零样本代码生成能力，且离线 RL 在 0.5B 至 7B 参数模型上均有增益。但不同模型家族的提升幅度存在差异，并伴随性能坍缩风险。
论文提出 NTRL-Code 框架，仅用测试阶段的无标注噪声数据即可实现代码大模型的鲁棒自我进化。方法采用保守自去噪获取更干净的语义锚点，并基于抽象语法树进行结构聚合估计代理目标，再用混合奖励优化策略。在三个基准的字符、词、段落级扰动下均取得稳定提升。