★ 4
AI 评审训练 AI 评审：科学判断坍缩与缓解
论文研究 AI 同行评审的递归反馈：以 Llama 3.1 8B 为起点，用 ICLR 官方评审微调后，再用官方与模型生成评审的混合数据训练后继模型。发现引入合成评审会压缩评分分布、降低语义多样性，称之为「科学判断坍缩」。作者提出开源系统 TrustReviewer，通过训练期数据筛选与测试期激活…
arXiv cs.LG42 天前
#模型坍缩
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
arXiv 论文揭示偏好优化中的共模偏移与词表坍缩
研究发现偏好优化可在所有排序指标改善的同时积累隐藏的共模偏移，该偏移投影到输出层形成词表井，使单一 token 主导解码并导致生成坍缩。该现象在 17 个基座模型谱系中的 14 个出现，且教科书式 DPO 与 SimPO 中已存在。作者提出表示层预警信号，可在生成坍缩前发出提示。
arXiv NLP11 天前
★ 3
研究：代码大模型离线后训练的性能与崩溃风险
研究探讨代码生成大模型的强化学习后训练能否完全离线完成，即利用已有数据集而非在线采样。结果显示仅需数小时训练即可显著提升零样本代码生成能力，且离线 RL 在 0.5B 至 7B 参数模型上均有增益。但不同模型家族的提升幅度存在差异，并伴随性能坍缩风险。
arXiv cs.LG49 天前
这个主题的相关资产
相关公司Meta AI1