★ 3
RGR：表征几何正则化缓解LLM自我改进能力退化
论文发现On-Policy Self-distillation在提升整体性能的同时会逐步退化已获得能力，伴随隐表征几何恶化。作者提出表征几何正则化RGR，通过增强簇内紧凑与簇间分离保持表征几何，可无缝集成到现有OPSD方法中，缓解能力退化并保留能力提升。
arXiv cs.AI21 天前
#LLM训练
共 9 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
Clean优化器：线性内存实现二阶LLM训练
研究者提出Clean优化器，利用随机Nyström方法近似SOAP中的左右预条件子，将优化器内存复杂度从模型维度的二次方降至线性。其低精度变体Q-Clean在预训练LLaMA-1.3B时比Muon减少超50%优化器内存，且以比AdamW更小的状态占用在26%更短墙钟时间内达到同等性能。该方法还首次…
arXiv cs.LG27 天前
★ 3
EPIG-Tree：梯度高效强化学习的计算最优分支
论文将树状 rollout 构建视为策略梯度估计的计算分配问题，提出 EPIG-Tree 评分，主张分支应放在能最大程度降低策略梯度不确定性的位置，而非仅凭策略不确定处。方法在克隆状态控制中降低梯度 MSE，在 13 个连续控制环境中全部胜出，并在多轮 Wordle 在线任务中取得 0.850 最…
arXiv cs.LG45 天前
★ 3
NGU：让LLM强化学习永不放弃难题
论文指出LLM的RL训练存在马太效应：简单题提升大、难题提升小，原因是算力被浪费在简单题上。作者提出Never Give Up自适应采样方法，持续为同一问题生成样本直到答对，借助异步RL把算力重新分配给难题，在Deepscaler数学基准与Manufactoria编码任务上提升单位算力表现。
arXiv cs.LG48 天前
★ 3
MInTRL：离策略干预增强在线强化学习
论文提出最小干预强化学习 MInTRL，在在线策略 rollout 中通过稀疏局部干预扩展探索前沿，并用序列级优势回归目标避免重要性采样。在数学与代码基准上持续优于在线与离策略基线，性能在中等干预强度时达到峰值。
arXiv cs.LG49 天前
★ 3
世界时间计算：用可验证代码世界模型训练LLM
论文提出“世界时间计算”，将领域动态写成代码模板并实例化为大量可执行、可验证的世界模型，从而廉价制造精确标注的轨迹用于微调 LLM。实验显示该方法能提升对未训练过世界的泛化能力，在 0.5B 模型上提升 29 分，且标签精确性（而非任务多样性）是增益主因。增益随推理步数增长、模型规模增大而饱和，像…
arXiv cs.LG53 天前
★ 3
SFT究竟该学哪些Token？数学推理的Token裁剪视角
论文指出SFT对所有目标Token施加统一交叉熵损失，会过度锐化已掌握Token并放大低置信Token的学习压力。作者提出Trimmed Logit-Gap SFT（TrimSFT），依据金标Token与最强竞争者的logit差距进行Token级重加权，裁剪两端极端、聚焦中间区域，无需参考模型或额…
arXiv cs.AI53 天前
★ 2
进化策略异步训练在长程智能体任务中近乎零成本
一篇 arXiv 论文提出有界陈旧度异步进化策略（bounded-staleness asynchronous ES），用于 LLM 长程智能体后训练。在 Endless Terminals 基准上以 Qwen2.5-7B-Instruct 测试，自然异步 Async-1 的留出成功率 25.9%…
arXiv cs.AI27 天前
★ 2
AI生成数据异常下的数据集临界性
研究探讨未来LLM训练数据中大量包含AI生成内容的影响，将AI生成数据视为与主数据点关联的异常，分析随机数据集的分解与欠采样特性。通过冗余图与迭代技术，证明强相异分解最小规模存在相变现象：异常数量低于阈值时由主数据决定，超过阈值后由异常主导。
arXiv cs.LG48 天前