NGU:让LLM强化学习永不放弃难题
论文指出LLM的RL训练存在马太效应:简单题提升大、难题提升小,原因是算力被浪费在简单题上。作者提出Never Give Up自适应采样方法,持续为同一问题生成样本直到答对,借助异步RL把算力重新分配给难题,在Deepscaler数学基准与Manufactoria编码任务上提升单位算力表现。
共 7 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文指出LLM的RL训练存在马太效应:简单题提升大、难题提升小,原因是算力被浪费在简单题上。作者提出Never Give Up自适应采样方法,持续为同一问题生成样本直到答对,借助异步RL把算力重新分配给难题,在Deepscaler数学基准与Manufactoria编码任务上提升单位算力表现。
arXiv 论文提出直接在粗网格上部署图神经网络的降阶模型,跳过全状态重建,用于参数化二维/三维受限圆柱流与不均匀加热腔。模型可泛化到未见工况并准确预测稀疏探针位置与积分量,训练时间与内存均优于细网格代理。配合频谱引导的自适应采样,最大误差降低一个数量级。
arXiv 新论文提出 Halve-Then-Greedy(HTG)算法,用于固定预算下的自适应实验,目标是最大化「推荐设计的平均表现超过目标」的后验证据概率。该方法结合初始均衡分配、逐次减半与后验贪心采样,并给出实例相关的有限预算指数界。作者证明在单优臂族上 HTG 的样本复杂度接近理论下界,模…
论文针对金属增材制造热建模中 PINN 依赖手工静态配点采样、泛化差的问题,通过经验风险最小化理论证明过程条件感知的自适应采样更利于泛化。作者提出两阶段框架:条件流匹配模型学习不同工艺条件下的高残差分布,再与领域先验基分布混合生成自适应配点。在数值基准上相对 L2 误差平均降低 62.1%。
论文提出 ACES 结构化采样框架,通过解耦覆盖与重要性提升隐式神经表示的训练效率,构建自适应空间划分并施加区域级重要性加权。理论分析表明自适应划分可降低梯度方差,实验显示其收敛更快、误差更低。
论文将多路径 LLM 推理形式化为无线通信中的分集合并问题,指出路径正确性的相关性会限制投票的有效样本量上限。基于此提出 Adaptive-K 规则,用四条路径试点选择 K 值,在数学、问答和自然语言理解任务上保留 96-103% 的 MV@K=32 准确率。
论文提出 3GAS-PINNs,通过结合均匀概率分布与由解空间梯度导出的高斯平滑概率分布,在保持全局约束的同时将配点集中到高梯度区域。该方法在强制 Burgers 方程、KdV 方程与非线性薛定谔方程三个基准问题上验证,相比基线 PINN 可将数值模拟精度最高提升 14 倍,更好捕捉激波与孤子等间…