CleanRM:用少量干净反馈校准噪声奖励建模
论文提出 CleanRM,针对偏好数据中样本级噪声问题,利用少量干净反馈通过最优传输校准每个样本的噪声比例,并用噪声校正代理损失训练奖励模型。理论上证明该目标对干净风险无偏,实验显示其优于现有去噪基线,并能提升下游 RLHF 对齐效果。
共 19 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文提出 CleanRM,针对偏好数据中样本级噪声问题,利用少量干净反馈通过最优传输校准每个样本的噪声比例,并用噪声校正代理损失训练奖励模型。理论上证明该目标对干净风险无偏,实验显示其优于现有去噪基线,并能提升下游 RLHF 对齐效果。
论文提出 PsyBer-Agent,一个心理学启发的推荐系统用户模拟器,通过 Psy-Engine 用三个演化潜状态建模疲劳、情感与偏好漂移。方法用非平衡 Gromov-Wasserstein 最优传输对齐真实日志轨迹与模拟潜状态轨迹,为轻量策略提供监督而无需微调大模型。同时发布 WebSim 与…
论文研究源分布与目标分布中仅部分子集相关时的最优传输问题,提出用两个神经网络参数化时间相关势函数与插值路径的动态神经最优传输框架,可在目标支撑集内学习终端分布。方法在正-未标注学习、非配对域翻译与轨迹推断任务上验证有效。
论文提出 OrderFlowDiT,一种条件扩散 Transformer,直接建模未归一化的买卖盘价量场,并引入非平衡最优传输(UOT)辅助损失。在 30 只美股、1950 个验证条件下,加入 UOT 使全场传输成本降低 45.8%、传输能量分数降低 26.1%,且每只股票均有改善。
论文提出基于蒸馏最优传输的表征对齐方法,仅需约100至500对配对样本即可对齐两个独立预训练的单模态编码器,未配对数据可大量使用。方法通过锚点相似度建立共享坐标系,用熵最优传输匹配点云并蒸馏为轻量编码器,在Flickr30k、MS-COCO和ChEBI-20上超越同预算基线。
论文提出以 Barron 能量替代传统动能的最优传输框架,用于衡量神经网络表示向量场的复杂度,定义概率测度空间上的新度量。研究给出扩散生成模型在 Barron 几何下的次优性下界,并探讨自适应特征学习对替代生成模型的收益。
研究提出 PXtal 框架,在信息不对称条件下学习对齐粉末 X 射线衍射(PXRD)与晶体结构表示。该方法使用非平衡最优传输(UOT)调整跨模态耦合,在六个测试集上优于基线,尤其在 PXRD 图案相似但晶体不同的情况下提升最大。
论文提出WRAP框架,基于双预算分布鲁棒优化,通过重加权与最优传输扰动应对市场非平稳性。推导一阶展开将超额损失分解为重加权与传输两部分,转化为可处理的有限维对抗攻击。在Heston与广义仿射扩散实验中,联合对抗训练在非平稳条件下收益最大。
论文针对 Gromov-Wasserstein 问题中固定惩罚松弛导致持续可行性缺口的问题,提出自适应 KL-BAPG 方法,结合固定惩罚预热与受保护的递增惩罚阶段。作者证明回溯有限终止、可行性缺口渐近消失,并给出最优迭代的 O(1/log N) 界与平稳累积点存在性。实验显示该方法在保持精度与目…
论文提出 FlashSinkhorn 2(FS2),针对低维点云上的平方欧氏代价,在单张 GPU 上求解大规模离散熵最优传输问题。方法采用粗粒度质心求解加块稀疏精修两阶段,配合 Morton 排序块与张量核融合执行。在单张 A100 上,FS2 于 2.5 小时内求解了 1.34 亿粒子宇宙学 N…
论文提出 BaryFM,用流匹配模型将边缘测度输运到 Wasserstein 单纯形上的任意重心,实现「通用重心近似」。训练后可通过常微分方程从任意重心采样。在域适应、泛化、贝叶斯后验聚合与算法公平性四类任务上验证,在 10 个域适应基准的 15 种方法中平均排名最优。
针对大语言模型评估成本高、分布偏移严重、黑盒模型难以获取似然的问题,论文提出OTROPE框架。该方法基于最优传输在语义空间做分布校正,无需行为策略建模或密度比估计,实现双重鲁棒式评估。实验显示其性能稳定优于基线,并能让弱评估器集成逼近甚至超越强评估器。
论文提出 Wasserstein-Tilted Flow Maps(WTF),用基于预训练漂移的最优传输正则项替代 KL 奖励倾斜,将奖励微调等价为流上的确定性最优控制问题。该框架是首个原生适配流映射的端到端微调方案,无需事后蒸馏即可在少步推理下保持奖励对齐。在 ImageNet-256 与文生图…
针对分子构象集合、单细胞组织测量等天然呈「分布之上的分布」结构的数据,研究提出黎曼 Wasserstein 熵流匹配(RWEFM)。该方法在黎曼流形的 Wasserstein 空间上训练神经向量场回归黎曼最优传输速度,并引入 GPU 高效的黎曼熵映射近似。实验表明其可在超球潜空间生成单细胞样本、在…
论文提出 TP-DATE 框架,以无模拟方式将 Gromov-Wasserstein 最优传输动态化,用于空间转录组的连续轨迹重建。作者通过路径作用量形式化静态与动态二次型最优传输并证明二者等价,还开发了 travelling-pair 流匹配。在合成与真实空间转录组数据上,该方法更好地保留空间结…
论文提出变分不可压缩最优传输(VIOT)算子,一种用于摊销式不可压缩密度传输的生成神经算子。系统由流函数/矢量势表示、正则化不可压缩传输目标与傅里叶神经算子骨干组成,可对新源-目标密度对前馈预测无散度速度场并生成完整传输轨迹。在2D与3D基准上每对秒级完成,相比逐实例优化基线约10^4倍在线加速,…
论文提出GeoTTER框架,通过图拉普拉斯平滑引入局部几何结构以缓解标签锯齿,并融合聚类引导代价与全局调整传输代价来纠正角度漂移。相比零样本方法与OTTER,中位提升分别达6.82%和2.13%。
论文提出贝叶斯镜像架构(BMA),一种自指生成框架,让感官抽象、元抽象与自潜在变量通过循环递归交互。研究用 2-Wasserstein 度量刻画自稳定性与混合一致性,并提出因果学习机制(CLR)判断环境是否含可学习因果结构。作者强调意识在此被定义为架构属性,而非优化目标或语义标签。
论文针对熵Gromov-Wasserstein问题提出平均镜像下降(AMD)算法,证明其对任意代价函数收敛,并证明固定步长的对偶梯度法同样对任意代价收敛。两种方法均考虑了实践中不可避免的非精确迭代。实验显示AMD与对偶梯度法在经典镜像下降失效的算例上仍能收敛。