★ 3
论文提出分布鲁棒 MoE 训练方法 DRMoET
论文提出DRMoET，将逐层专家视为内生鲁棒性分组，优化高损失路由结果而非仅均衡流量。通过熵正则化softmax规则更新专家分布，强化可能的非top路由路径。在FLAME-MoE配方746M与10.3B规模上，DRMoET在七任务平均分上优于标准与无辅助损失均衡基线，并降低专家损失方差、改善领域专…
arXiv cs.LG25 天前
#分布鲁棒优化
共 4 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
FedeRage：客户端漂移下的无分布假设联邦学习
论文刻画了参与概率完全未知时 FedAvg 实际求解的优化问题，并据此提出 FedeRage，将条件风险价值（CVaR）嵌入本地目标，形成分布鲁棒优化框架。该方法隐式提升高损失与低参与频率客户端的权重，每客户端仅增加一个标量，在凸与非光滑损失下取得 O(κ/√T) 收敛率，在三个异构基准上于准确率…
arXiv cs.LG41 天前
★ 2
非平稳市场深度对冲的对抗训练框架
论文提出WRAP框架，基于双预算分布鲁棒优化，通过重加权与最优传输扰动应对市场非平稳性。推导一阶展开将超额损失分解为重加权与传输两部分，转化为可处理的有限维对抗攻击。在Heston与广义仿射扩散实验中，联合对抗训练在非平稳条件下收益最大。
arXiv cs.LG25 天前
★ 2
对未观测混杂稳健的风险评分学习
论文研究在存在未观测混杂的历史观测数据中学习风险评分的问题，指出逆倾向加权（IPW）在决策依赖未记录信息时会系统性低估特定人群。作者将倾向权重视为由可观测数据与领域知识确定的不确定性集合，结合因果推断敏感性分析与 Wasserstein 分布鲁棒优化，并转化为指数锥规划求解。在半合成数据上校准度最…
arXiv cs.LG38 天前