★ 3
研究：KAN网络强化学习样本效率提升40%
论文系统研究Kolmogorov-Arnold网络（KAN）在强化学习中的样本效率。在Feynman数据集与Gymnasium基准上的实验显示，使用KAN架构可减少40%样本达到相近性能，训练过程中相对性能提升最高达50%，且对奖励噪声具有鲁棒性。结果表明KAN架构有望实现更样本高效的强化学习。
arXiv cs.LG24 天前
#样本效率
共 8 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
CyberWorld：面向自主网络防御的世界模型框架
该论文提出 CyberWorld，一种 Dreamer 风格的世界模型框架，可从向量、图、文本和多模态表示中学习网络攻防的潜在动态。基于图的变体在 3.6k–15.8k 环境步内即超越基线，而无模型 PPO 需数百万步，显著提升样本效率。研究还发现图结构在拓扑相关攻击下更稳健，且随网络规模从 15…
arXiv cs.LG34 天前
★ 2
密度引导自举边界提升潜世界模型强化学习效率
论文提出密度引导自举边界机制，按轨迹可靠性自适应调整想象回报深度，含硬边界与软边界两种门控。在 Dreamer V3 中实例化并证明门控贝尔曼算子为严格压缩映射，连续控制与 Atari Pong 上样本效率优于固定视界基线。
arXiv cs.LG9 小时前
★ 2
单目标采集函数扩展用于多目标贝叶斯优化
该论文提出一种基于超体积变换的框架，将标准单目标采集函数直接扩展到多目标贝叶斯优化场景，并首次把对冲策略引入多目标优化。方法对现有贝叶斯优化流程改动极小，无需专门的多目标公式。在合成与真实多目标基准上，其性能与样本效率可媲美甚至超越更复杂的现有方法。
arXiv cs.LG34 天前
★ 2
多目标强化学习中后见重标记导致的偏好覆盖崩塌
论文发现将后见重标记扩展到偏好条件多目标强化学习常有害，在 36 个算法-环境设置中使 19 个性能下降最多达四个标准差。作者将这一失效模式命名为偏好覆盖崩塌，并用弃用偏好质量指标量化。提出的 her_mix 单参数凸组合可将 16 个受损设置恢复至基线，并将弃用偏好质量从 69% 降至 6%。
arXiv cs.LG39 天前
★ 2
优先经验回放中的组内自选择偏差校正
论文指出优先经验回放（PER）在随机环境中会扭曲同一状态-动作对下实际结果的分布，称之为「组内自选择」。作者将PER分解为组间分配与条件兄弟选择，并提出SAMPLE、AVG、MODEL三种固定缓冲区校正方法。在MinAtar的五个游戏中有四个缓解了均值保持奖励尾部下的性能退化。
arXiv cs.LG40 天前
★ 2
带时序逻辑规约的高效贝叶斯自适应强化学习
论文提出一种端到端基于模型的强化学习算法，在未知环境中针对线性时序逻辑（LTL）规约（如安全、可达性）高效合成策略。方法将 LTL 任务的极限确定性 Büchi 自动机与贝叶斯自适应马尔可夫决策过程同步，并提出贝叶斯自适应蒙特卡洛规划（BAMCP）实现近似贝叶斯最优策略合成。实验显示在属性满足与样…
arXiv cs.LG42 天前
★ 2
图式随机 Power-UCT 蒙特卡洛图搜索
针对树式 MCTS 在随机 MDP 中重复展开同一状态、浪费模拟的问题，论文提出 GS-Power-UCT，在相同规划深度共享状态、不同深度保留独立价值，适用于含环的一般随机 MDP。作者证明固定规划视野下根节点估计以 O(n^{-1/2}) 速率收敛，与树式方法相当但可跨共享状态复用样本。另提出…
arXiv cs.LG45 天前