arXiv cs.LG·49 天前★ 2

可认证安全筛选：离线强化学习的无分布保证

原文标题：Certified Safety Curation: Distribution-Free Guarantees for Safe Offline Reinforcement Learning

重要度 2/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

论文研究在仅能比较短片段、偶尔判断回合是否超预算的条件下，如何为安全离线强化学习提供保证。提出「先筛选后克隆」流程：用片段比较训练的状态价值函数为整条轨迹打分，再用 Learn-then-Test 校准在无分布 (α, δ) 界下认证筛选阈值。在 15 项 DSRL 任务中 11 项满足成本预算，仅比使用全标签真值安全子集少一项。

论文速读 · 四段结构cs.LG去论文速读 →

问题: 安全离线强化学习通常假设每个转移都有成本标签，但现实中只能比较短片段、偶尔判断回合是否超预算。
方法: 先筛选后克隆：用片段比较训练状态价值函数给整条轨迹打分，再用 Learn-then-Test 校准出无分布 (α, δ) 认证的筛选阈值，最后行为克隆。
结果: 15 项 DSRL 任务中 11 项满足成本预算，仅比克隆全标签真值安全子集少一项；未认证变体达 12 项。
影响: 让安全离线 RL 在只有弱监督信号时也能给出可认证的训练集筛选保证，降低对逐转移成本标注的依赖。