★ 3
M³ 多 LLM 系统将多轮越狱建模为马尔可夫决策过程
研究提出 M³ 自动化红队框架，把多轮越狱形式化为有限时域马尔可夫决策过程，由攻击 LLM 与目标 LLM 交互，并通过状态 LLM 维护紧凑内部状态。在两个基准、六个目标模型上，M³ 的攻击成功率最高提升 53%（ASR@5），轻量攻击者也能取得 26% 与 34% 的提升，且风险随对话轮次上升…
arXiv cs.AI7 天前
#马尔可夫决策过程
共 7 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
AGAR：将LLM程序进化形式化为强化学习基底
论文提出AGAR，把LLM程序进化写成马尔可夫决策过程，动作是模型所条件的模块化前缀而非其输出程序。信用分配、价值估计、自适应探索与经验记忆可分别挂载，在19个任务上多数优于两个已发表基线。
arXiv cs.AI25 天前
★ 2
对抗线性 MDP 首个多项式时间最优遗憾算法提出
论文研究未知转移、对抗损失与 bandit 反馈的片段式线性马尔可夫决策过程，首次给出多项式时间且达到 √K 遗憾的算法。方法将对抗线性 MDP 归约为动作集为策略期望特征向量的对抗线性 bandit，并构造近似分离预言机处理动作集未知问题。该算法仅需聚合损失反馈，突破了此前仅表格情形可行的限制。
arXiv cs.LG10 天前
★ 2
论文提出 DMDP 框架稳定强化学习状态分布
论文提出基于差异的马尔可夫决策过程（DMDP），将策略作用于当前状态分布并以与目标分布的差异为目标，学习能稳定状态分布的策略。研究给出最优策略使目标分布渐近稳定的充分条件，并推导学习与估计误差对稳定性保证的影响。方法在 PPO 与 SAC 上实现，并在 HalfCheetah 任务上验证分布反馈的…
arXiv cs.LG11 天前
★ 2
MDP稀疏策略部署的贝尔曼认证舍入
论文研究在有限MDP中，当部署只允许少量完整状态级改动时，将连续行混合舍入为稀疏二值策略能保留多少折扣回报。方法从2d+2次贝尔曼求解推导可复用包络，支持舍入前的统一与候选特定保证。实验将认证覆盖率从48.2%提升至74.1%，并将中位界损比从402.3降至2.08。
arXiv cs.LG31 天前
★ 1
多链鲁棒平均奖励 MDP 的向量贝尔曼理论
论文为具有紧凑后动作矩形不确定性的有限模型建立向量贝尔曼理论，处理状态依赖的鲁棒平均奖励问题。通过增益优先、偏差次之的优化原则得到耦合的向量增益-偏差系统，并设计鲁棒近似移位 Halpern 规划算法，证明增益估计与贝尔曼位移收敛到最优增益向量。
arXiv cs.LG38 天前
★ 1
Windowed A-K-MDP：改进K-MDP抽象状态划分
论文指出原A-K-MDP算法依赖二分搜索选择离散化除数，可能跳过更优的抽象状态。作者提出Windowed A-K-MDP，在指定除数窗口内枚举所有可行划分并逐一评估，直至达到理想损失或候选耗尽。在33个K-MDP实例中，新方法在25个上取得改进、8个持平。
arXiv cs.AI48 天前