★ 4
GHOST：长程智能体跨轮安全约束失效
研究揭示长程智能体在良性交互下会执行违反多轮前安全约束的动作，称为GHOST失效模式，在GPT-5.5上发生率约11.5%。理论上证明若残余违规风险下界不可求和，智能体几乎必然进入危险区。提出STAR-Guard双层防御，结合历史语义约束恢复与执行前审计，实验中未再出现GHOST事件。
arXiv cs.AI28 天前
#安全约束
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
LLM推荐系统安全约束微调
论文训练一个推荐LLM，基于大型视频流媒体服务的用户观看历史生成个性化推荐解释，要求解释忠实于所关联节目且严格无害。作者训练两个覆盖三项标准的LLM评判奖励模型，并提出约束GRPO方法。在真实测试集上，三项标准全通过率从0.649提升至0.956（自有评判）与0.677至0.931（独立评判），且…
arXiv cs.AI48 天前
★ 2
带时序逻辑规约的高效贝叶斯自适应强化学习
论文提出一种端到端基于模型的强化学习算法，在未知环境中针对线性时序逻辑（LTL）规约（如安全、可达性）高效合成策略。方法将 LTL 任务的极限确定性 Büchi 自动机与贝叶斯自适应马尔可夫决策过程同步，并提出贝叶斯自适应蒙特卡洛规划（BAMCP）实现近似贝叶斯最优策略合成。实验显示在属性满足与样…
arXiv cs.LG42 天前