★ 3
StepSafe:面向智能体安全的步骤级及时干预护栏
论文提出 ASPO 训练框架与 StepSafe 护栏,针对智能体系统安全的序列性,在每一步诊断动作风险并决定继续、询问或停止。方法通过前缀级阶段对齐与自适应反馈自蒸馏,结合违规分类与干预窗口数据,在五个智能体安全基准上取得开源护栏最优表现,4B 模型 Youden's J 达 53.0。
arXiv cs.AI17 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文提出 ASPO 训练框架与 StepSafe 护栏,针对智能体系统安全的序列性,在每一步诊断动作风险并决定继续、询问或停止。方法通过前缀级阶段对齐与自适应反馈自蒸馏,结合违规分类与干预窗口数据,在五个智能体安全基准上取得开源护栏最优表现,4B 模型 Youden's J 达 53.0。
论文提出VEPA框架,将智能体护栏表示为可执行符号规则的形式化策略,部署时由LLM根据反馈提出策略补丁,经确定性验证器校验后由证据感知授权层激活。在ASSEBench-Safety、ASSEBench-Security和ATBench上持续超越基线,并在混合流、损坏反馈等条件下保持优势。