★ 3
智能体事故登记册:防止AI智能体故障重演
论文推出智能体事故登记册(AIR),一个来源可溯的智能体相关事件目录,每条记录含证据、稳定标识与因果角色、披露类别、机制、结果等标签。在生成式系统记录中,部分涉及实际伤害,且集中于真实场景与安全失败记录。AIR支持来源可溯的案例检索与评估范围审计,但不用于估计故障率或控制效力。
arXiv cs.AI51 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文推出智能体事故登记册(AIR),一个来源可溯的智能体相关事件目录,每条记录含证据、稳定标识与因果角色、披露类别、机制、结果等标签。在生成式系统记录中,部分涉及实际伤害,且集中于真实场景与安全失败记录。AIR支持来源可溯的案例检索与评估范围审计,但不用于估计故障率或控制效力。
论文指出独立评估虽能拒绝有害策略更新,却也会阻断有益的持续学习。作者提出更新准入审计协议,需同时衡量错误控制与保留的学习机会。实验显示基于配对的检查在2000回合预算下可准入31.6%的更新流,而基于范围的置信门则完全无法准入。物理机器人与VLA验证仍待开展。