★ 3
智能体AI黑盒红队测试:分类驱动的自动化风险发现框架
论文提出面向智能体系统的黑盒红队测试框架,仅需基础系统描述即可评估多步智能体风险。该框架包含七域风险分类法、自动化SAGE-RT红队(每域生成120个对抗场景)以及基于LLM评审的人工验证评估。在CrewAI与AutoGen两种架构、四种基础模型上的测试显示,平均治理风险达56.25%,多智能体配…
arXiv cs.AI53 天前
共 4 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文提出面向智能体系统的黑盒红队测试框架,仅需基础系统描述即可评估多步智能体风险。该框架包含七域风险分类法、自动化SAGE-RT红队(每域生成120个对抗场景)以及基于LLM评审的人工验证评估。在CrewAI与AutoGen两种架构、四种基础模型上的测试显示,平均治理风险达56.25%,多智能体配…
该研究提出基于指令微调小语言模型的累积轮次风险评估框架,用于检测针对老年人的多轮金融诈骗。模型在资源受限环境下持续更新风险估计,Phi-4和LLaMA-3.2表现较优,支持设备端隐私保护。
论文提出一个框架,将结构化危害分析、组件级测试和概率系统建模相结合,以量化AI在关键国家基础设施等复杂系统中的影响。以英国RTGS系统为例,展示了对抗性输入如何改变系统韧性,增加银行倒闭风险。
论文研究荷兰多井地下水异常预测中的上下文感知选择性迁移学习(CASL),通过校准训练的凸混合组合无迁移与固定迁移模型。实验覆盖 457 口井,固定迁移会损害 18%–52% 的井,CASL 相比无迁移降低 RMSE 并部分挽救受损井。结果显示精度与风险之间存在权衡,而非单一方案占优。