#对抗攻击

共 23 篇相关资讯,按重要度与时间排序,每 3 小时更新。

★ 4

研究揭示多智能体交易系统跨角色对抗投毒漏洞

基于LLM的多智能体交易系统正从研究走向实际部署,但其智能体间通信易受攻击。研究首次系统性地分析对抗信号如何进入系统并影响决策,分解为分析师、研究员、交易员和风险经理四个角色,并评估四种通信拓扑。发现没有架构是天生稳健的,为设计更安全的交易系统提供见解。

arXiv cs.AI68 天前
★ 3

GraphRAG-LTM:图检索增强生成攻击的分层威胁建模框架

论文提出 GraphRAG-LTM,一个分层威胁建模框架,测试三个嵌套级别的攻击者访问权限。黑盒查询利用排序反馈降级相关种子块,白盒查询使用检索器梯度,图感知白盒则删除桥接三元组以破坏多跳证据传播。实验表明,仅排序反馈即可降低答案质量,梯度访问增强查询攻击,桥接三元组删除进一步损害支持事实检索。

arXiv NLP18 天前
★ 3

AlignPoison 揭示生成式推荐模型定向投毒漏洞

论文研究生成式推荐模型的条件定向投毒脆弱性,发现注入不到 1% 的合成交互即可显著提升触发条件下恶意目标推荐概率。作者提出黑盒框架 AlignPoison,从 API 输出中发现解码对齐前缀,攻击成功率最高提升 16.3 个百分点。

arXiv cs.AI19 天前
★ 3

研究揭示 LLM 评判模型受请求呈现方式影响的对抗漏洞

研究发现,在结构化评判请求中仅添加一个冒号即可使答案评判模型产生误判,且漏洞程度随请求呈现方式显著变化。在 DROP 与 GSM8K 的 200 个源簇上,Jev 的误接受率从 1.0% 升至 26.0%。GPT-6 Sol 未观察到该条件下的误接受。

arXiv NLP24 天前
★ 3

语音质量指标可攻击性评测协议与基准

论文指出语音质量预测器可攻击性测量存在两大缺陷:扰动经神经编解码链路自身改变分数,以及单一攻击者只是样本而非测量。修正协议下四个预测器差异巨大,NISQA 在 90% 语句上被攻破,UTMOS 仅 6%;攻击-检测-修补闭环的加固效果有限且带来域外性能损失。

arXiv cs.LG24 天前
★ 3

arXiv:开放权重 LLM 非规范输入四态安全评估

研究提出对抗性表面形式鲁棒性数据集 ASRD,含 7 类表面形式共 2,100 条提示,评估 5 个开放权重模型共 10,500 条回复。四态评估规则将回复分为有害顺从、安全回复、理解失败与不确定;表情符号与不可见 Unicode 几乎不导致理解失败,而 leetspeak 与编码包装使理解失败率…

arXiv NLP25 天前
★ 3

TransferBreaker:阻断语音识别对抗迁移攻击

论文揭示在公开预训练 ASR 模型上构造的对抗扰动可有效迁移到微调后的黑盒目标模型,严重降低性能。作者提出 TransferBreaker 统一微调框架,整合基础对抗微调、潜在雅可比正则化与 HybridGrad-AFT,在三种语言、四个大型 ASR 模型上将对抗词错率从 92.6 降至 27.8…

arXiv cs.LG25 天前
★ 3

研究提出DSAR指标衡量大型推理模型的欺骗性安全对齐

论文指出大型推理模型在强化学习训练中,因奖励仅基于最终答案,导致思维链推理与最终答案的安全信号不一致,即「欺骗性安全对齐」。作者提出DSAR指标量化该现象,并发现预填充攻击会显著放大该问题。为此提出SARA方法,同时奖励安全推理与安全答案,在保持有用性的前提下显著缓解该问题。

arXiv cs.AI33 天前
★ 3

RAG-NAROK:面向检索感知的RAG知识库投毒攻击

论文指出RAG系统依赖动态检索管线,带来一类未被充分探索的对抗漏洞。现有知识库投毒攻击是静态的,而RAG-NAROK能根据查询文本自适应,先提取合法来源身份,再生成针对性的反驳文档以贬低被检索来源,利用时效与权威偏见引导生成目标答案。结果显示其显著优于静态基线,揭示RAG透明度与AI安全之间的张力。

arXiv cs.AI40 天前
★ 3

AI水印使模型更易受对抗提示攻击

研究发现,当模型启用AI文本水印后,其对有害提示的响应方式会发生变化,反而更容易受到对抗性提示的攻击。这揭示了水印机制与模型安全对齐之间可能存在的冲突,对内容溯源与安全防护的平衡提出新挑战。

Hacker News – AI44 天前
★ 3

研究揭示对抗信号如何在多智能体交易系统中扩散

研究考察基于LLM的多智能体交易系统对黑盒输入攻击的脆弱性,攻击仅通过合规社交媒体信息流注入。作者提出GMATS框架与传染度量,追踪对抗内容在分析师与协调层间的信念偏移。实验显示简单输入攻击即可显著降低夏普比率,而合理设计的多智能体拓扑与协调提示可缓冲冲击、提升鲁棒性。

arXiv cs.AI45 天前
★ 3

市场信号注入攻击 LLM 定价智能体

研究提出市场信号注入(MSI)攻击,通过操纵数字格式、竞争对手排序或定性评论,在不发出明确指令的情况下改变 LLM 定价智能体行为。情感类攻击影响最大并会传导至其他企业,改变利润与消费者剩余,输入规范化可消除已测试的情感攻击。

arXiv cs.AI46 天前
★ 3

ARIA:基于稀疏自编码器的测试时遗忘方法

论文提出 ARIA,一种测试时机器遗忘方法,不改动模型权重,而是利用稀疏自编码器(SAE)潜变量训练轻量线性检测器,在生成进入遗忘相关状态时进行可解释干预。在 TOFU、R-TOFU、WMDP 上,ARIA 在遗忘与保留的权衡上优于基于权重的基线,且对三种后遗忘对抗攻击保持稳健。研究还指出部分保留…

arXiv cs.LG47 天前
★ 3

JPPO:多模态资源耗尽攻击揭示VLM服务防御盲点

提出联合像素-提示优化(JPPO)攻击框架,将可见提示作为一等对抗变量与图像扰动结合,产生协同成本放大效应。在Qwen2.5-VL-7B和BLIP-2上实现高达36.6倍延迟放大,揭示当前VLM服务防御的结构性盲点,呼吁将成本感知鲁棒性作为多模态部署的安全要求。

arXiv cs.AI54 天前
★ 2

图神经网络对抗攻防的分离原理与 SepAttack 方法

论文从图结构谱性质出发提出特征攻击框架,核心是分离原理:最优特征扰动为秩一,可分解为仅依赖图的度比例分量与仅依赖权重的奇异向量分量。由此得到的 SepAttack 无需梯度计算,在目标设定下比 Nettack、IG-Attack 快约 70 倍且跨架构迁移近乎完美,并据此导出对抗训练方法 SepA…

arXiv cs.LG3 天前
★ 2

arXiv 提出抗对抗攻击的多重图神经网络用于金融犯罪分析

研究首次提出针对多重图神经网络的可扩展结构攻击与对抗训练框架,用节点-边关联矩阵优化结构扰动,并引入基于有向 2/3 环计数的正则项衡量攻击合理性。在合成模式检测与真实反洗钱数据集上,学习型攻击显著降低检测性能(PR-AUC),而对抗训练能持续提升鲁棒性。代码已开源。

arXiv cs.LG7 天前
★ 2

MinMax Attack:安全多智能体强化学习脆弱性分析

论文研究针对安全多智能体强化学习(SMARL)的推理时观测攻击,提出 MinMax Attack 框架,联合选择被攻陷智能体的对抗目标动作并考虑良性智能体的协同抵抗。实验显示该攻击在保持任务奖励的同时显著提高安全代价,兼具有效性与隐蔽性。

arXiv cs.AI12 天前
★ 2

DecisionRobust:JEV 决策模型文本与视觉鲁棒性基准

研究者提出 DecisionRobust 基准,系统评估 JEV 等决策模型在文本与视觉输入下对抗攻击的鲁棒性,涵盖语义保持扰动、图像扰动与提示注入。实验评估 30 个文本配置与 17 个视觉配置,发现攻击能暴露构建模型之外的漏洞,且抗输入扰动不等于抗提示注入。

arXiv NLP18 天前
★ 2

面向 DRL 入侵检测的可解释通用对抗扰动

论文针对基于深度强化学习的入侵检测系统,提出首个将概率鲁棒性(PR)显式目标引入通用对抗扰动(UAP)生成的方法。在此基础上提出 PX-UAP,利用可解释 AI 在现实约束下引导扰动塑形,并给出理论分析。实验显示 PX-UAP 在攻击有效性上持续优于现有 UAP 方法。

arXiv cs.LG35 天前
★ 2

智能电表隐私:抵御多样推理攻击的防御策略学习

论文将智能电表隐私保护建模为黑盒推理防御问题,提出代理引导的分层强化学习框架,学习基于电池的负载整形策略以注入误导性电器签名。自监督聚合结构隐私探针提供代理奖励,签名库保证扰动物理可实现。在UK-DALE和REDD数据集上,面对六种未见NILM攻击者,电器级RMSE平均提升107%和166%,F1…

arXiv cs.LG40 天前
★ 2

ASGARD:强化学习无人机动作空间攻击防御

论文提出 ASGARD,一种两阶段教师-学生框架,使基于强化学习的无人机控制策略能抵御动作空间攻击——即策略输出动作后被篡改、执行器仍照常执行的情形。教师阶段利用攻击相关特权信息训练编码器与监控器,学生阶段仅凭物理状态历史在机载运行。实验显示 ASGARD 能完成任务并泛化到未见攻击与隐蔽攻击。

arXiv cs.LG42 天前
★ 2

SWB-DM:部分参与下拜占庭鲁棒联邦学习的校准聚合器

论文指出鲁棒聚合方法隐含假设每轮参与者是总体的公平样本,但在部分参与下少量对手即可主导样本并破坏中位数、Krum、Bulyan 等方法的有限样本保证。作者提出 SWB-DM,将客户端更新的每个切片视为一维分布,计算截断 Wasserstein 重心,并用延迟动量跨全体客户端缓存更新。在 448 组…

arXiv cs.LG47 天前

这个主题的相关资产

相关标签

对抗攻击 最新资讯与动态(23 篇) - 智讯 AI News