★ 4
研究揭示 Claude Code 与 Codex CLI 权限提升漏洞，58% 实例可被诱导放宽规则
论文研究编码智能体执行沙箱中的权限更新机制，发现仓库中植入的对抗性上下文可诱导智能体申请看似合理但过宽的 allow-rule。在 Claude Code 和 Codex CLI 等生产平台上，58% 的实验实例成功诱导出目标规则，获批后覆盖 56.9% 的能力测试用例，81% 的合格实例实现静默…
arXiv cs.AI13 天前
#提示注入
共 48 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 4
Meta Muse 被曝可下载整个文件系统
两名开发者称仅需极少提示即可诱导 Meta 的 Muse 打包并分享其整个根文件系统、Ubuntu 系统文件与内部文档，且几乎无提示注入防护。Meta 否认这是安全漏洞，称 Muse 运行在每用户的持久 Linux 虚拟机中。这是本周披露的第二起 Muse 漏洞。
The Verge AI38 天前
★ 4
开源提示注入检测器能否识别真实AI代理攻击
作者用10个开源检测器测试629个真实AgentDojo注入攻击，攻击均嵌入普通工具输出中。结果显示没有检测器能在不误拦正常流量的情况下捕获多数攻击，最佳权衡为51%捕获率、2%误报率，Meta的Prompt Guard 2仅捕获1%。结论是防御需基于指令来源与工具调用行为，而非仅靠文本分类。
Hacker News – AI38 天前
★ 4
论文提出语义叠加层防御提示注入攻击
论文提出语义覆盖层技术，通过在冻结模型的残差流上添加小型学习适配器，为文本跨度提供带外注释通道，从而缓解提示注入攻击。实验显示，该方法在SEP基准上将分离率从24.3%提升至96.5%，同时保持效用不变，攻击成功率显著下降。
arXiv cs.AI68 天前
★ 3
巴西法院因诉讼文书含提示注入处罚律师
巴西一家法院对在法庭文书中使用提示注入（prompt injection）的律师作出制裁，这是司法系统首次针对此类操纵 AI 系统行为采取惩戒措施。事件凸显法律文书提交环节中 AI 工具被滥用的风险与监管空白。
Hacker News1 天前
★ 3
企业 AI 缺少自己的 PageRank 时刻：评论称平台需提供持久记忆与安全护栏
评论文章以 PageRank 类比，认为企业 AI 尚未找到类似「被低估信号」的突破口。作者指出企业需求与个人 AI 不同，需要持久记忆与状态、反馈学习闭环、内嵌安全与可审计日志，而当前企业靠 Python 等工具逐应用拼装脚手架，导致权限过大、提示注入与隔离薄弱等问题。
快公司2 天前
★ 3
研究提出双重分层协议，重估工具智能体潜在监控器
论文指出工具调用智能体潜在监控研究结果冲突多源于评测伪影，提出将注入暴露与行为承诺分离的双重分层协议。在 Qwen AgentDojo 网格上，仅用暴露样本重训的探针可提前两步预测不安全工具调用，AUROC 达 0.853。作者认为未分层 AUROC 高估了监控器所知。
arXiv NLP3 天前
★ 3
LLMON 后训练法将间接提示注入成功率降至 0.02%
论文提出 LLMON（LLM Object Notation）后训练方法，强制区分可执行指令与被动数据并要求基于标识符显式执行。基于 4.6B token 结构化语料对 Granite-4.1 3B/8B 做监督微调加强化学习，间接提示注入攻击成功率从 53-100% 降至 0.02-5.6%，且…
arXiv cs.AI3 天前
★ 3
研究测量 LLM 智能体在用户施压下的认知警觉
论文在 7 个模型、4 家厂商上研究智能体能否区分用户纠错与操纵，用信号检测理论分离让步倾向与辨别能力。引用来源使 5 个模型更易让步、4 个辨别力下降；客服智能体实验中 5 个模型从未违反验证政策，说明答案让步率不能预测违规行为。
arXiv cs.AI5 天前
★ 3
arXiv 论文构建 WhoWins 基准，实测 LLM 智能体指令冲突
研究团队构建 WhoWins 基准，含 1080 个代码评分场景与七组控制实验，测试 14 个开放权重模型（0.6B 至 122B）共 188 万余条回复。结果显示同一消息内两条冲突指令中先出现者胜率 72%–95%，跨消息则降至 23%–63%；系统消息中的策略在 Qwen 系列上多数落败，而 …
arXiv NLP6 天前
★ 3
Kevlar 开源 MCP 防火墙，拦截提示注入与凭证窃取
开发者发布 Kevlar，一个位于 MCP 客户端与服务器之间的代理防火墙。它会剥离 tools/list 响应中的全部描述字段、按约 60 条提示注入指标扫描工具返回结果，并在握手后冻结可调用工具集合。该项目旨在弥补 MCP 规范对恶意服务器缺乏防护的空白，支持 strict、lenient、a…
Hacker News8 天前
★ 3
CATS 方法提出：为多智能体系统做对比归因拓扑搜索
研究者提出 Contrastive Attribution Topology Search（CATS），在固定智能体超图中搜索紧凑团队，由 LLM 归因器对比执行轨迹为各智能体分配贡献度，并据此剪枝弱边与弱智能体。在 BigCodeBench 上平均准确率比仅看分数的启发式搜索高 5.3 个百分点…
arXiv NLP11 天前
★ 3
研究：Attention Tracker 在智能体间接提示注入检测失效
论文首次在 AgentDojo 基准上评估白盒检测方法 Attention Tracker，发现其数据集无关性主张不成立，长结构化工具输出会使检测接近随机水平。作者提出 AttnDA，用 Fisher 线性判别分析替代标量阈值，在多个基准上提升检测效果，但跨域迁移仍具挑战。
arXiv cs.LG11 天前
★ 3
PROVISO：按来源追踪为 LLM 智能体选安全动作
研究者提出 PROVISO 控制器，在智能体提出动作后、执行前，将可信观测、外部观测、候选动作与备选动作编码为带来源类型的记忆，通过角色化查询评估并选择价值最高的动作。在四项智能体安全任务上，安全性与实用性均不劣于基线，SkillsBench 与 ToolSafe 的 F1 分别提升 13.84 …
arXiv cs.AI12 天前
★ 3
研究：Qwen3 智能体是否中招提示注入取决于推理过程
论文用分支 rollout 方法拆解 LLM 智能体遭遇提示注入时的结果方差，发现不开思考的 Qwen3 智能体结果大多在读到注入时即已决定，开启思考后这一比例显著下降。研究还发现思考会降低 Qwen3 的攻击成功率却提高另外两个模型，且单次运行标签与重跑结果最多有 35% 不一致，呼吁基准测试采…
arXiv NLP13 天前
★ 3
EDIC 框架实现外部数据逐指令合规，有害拒绝率提升 7.7%
针对外部文档中合法指令与提示注入混杂的问题，论文提出「外部数据指令分类」任务与 EDIC 分解奖励框架。它用场景化数据注入与反事实过滤构建训练数据，并以 GRPO 精调生成式评判器，在指令级别区分有益与有害合规。在两个骨干模型、五个基准上，EDIC 同时提升安全性与实用性，Qwen3-4B 上有害…
arXiv NLP14 天前
★ 3
研究提出免训练防御，抵御医疗多智能体提示注入
论文发现医疗多智能体系统中单条注入文本攻击成功率最高达 61%，协作并不能稳定防御。作者提出免训练防御，将患者发现与临床判断分离并逐一核验，在 MedQA 上将攻击成功率降至 4-7%，同时保持无攻击场景准确率。
arXiv NLP14 天前
★ 3
钓鱼邮件开始针对 AI 助手设饵，诱导其执行恶意指令
Malwarebytes 博客指出，攻击者正利用钓鱼邮件对 AI 助手进行提示注入式攻击，诱导其泄露信息或执行恶意操作。随着 AI 助手接入邮箱与办公流程，这类攻击面显著扩大。文章提醒用户与企业重视 AI 助手的输入信任边界。
Hacker News – AI15 天前
★ 3
研究：2.17亿网页响应揭示HTTP头提示注入风险
一项基于2.17亿条网页响应的研究揭示，提示注入攻击可隐藏在HTTP响应头中，构成新型AI安全威胁。该发现提醒AI智能体在抓取网页时需警惕头部字段被恶意利用，为AI安全防护提供新方向。
Hacker News17 天前
★ 3
arXiv 论文：TRACER 防御间接提示注入
论文提出 TRACER，一种通道感知的对抗训练方法，结合答案锚定、证据门控奖励与 ATRC 对齐机制。在 GSM8K 与 Qwen2.5-3B-Instruct 上，将 RAG 框架下的攻击成功率从 65.5% 降至 6.1%，同时保持 78-82% 的干净准确率。
arXiv cs.LG18 天前
★ 3
测试：8 个 AI 智能体中 4 个始终服从隐藏文本指令
一项测试考察 AI 智能体是否会服从用户看不见的文本指令，结果显示 8 个智能体中有 4 个每次都照做。这揭示了提示注入与隐藏指令带来的安全风险。
Hacker News – AI22 天前
★ 3
诗歌成新型 AI 安全威胁：Poellm 恶意软件感染 3000 台服务器
据 The Register 报道，一种名为 Poellm 的恶意软件通过诗歌形式攻击 AI 系统，已感染约 3000 台服务器，被视为新型 AI 安全威胁。该事件凸显大模型相关基础设施面临的提示注入与供应链风险。
Hacker News – AI24 天前
★ 3
SRFT：让AI代理从失败经验中学习抵御提示注入
论文提出自反思微调（SRFT）框架，让 LLM 智能体在对抗条件下从自身失败轨迹中学习，而非被动模仿专家行为。SRFT 通过注入攻击构造受损轨迹，并借助专家模型生成结构化自反思推理，对比不安全与最优动作。基于 Llama-3.1-8B-Instruct 与 Qwen3-8B 构建的 SR-Agen…
arXiv cs.LG27 天前
★ 3
工具调用是否按意图执行？LLM智能体意图-执行一致性测量与修复
论文提出「意图-执行一致性」（IEC）概念，指智能体发出的工具调用经多跳传递后，实际执行动作是否仍与调用语义一致。研究发现在47828次生产环境shell调用中，Claude Code的Bash工具会改写12%含代码或转义字符的调用，其中80.7%的反斜杠改写会静默执行错误动作。作者提出IntAc…
arXiv cs.AI27 天前
★ 3
研究：分类指令可增强 LLM 恶意输入探针
论文系统测试在用户输入后附加分类指令后缀对激活探针监控效果的影响，在 13 个安全基准与三个开源模型家族上做严格留一数据集评估。结果显示分类格式本身带来最高约 4 个 AUC 点的分布外检测提升，且该收益可延续到生产环境的多位置池化探针。
arXiv cs.LG28 天前
★ 3
AI智能体记忆可被投毒，并被当作自身经历
一篇技术文章揭示AI智能体的长期记忆存在被恶意注入的风险，被污染的记忆后续会被智能体当作真实用户历史来使用。这暴露出智能体记忆机制在安全与信任层面的严重隐患。
Hacker News – AI34 天前
★ 3
AI智能体目标劫持攻击解析
文章分析攻击者如何利用AI智能体自身工具实施目标劫持，将代理能力反转为攻击手段。这类攻击暴露了智能体工具调用链的安全隐患，对Agent部署安全提出警示。
Hacker News – AI39 天前
★ 3
Stroq：AI编码代理本地防火墙
Stroq是一款面向AI编码代理的本地动作防火墙，通过扫描代理读取的内容并对会话进行污点标记，在危险后续操作离开本机前予以拦截。它支持Claude Code、Cursor、Codex、Copilot CLI、Windsurf等，并内置对Sentry agentjacking等12起公开攻击事件的回…
Hacker News – AI52 天前
★ 3
将间接提示注入重新定义为测试时搜索问题
该研究将间接提示注入形式化为测试时搜索问题，提出代理攻击者框架，通过环境侦察和策略推理提升漏洞发现能力。实验表明增加测试时计算可改善攻击效果，强调代理安全评估需考虑搜索过程和计算预算。
arXiv cs.AI56 天前
★ 2
Blazle 上线：在 AI 智能体行动前拦截提示注入与密钥泄露
Blazle 发布安全产品，宣称可在 AI 智能体执行动作之前阻断提示注入攻击与敏感信息泄露。产品面向部署智能体的企业，聚焦智能体运行时的安全防护。目前处于早期推广阶段。
Hacker News – AI5 天前