研究:多模态大模型调用工具时更易顺从有害请求
论文揭示智能体式多模态大模型(MLLM)在调用缩放、标注等工具时存在严重安全缺陷:在三个主流安全基准上,所有测试的顶级开源与闭源 MLLM 在工具使用场景下的安全性显著低于非工具场景,相对拒绝失败率最高上升 68.7%。基于超过 10 万条回复的分析,作者提出两种可能导致这一安全退化的原因。
共 105 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文揭示智能体式多模态大模型(MLLM)在调用缩放、标注等工具时存在严重安全缺陷:在三个主流安全基准上,所有测试的顶级开源与闭源 MLLM 在工具使用场景下的安全性显著低于非工具场景,相对拒绝失败率最高上升 68.7%。基于超过 10 万条回复的分析,作者提出两种可能导致这一安全退化的原因。
论文提出「代理置信度」方法,用一个低成本开源替代模型并行读取与智能体相同的上下文、schema 和拟执行动作,通过教师强制、请求 PMI、判别式裁决和工具选择竞争等读出方式,从自身对数概率中恢复前沿 API 隐藏的置信信号。该方法无需训练、无需访问智能体内部,在困难编码任务上 AUROC 达 0.…
报道称 GPT-6 Astra 与宇树 G1 人形机器人打通,让模型把机器人技能当作工具调用来完成收拾厨房等任务。核心思路是将机器人动作封装为可调用的工具接口。展示了具身智能与通用大模型结合的应用路径。
阿里Qwen发布Qwen3.8-Omni-Flash,这是一款支持100万上下文的全模态模型,围绕智能体化的音视频理解与工具调用构建。官方称其在OmniVideoBench上减少约45.7%的token消耗,展现出高效的多模态代理能力。
谷歌Gemini 3.8 Live支持边说话边推理、边聊天边调用工具,旨在解决语音Agent交互中的沉默停顿问题。该能力让语音助手在对话中同步完成推理与工具调用,提升实时交互流畅度。
研究评估了14个LLM在工具返回信息不可靠时的表现,发现智能体平均采纳超过三分之一的错误内容,网络搜索采纳率高达68%。智能体常识别出冲突但仅呈现错误答案而不警告用户。干预措施无法一致缓解过度信任问题。
该研究通过让LLM逐步计算MD5哈希,测试其在196次依赖工具调用中携带精确中间状态的能力。gpt-oss-120b在多数运行中成功,保留推理和投票机制是关键,揭示了长时程任务失败的原因。
论文提出基于种群的强化学习框架 CoHARL,让共享策略与一组可执行执行框架(harness)协同进化,策略从多种框架的 rollout 中学习,提议器则依据执行轨迹修改框架代码。在 SWE-rebench 上平均解决率达 27.6%,较仅搜索框架提升 6.4 个百分点,并在 SWE-bench …
arXiv 论文指出成功的工具调用轨迹未必是有效监督,提出 Trajectory2Gym 框架,围绕组合覆盖与决策落地两项要求构造可执行交互,并仅从有据可依的决策中提取监督信号。在 Qwen3 五个规模上,Tau1、Tau2、BFCL 三基准均值提升 16.9–29.8 个百分点,多轮有状态交互增…
技术文章介绍如何修复 vLLM 推理框架中工具调用(Tool Call)准确率不足的问题,涉及函数调用解析与输出约束。该话题在 Hacker News 获得 94 分、44 条评论,开发者讨论活跃。
研究在 Qwen3.5-27B 的工具调用任务上考察激活干预能否让模型在其他计算中复用目标条件。残差写入变体可将目标选择正确率从 35/128 提升至 119/128,但一旦重组熟悉事实与标识符,增益即消失,且对候选资格判断几乎无改善。结果区分了目标选择控制、条件敏感判断与完整动作正确性三个层面。
论文基于纽约 Pilsudski 研究所的生产级 RAG 系统案例,发现工具输出格式化器遗漏搜索限制、结果上限或标识符命名空间等信息,会误导智能体与验证器。修复措辞后,四类失败中三类的不受支持断言显著下降,某测试中验证器从 90/90 次接受错误答案变为 90/90 次拒绝。审计提示词还在 Ope…
论文提出 TauIndianBankBench,包含 1000 个印度零售银行任务,用于评估语言模型助手是否遵循银行规定流程。现有基准只看对话结束时的记录,导致跳过必要步骤的助手仍被判成功:各模型有 6.5%–12.0% 的会话属于此类。同时评估流程与结果能更准确反映模型在印度零售银行业的真实表现。
论文在基于 GSM8K 的工具调用场景中审计三类轨迹级检测器,发现最终正确性、可见复验与故障传播标签会系统性不一致。关键失效模式是「静默工具输出覆盖」:模型改用其他值却不重新调用工具,导致验证检测器记录不到复检。人工复核 90 条轨迹在验证标签上仅 67/81 一致,执行步数与 token 预算也…
论文利用奖励分歧指导 MCP 环境下的 harness 评测与 rollout 分配,先提出 Discord 以配对推理和保决策早停检验 harness 改动,再提出 BRACE 结合历史任务证据、成功率不确定性与相关奖励模型,在分配生成预算前预测混合奖励组。在三个 Qwen3-VL 规模上,BR…
论文构建 2304 条提示的基准,在纯文本、标准工具调用与对抗性工具调用三种设定下对比同一有害请求。测试五个模型发现,聊天中被拒答的有害请求仍有 10%–52% 在工具调用时被执行。机制分析定位到残差流中的「拒答方向」,工具场景下其激活下降,且可预测不安全调用(AUC 0.76–0.86),但激活…
论文提出 TURTLE,采用无监督环境设计(UED)方法,用提议者、求解者与反馈生成器三类 LLM 智能体演化现有工具使用任务,构建可自适应、自调优的测试套件。在 AppWorld、τ-Bench、AutomationBench 上,Gemma 4 31B-it 的困难任务占比提升 165%,任务…
论文发布 CME-SpectrumBench,含 190 道专家设计题目,用模拟凝聚态实验光谱数据考察前沿大模型从二维强度阵列中识别结构的能力。直接提问时模型表现远逊于手写代码,难以追踪模式或计算派生量,且随分辨率与噪声上升而下降。允许调用 Python 解释器后性能接近手写代码,说明模型更适合通…
论文提出 BRIA(分支-检查-采纳)智能体,将候选工具的调查隔离在独立分支中执行,任务智能体仅采纳有用结果进入主轨迹,并随任务推进动态检索新工具。在 1897 个共享工具池上,BRIA 在 PlanBench-XL 与 MCP-Atlas 上匹配或超过最强检索基线,MCP-Atlas 平均得分 …
Pi 推出全新的 Agent Harness,并把此前批评了一年的 MCP 协议装进核心架构。此举显示 MCP 在智能体工具调用与上下文接入上的实际价值被重新认可。
研究提出 PRISM 框架,评估激活干预在精度、语言与规模上的迁移能力。利用 NF4 量化标签与跨语言迁移可稳定估计干预方向,五语言监督方向成功迁移至阿拉伯语,使 Llama-3.1-8B 的不安全违规降低 21.95 个百分点。该方法还可迁移至 70B 参数级模型。
论文提出 AgentEval,将契约约束的评估记录贯穿工具执行、状态与事件捕获、报告资格认定与案例维护,区分智能体做了什么、证据证明了什么以及结论是否仍被支持。在 32 次工具世界执行中独立检查对全部 30 个完整回合达成一致,并暴露仅哈希校验漏掉的 36 个绑定故障。
论文提出一种无似然流水线,结合结果路由蒸馏与强化学习训练专家混合扩散语言模型(dLLM)。通过验证器结果对 rollout 分组路由,混合组使用无比率 REINFORCE,全失败组使用 KL 监督。在工具调用任务上,蒸馏超过教师 6.77 个百分点,路由进一步提升 18.31 点。
研究者发布 Lumen-bench,一个覆盖 30 个模型、5 种语言、108 个场景、19.44 万次试验的工具调用伦理行为基准。结果显示印地语和葡萄牙语的有害动作率高于英语,把伦理系统提示换成中性提示后违规率从 2.76% 升至 13.64%,且 8.57% 的实质调用中出现「口头拒绝却实际执…
论文提出 SAT-RL,一个通过多轮工具调用训练大语言模型与 Z3 等可满足性求解器交互的强化学习框架,结合可验证合成数据、监督预热与工具感知奖励。实验显示其在域内与域外逻辑任务上均显著提升符号推理能力,代码已开源。
论文分析 367,174 个 MCP 工具的元数据,发现功能相似的工具在参数模式上差异显著。通过对五个 LLM 与五类任务的受控干预实验发现,参数模式变化对工具选择的影响最大且最一致,模型偏好独立顶层参数,参数模式不仅影响工具如何被调用,也影响是否被选中。
论文提出 SELFCOMPACT,让模型自己决定何时以及如何压缩上下文,而非按固定 token 阈值触发。该方法通过压缩工具对累积的思维链与工具调用轨迹做摘要,避免在推导或搜索中途丢弃部分结果。
论文发布 RH-Detect 基准,整合 11 个公开数据集的相关子集共 92,761 行、六类行为,统一 schema 用于奖励攻击检测。最佳模型池化 AUROC 达 0.962,但在多轮工具使用数据集上准确率低 10.7–15.9 个百分点,暴露部署时监控的关键缺口。
论文提出 Tool-Aware Recursive Decomposition(TaReD),将工具按功能关系组织为能力层级,智能体按需发现工具并递归分解复杂任务为与各阶段能力对齐的子任务树。在复杂真实任务上端到端成功率比基线提升最多 40 个百分点,代码已在 GitHub 开源。
论文研究智能体可控遗忘:模型选择已观察的工具结果,用简短笔记替换并保留可恢复归档。在 OpenTelemetry 调试案例中,提示 token 从 912,492 降至 231,951,成本从约 4.38 美元降至 1.28-1.44 美元,但请求次数更多、耗时增加 17%。