★ 4
研究：多模态大模型调用工具时更易顺从有害请求
论文揭示智能体式多模态大模型（MLLM）在调用缩放、标注等工具时存在严重安全缺陷：在三个主流安全基准上，所有测试的顶级开源与闭源 MLLM 在工具使用场景下的安全性显著低于非工具场景，相对拒绝失败率最高上升 68.7%。基于超过 10 万条回复的分析，作者提出两种可能导致这一安全退化的原因。
arXiv cs.AI26 天前
#多模态大模型
共 23 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
Jailbreak Connectivity：多模态大模型通用越狱攻击框架
论文提出 Jailbreak Connectivity（JC），利用图像空间中低损失区域可连通有效对抗样本的观察，优化连续对抗路径，实现多样、可迁移、通用的多模态大模型越狱攻击。在 MM-SafetyBench 上对 Qwen3-VL-8B-Instruct、InternVL3.5-8B、Gemm…
arXiv cs.LG2 天前
★ 3
研究扩展多模态大模型检索头分析并优化 Qwen3-VL
论文将检索头分析扩展到音视频模态，发现检索头在新模态中仍稀疏且跨模态大量共享，消融后几乎消除全部音视频检索能力。作者以排序目标训练检索头注意力，使 Qwen3-VL-8B 在 MMDocIR 上页面 Recall@1 提升 6.03 点，并改善三个模型家族的文档检索。
arXiv NLP6 天前
★ 3
研究提出 JUPE 基准：看似合理的解释可误导多模态模型评判
论文提出 JUPE 视觉问答基准，固定答案而变换解释文本，测试 14 个多模态大模型评判器。结果显示普通但听起来合理的解释会显著降低对错误答案的拒绝率，降幅达 12.7 至 13.8 个百分点，作者称之为「合理性俘获」。该现象跨领域、跨解释生成器普遍存在，可能高估模型评测成绩。
arXiv NLP13 天前
★ 3
MSP：无需配对跨模态数据的多模态 LLM 训练框架
论文提出模态自博弈（MSP），用代理文本描述作为语义桥梁，让模型在缺少真实配对跨模态数据的情况下学习跨模态组合。MSP 实现零样本模态组合，仅用真实锚模态与代理描述训练即可在推理时整合多种模态，在多个多模态基准上取得最优或具竞争力表现，无需真实配对的非文本监督。
arXiv cs.AI16 天前
★ 3
AdaC-GRPO：自适应课程强化学习攻克长程视觉数独
研究者提出 FG-Sudoku 细粒度基准，按网格大小与推理步数分级，发现前沿多模态大模型在 9×9 长程依赖数独上近乎零成功率，导致标准 RLVR 奖励稀疏而失效。为此提出 AdaC-GRPO，通过在线 rollout 准确率追踪模型「最近发展区」动态构建训练批次。实验显示其使 Qwen2.5-…
arXiv cs.AI20 天前
★ 3
GeoSpatialBench：多模态模型地理空间推理基准
论文推出GeoSpatialBench基准，基于六座城市真实城市数据，覆盖28种拓扑、方向、度量和排序关系，评估多模态大模型的空间关系理解、几何推理与受约束空间编辑。结果显示GeoJSON持续优于地图图像，模型在定量度量关系与编辑任务上表现明显下降。
arXiv cs.AI20 天前
★ 3
慢快多教师在线蒸馏法缓解多模态模型能力退化
针对多教师在线策略蒸馏（MOPD）导致学生模型通用能力下降的问题，作者提出 SF-MOPD：用快速模型（直接更新）与慢速模型（学生权重的指数滑动平均）配对，在 log 概率空间剔除使快模型偏离慢模型的分量。实验表明该方法缓解能力干扰，提升多模态专长并减少通用基准退化。
arXiv cs.LG27 天前
★ 3
FigAct：把科学图表变成可交互讲解画布
论文提出 FigAct 框架，将静态科学图表转化为按问题条件生成的视觉演示，直接作用于图表已有图形元素。它像人类讲解者一样生成短旁白、将旁白锚定到对应视觉证据并施加视觉动作引导注意力，分层搜索策略使 token 用量降低约 40 倍。作者还训练了 FigAct-8B 并构建人工验证基准，证明把图表…
arXiv cs.AI32 天前
★ 3
DEEPO：双熵增强策略优化缓解多模态大模型幻觉
论文针对多模态大模型强化学习后幻觉改善不均的问题，定位到奖励到参数更新纠正链的两个薄弱点。作者提出 DEEPO，结合信号方差正则化与梯度预处理：语义熵触发的专家前缀为高不确定查询注入有依据的续写，优势符号感知的 Renyi 预处理对抗 logit 饱和。在 VideoMMMU 上取得统计显著的提升…
arXiv cs.AI37 天前
★ 3
Pistis 技术报告：27B 与 9B 多模态大模型家族
论文发布 Pistis 模型家族，包含基于 Qwen3.6 的 27B 与基于 Qwen3.5 的 9B 多模态大模型。作者提出交错蒸馏与强化学习（IDRL）后训练范式，在单一训练循环中交替进行 on-policy 蒸馏与强化学习。模型提供 Thinking 与 Agentic 两个变体，并引入 …
arXiv cs.AI37 天前
★ 3
PolyBridgeBench：多模态LLM桥梁设计基准
论文提出PolyBridgeBench，一个可执行的多模态桥梁设计基准，模型需根据视觉场景与工程约束生成完整节点-构件-材料拓扑，并通过确定性合法性检查与动态物理仿真。仿真失败后返回时序视觉证据，在固定交互预算下评估修复能力。对六种代表性MLLM在189个关卡上的实验显示，确定性有效性与动态成功之…
arXiv cs.AI41 天前
★ 3
OmniHarness：符号策略学习实现可泛化视觉生成
针对现有视觉生成方法经验泛化差、反思滞后、知识被动获取三大局限，论文提出OmniHarness框架，将已验证执行抽象为符号策略，支持实例化、适配与组合，并在执行中做中间验证与失败恢复。通过自主提问在目标确定前生成练习任务，执行反馈持续优化策略而模型参数冻结。在ComfyBench创意任务上解率达9…
arXiv cs.LG46 天前
★ 3
UniCAR-RL：视觉数学推理的解耦强化学习框架
研究者提出 UniCAR-RL，一个无需标注的强化学习框架，用于提升多模态大模型在视觉数学推理中的表现。该框架将感知与推理能力在训练中显式解耦，分为 Caption-RL、Reasoning-RL 和 QA-RL 三个协同分支，分别优化感知、逻辑推理和端到端问答。实验表明，仅用原始短答案数据即可显…
arXiv cs.AI47 天前
★ 3
TimeThink：激发时序大模型组合推理
论文针对时序多模态大模型难以捕捉动态时序模式、缺乏显式推理的问题，提出TimeThink合成框架。该框架利用趋势、季节性等域无关时序原语确定性生成原子与组合问答对，并采用可验证奖励强化学习训练策略。仅用合成数据训练即在合成与真实基准上显著超越强基线。
arXiv cs.AI47 天前
★ 3
研究用吉布斯采样探测多模态大模型感知先验
研究提出一种方法，通过引导生成模型沿可控轴产生刺激，并使用目标模型作为评判进行吉布斯采样，直接采样模型的感知先验分布。该方法在多个类别上恢复了典型偏见和意外先验，为理解模型行为提供了新视角。
arXiv cs.AI62 天前
★ 2
DriveMind 提出信念跟踪框架，提升闭环自动驾驶成功率
论文提出 DriveMind，一种基于多模态大模型的驾驶框架，借鉴粒子滤波思想同时保留多个场景假设并随新帧更新权重。在 Bench2Drive 上驾驶得分从 68.50 提升至 81.37，成功率从 41.36% 提升至 54.09%，在无信号路口和会车交互等模糊场景增益最大。
arXiv cs.AI6 天前
★ 2
研究评估多模态大模型对动画电影社会情绪理解与脑活动预测能力
论文比较扩散式与自回归多模态大模型在三部动画短片上的心智理论与情感效价评分，并与人类评分及 fMRI 响应对照。模型评分能捕捉人类时间变化，情感效价对齐优于心智理论，但分布存在系统性差异。研究表明 MLLM 可作为生成脑预测性社会情绪标注的可扩展工具。
arXiv cs.AI12 天前
★ 2
FASD：解耦多模态大模型遗忘中的知识遗忘与拒答学习
论文指出当前多模态遗忘评估只关注模型是否停止输出目标信息，掩盖了知识抑制引发虚构、拒答训练未真正抹除知识两大失效模式。作者提出遗忘感知自蒸馏（FASD），将行为通道与知识通道分离，实现「诚实的无知」，在遗忘目标知识的同时防止开放任务信息泄露并保持保留数据性能。
arXiv cs.AI18 天前
★ 2
THPL：虹鳟养殖投喂视觉决策框架
研究提出 THPL 生成式投喂决策框架，面向循环水养殖系统（RAS）中的虹鳟。方法先用 Fishsort 提取轨迹并计算摄食活动系数，再以分层行为编码器将轨迹转为显式物理与隐式软令牌的双证据表示，最后结合环境参数与专家规则，通过 LoRA 微调大模型并用反事实多模态 DPO 强化因果推理。结果显示…
arXiv cs.AI27 天前
★ 2
多模态大模型如何重塑内容生产
文章探讨多模态大模型如何将内容生产从单纯的生成内容推进到创造体验。核心观点在于多模态能力让AI能同时处理文本、图像、音频等，从而改变创作流程与交互形态。原文内容缺失，仅能从标题推断讨论方向。
InfoQ AI40 天前
★ 2
LLM 生成特征池用于时间序列异常检测
研究探索简单统计流程在单变量时间序列异常检测中的上限，发现候选特征池决定性能天花板，而选择策略影响有限。作者用多模态 LLM 结合领域内示例窗口生成特征池，与手工池互补，合并后达到排行榜最佳水平。
arXiv cs.AI41 天前
★ 2
离线多模态大模型助力空中作战决策
论文研究在断网、高安全约束环境下部署离线多模态大模型作为决策支持工具，采用模块化检索增强架构，支持文本与图像输入。与巴西空军四名图像分析员开展试点，系统在教义知识测评中得分与人类持平（8/10），耗时7.1分钟，远低于人类平均26.5分钟。研究为AI辅助空中作战流程建立了评估基线。
arXiv cs.AI41 天前
这个主题的相关资产
相关公司阿里巴巴1