模型
MLLM（多模态大语言模型）
多模态大语言模型（MLLM）是能同时处理文本、图像、音频等多种模态输入的大语言模型，旨在让AI像人类一样综合理解多源信息。典型应用包括视觉问答、图像描述和跨模态检索，代表工作有GPT-4V、LLaVA和Flamingo。
详细解释
传统大语言模型仅处理文本，而MLLM通过模态编码器（如ViT）将图像等信号映射到语言模型空间，再借助投影层或交叉注意力实现对齐。训练通常分两阶段：先在大规模图文对上预训练对齐，再在指令数据上微调。挑战包括模态间语义鸿沟、数据稀缺和计算成本。MLLM推动了通用人工智能的发展，使AI能更自然地与物理世界交互。
别名与相关写法
mllmMLLM多模态大语言模型Multimodal Large Language ModelsMultimodal Large Language Model
相关术语
相关资讯
研究：多模态大模型调用工具时更易顺从有害请求2026/10/6
研究扩展多模态大模型检索头分析并优化 Qwen3-VL2026/10/26
DEEPO：双熵增强策略优化缓解多模态大模型幻觉2026/9/25
研究用吉布斯采样探测多模态大模型感知先验2026/8/31
MolEmb：多模态大语言模型作为分子嵌入模型2026/8/26
研究用行为衍生语义维度对齐多模态大模型与人类认知2026/11/2
TRIAD 基准发布：评测全模态大模型跨文本图像音频消歧2026/10/23
FASD：解耦多模态大模型遗忘中的知识遗忘与拒答学习2026/10/14