技术
Multimodal(多模态)
多模态指AI系统同时处理和理解文本、图像、音频等多种模态信息,解决单一模态信息不足的问题,典型应用包括CLIP、GPT-4V和文生图模型如DALL-E。
详细解释
多模态学习旨在对齐和融合不同模态的表示,关键技术包括对比学习(如CLIP)、跨模态注意力(如ViLBERT)和生成模型(如扩散模型)。早期工作聚焦图文匹配,近年大模型如GPT-4V、Gemini和LLaVA实现统一理解与生成。应用涵盖视觉问答、图像描述、跨模态检索和具身智能,是通向通用AI的重要方向。
别名与相关写法
multimodal
相关术语
Agent共现 23 篇
Reasoning共现 16 篇
多模态模型共现 12 篇
Language Model共现 12 篇
Multimodal Agent共现 8 篇
Large Language Models共现 6 篇
相关公司
相关资讯
谷歌发布 EmbeddingGemma 2 多模态嵌入模型2026/10/7
Llama 3.2 小型多模态模型2024/9/25
MAGE:多模态智能体框架自动发现偏微分方程2026/8/31
Nemotron 3.5内容安全审核模型发布2026/8/31
Gemma 4 12B多模态模型2026/6/9
Fu-TCM 多模态中医大模型发布,六项基准领先2026/10/30
Jailbreak Connectivity:多模态大模型通用越狱攻击框架2026/10/30