Multimodal LLM（多模态大语言模型）

Multimodal LLM将视觉、听觉等感知模块与大语言模型结合，实现跨模态理解与推理。典型架构包括编码器-对齐器-LLM，训练分阶段进行模态对齐和指令微调。代表模型有GPT-4V、Gemini和LLaVA。应用涵盖图像描述、视觉问答和跨模态检索，挑战在于模态融合效率与数据偏差。