LVLM（大型视觉语言模型）

LVLM结合视觉编码器（如ViT）和大型语言模型，通过投影层对齐视觉与文本表示。典型代表有GPT-4V、LLaVA、Flamingo等。LVLM能执行图像描述、视觉问答、图文推理等任务，是通向通用人工智能的重要一步。其训练需大规模图文对，挑战包括细粒度理解、幻觉消除和高效推理。