Multimodal AI（多模态AI）

多模态AI的核心挑战在于如何对齐和融合不同模态的表示。早期方法使用独立编码器提取特征后拼接，但难以捕捉跨模态语义关联。随着Transformer架构的普及，基于注意力机制的跨模态交互成为主流，如CLIP通过对比学习将图像和文本映射到共享空间。近期研究进一步引入统一架构处理任意模态组合，并探索多模态大语言模型，以增强推理和生成能力。