#跨模态对齐

MSP：无需配对跨模态数据的多模态 LLM 训练框架

论文提出模态自博弈（MSP），用代理文本描述作为语义桥梁，让模型在缺少真实配对跨模态数据的情况下学习跨模态组合。MSP 实现零样本模态组合，仅用真实锚模态与代理描述训练即可在推理时整合多种模态，在多个多模态基准上取得最优或具竞争力表现，无需真实配对的非文本监督。