★ 3
研究：视觉内容作为原生多模态预训练的可扩展锚点
一篇 arXiv 论文通过控制视觉内容消融实验，研究视觉信号如何影响原生多模态预训练的扩展行为。结果显示，保留视觉内容能提升图文样本的文本预测，且多模态损失收益随算力呈幂律增长。视觉增益在定位、导航和符号规划任务上最持久，表明视觉内容是多模态学习的可扩展锚点。
arXiv NLP18 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
一篇 arXiv 论文通过控制视觉内容消融实验，研究视觉信号如何影响原生多模态预训练的扩展行为。结果显示，保留视觉内容能提升图文样本的文本预测，且多模态损失收益随算力呈幂律增长。视觉增益在定位、导航和符号规划任务上最持久，表明视觉内容是多模态学习的可扩展锚点。