★ 3
研究：视觉内容作为原生多模态预训练的可扩展锚点
一篇 arXiv 论文通过控制视觉内容消融实验，研究视觉信号如何影响原生多模态预训练的扩展行为。结果显示，保留视觉内容能提升图文样本的文本预测，且多模态损失收益随算力呈幂律增长。视觉增益在定位、导航和符号规划任务上最持久，表明视觉内容是多模态学习的可扩展锚点。
arXiv NLP18 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
一篇 arXiv 论文通过控制视觉内容消融实验，研究视觉信号如何影响原生多模态预训练的扩展行为。结果显示，保留视觉内容能提升图文样本的文本预测，且多模态损失收益随算力呈幂律增长。视觉增益在定位、导航和符号规划任务上最持久，表明视觉内容是多模态学习的可扩展锚点。
针对高质量训练数据增长跟不上算力的问题，论文指出以往数据受限扩展方案固定权重衰减等超参数、忽视集成，可能导致损失随算力上升。作者拟合幂律迁移超参数并给出集成算力分配法则，在 FineWeb 1 亿 token 上困惑度降低 14%。