★ 2
AC-JEPA:跨模态联合嵌入预测架构提升视觉到符号翻译
论文提出 AC-JEPA,一种与 SFT 兼容的插件式方法,在跨模态双向预测被掩码的中间状态,用联合嵌入目标捕捉可从上下文预测的跨模态结构,同时保留 token 级监督。在光学化学结构识别任务上,干净数据下准确率从 SFT 的 67.40% 提升到 76.07%,用伪标签自训练进一步提升到 80.…
arXiv cs.AI5 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文提出 AC-JEPA,一种与 SFT 兼容的插件式方法,在跨模态双向预测被掩码的中间状态,用联合嵌入目标捕捉可从上下文预测的跨模态结构,同时保留 token 级监督。在光学化学结构识别任务上,干净数据下准确率从 SFT 的 67.40% 提升到 76.07%,用伪标签自训练进一步提升到 80.…
论文提出4DGS-JEPA,一种面向动态高斯场景因果多时程预测的高斯原生联合嵌入预测架构。核心原则是时序组合:到达同一未来端点的不同时序路径应产生兼容的预测状态。实验表明时序组合降低潜在路径依赖并保持预测精度,几何级组合提升解码运动一致性。