★ 2
AC-JEPA：跨模态联合嵌入预测架构提升视觉到符号翻译
论文提出 AC-JEPA，一种与 SFT 兼容的插件式方法，在跨模态双向预测被掩码的中间状态，用联合嵌入目标捕捉可从上下文预测的跨模态结构，同时保留 token 级监督。在光学化学结构识别任务上，干净数据下准确率从 SFT 的 67.40% 提升到 76.07%，用伪标签自训练进一步提升到 80.…
arXiv cs.AI5 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 AC-JEPA，一种与 SFT 兼容的插件式方法，在跨模态双向预测被掩码的中间状态，用联合嵌入目标捕捉可从上下文预测的跨模态结构，同时保留 token 级监督。在光学化学结构识别任务上，干净数据下准确率从 SFT 的 67.40% 提升到 76.07%，用伪标签自训练进一步提升到 80.…