★ 3
研究揭示JEPA联合嵌入预测架构训练动力学
论文为 JEPA 的表征崩塌问题建立早期训练稳定性理论，将梯度流线性化后得到驱动力 γ 与衰减效应 σ，并给出每模态稳定比 μ 与相边界预测，在 800 多个 Tabular-JEPA 配置上验证。基于该分析提出 ResidualPred 预测器，在表格基准与 I-JEPA 预训练中提升有效秩与下…
arXiv cs.LG28 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文为 JEPA 的表征崩塌问题建立早期训练稳定性理论，将梯度流线性化后得到驱动力 γ 与衰减效应 σ，并给出每模态稳定比 μ 与相边界预测，在 800 多个 Tabular-JEPA 配置上验证。基于该分析提出 ResidualPred 预测器，在表格基准与 I-JEPA 预训练中提升有效秩与下…