★ 3
研究受控评估五个 EEG 基础模型：随机初始化常追平预训练
论文在统一协议下评估五个公开 EEG 基础模型与一个自研 JEPA 风格模型，加入未训练编码器、频谱特征与验证集选层三项对照。结果显示随机初始化在睡眠与情绪任务上追平或超过半数模型的预训练效果，且无模型能胜过五频段对数功率基线。
arXiv cs.LG7 天前
#JEPA
共 12 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
JEPA-Prune：联合嵌入引导剪枝缓解微调大模型隐私泄露
论文提出 JEPA-Prune 事后神经元剪枝框架，借助仅在无 PII 视图上训练的参考模型，通过联合嵌入预测架构捕捉领域知识而不含身份信息，再用跨模型表示探针、积分梯度与尺度不变特异性分数定位 PII 响应神经元并剪枝。实验显示仅剪除 1.6% 神经元即可将 PII 推断准确率降低最多 7.4 …
arXiv NLP14 天前
★ 3
SPERA：球形先验脑电基础模型发布
研究者提出SPERA脑电基础模型，采用联合嵌入预测架构（JEPA）在潜空间进行预测，并引入勒让德多项式空间先验编码头皮电极几何。模型在约8万小时、29048名受试者的脑电数据上预训练，在九项下游任务上取得最高平均平衡准确率，展现出作为通用脑电分析骨干的潜力。
arXiv cs.LG24 天前
★ 3
研究揭示JEPA联合嵌入预测架构训练动力学
论文为 JEPA 的表征崩塌问题建立早期训练稳定性理论，将梯度流线性化后得到驱动力 γ 与衰减效应 σ，并给出每模态稳定比 μ 与相边界预测，在 800 多个 Tabular-JEPA 配置上验证。基于该分析提出 ResidualPred 预测器，在表格基准与 I-JEPA 预训练中提升有效秩与下…
arXiv cs.LG28 天前
★ 3
Metro-WM：可实现的子目标长程潜空间规划
论文指出，基于 JEPA 的层次化规划中，宏规划器常生成物理上不可实现的潜空间子目标，这是长程规划失效的根本原因。作者提出 Metro-WM，改为从离线经验中检索真实状态作为子目标，并构建可跨轨迹拼接的状态图。实验显示长程成功率最高提升 37.33 个百分点，速度快 10.9 倍，离线算力需求降低…
arXiv cs.AI34 天前
★ 3
ARC-Bench：揭示冻结JEPA世界模型动作排序缺陷
ARC-Bench是一个无泄漏、固定候选协议，用于审计冻结JEPA风格目标是否正确排序候选动作。研究发现，官方JEPA-WM检查点在操作和迷宫领域存在严重且结构性的排序失败，且该缺陷在更换视觉骨干后依然存在。研究解释缺陷被闭环重规划掩盖，降低重规划频率会导致成功率崩溃，表明闭环成功率系统性高估了冻…
arXiv cs.AI54 天前
★ 2
ACTS-WM：自监督潜在动作世界模型提升时间序列建模
论文提出 ACTS-WM，一种面向时间序列的自监督潜在动作条件世界模型框架。它无需显式动作标注即可从序列变化中推断潜在动作，并结合 JEPA 编码器与动作条件世界模型预测目标表示。在 22 个数据集、4 类任务上验证，性能优于预训练 JEPA 编码器。
arXiv cs.LG3 天前
★ 2
MDN-VJEPA：多模态概率联合嵌入世界模型
论文提出 MDN-VJEPA，将变分 JEPA 的潜在预测器实例化为混合密度网络，用高斯混合表示未来状态，编码多种可能未来及其概率与模态内不确定性。方法引入轨迹级耦合与分布一致性约束，实验表明保留完整多模态信念而非条件均值可显著改善分支未来下的规划决策。
arXiv cs.LG19 天前
★ 2
Stock-JEPA：股票市场的先验锚定表示学习
论文提出 Stock-JEPA，一种联合嵌入预测框架，学习相对于时点金融先验的可预测增量修正。它用低复杂度金融模型生成多周期收益与风险统计作为锚点，再通过上下文条件修正预测器估计未来表示的位移。理论上证明最优修正可精确降低先验锚点的期望平方误差，实验在中国与美国股市上优于 13 个强基线。
arXiv cs.LG26 天前
★ 2
JEPA 预训练对时间序列预测是否有效？
一篇 arXiv 论文对联合嵌入预测架构（JEPA）在时间序列预测中的预训练效果进行了迄今最大规模的跨架构评估，覆盖 9 种骨干网络与 11 个基准。结果显示 JEPA 预训练的收益高度依赖下游骨干：部分架构稳定提升，另一些则稳定退化，且该现象在时序与时空预测任务中均成立。作者提醒实践中选择骨干网…
arXiv cs.LG34 天前
★ 2
面向表格基础模型的JEPA训练配方
论文针对表格基础模型上联合嵌入预测架构（JEPA）的潜在项坍缩问题，提出一种使潜在项与值目标共同收敛的训练配方：值头读取编码器场而非预测器，目标采用指数移动平均差值。在147个真实数据集上，JEPA臂在分类和回归上均略逊于纯值臂，但差距较小，且需要1.42倍步数和1.66倍墙钟时间达到平台期。
arXiv cs.LG40 天前
★ 2
部分传感器重叠下跨机床 CNC 迁移的 JEPA 研究
论文研究工业世界模型在跨机床部署时的迁移问题，提出模式自适应动作条件 JEPA（SAAC-JEPA），源机床有 17 个传感器通道而目标仅共享 10 个。实验显示 JEPA 预训练在干净源域预测上并无明显增益，锁定模型在目标域零样本 RMSE 为 0.546，优于持续性基线但不及 RevIN 增强…
arXiv cs.LG47 天前
这个主题的相关资产
相关术语JEPA（联合嵌入预测架构）