★ 4
Mirror 方法让视频到动作模型通过环境交互自我改进
论文提出 Mirror，一种自监督的视频到动作学习方法，无需预先的动作数据或人工奖励，仅通过环境交互学习。它尝试执行对视觉计划的最佳猜测动作，再用产生的视频-动作对训练自身，逐步自我改进。在 Atari、OGBench 与 DeepMind Control 上优于主流从观察学习方法，并在 Mine…
arXiv cs.AI12 天前
#自监督学习
共 34 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
通过行动学习视觉：面向机器人的预测性好奇心
论文提出 DySCOVER 自监督框架，让机器人通过好奇心驱动的主动交互提升视觉学习。机器人学习视觉自编码器并训练循环世界模型预测下一视觉潜状态，策略仅用重建误差与世界模型预测误差作为内在奖励。机械臂实验表明，加入预测性好奇心在多种初始条件、经验容量与场景下均稳定优于仅用视觉好奇心。
arXiv cs.LG18 天前
★ 3
SPERA：球形先验脑电基础模型发布
研究者提出SPERA脑电基础模型，采用联合嵌入预测架构（JEPA）在潜空间进行预测，并引入勒让德多项式空间先验编码头皮电极几何。模型在约8万小时、29048名受试者的脑电数据上预训练，在九项下游任务上取得最高平均平衡准确率，展现出作为通用脑电分析骨干的潜力。
arXiv cs.LG23 天前
★ 3
Keyframe Mnemonics：自监督关键帧发现提升长程行为克隆
论文提出 Keyframe Mnemonics 自监督方法，通过从随机采样的历史观测中学习目标来发现信息关键帧，并以此训练行为克隆策略。该方法在合成记忆域达 100% 成功率，在 23 项机器人操作任务上平均绝对成功率提升 13.9%，并在真实机器人上以 20 倍更长视野保持 80% 成功率。
arXiv cs.AI23 天前
★ 3
研究揭示JEPA联合嵌入预测架构训练动力学
论文为 JEPA 的表征崩塌问题建立早期训练稳定性理论，将梯度流线性化后得到驱动力 γ 与衰减效应 σ，并给出每模态稳定比 μ 与相边界预测，在 800 多个 Tabular-JEPA 配置上验证。基于该分析提出 ResidualPred 预测器，在表格基准与 I-JEPA 预训练中提升有效秩与下…
arXiv cs.LG27 天前
★ 3
研究提出语义可恢复性衡量自监督学习任务保留度
论文通过语义可恢复性研究同实例自监督学习保留哪些下游任务信息，证明可恢复性精确决定方向性CDNV并控制少样本最近质心分类。对典型双视图自监督目标的分析给出语义可恢复性的闭式谱刻画，并在合成与真实数据集上验证了预测关系。
arXiv cs.LG31 天前
★ 3
ChronoSRL：自监督强化学习的时间几何
论文指出对比式与生存式强化学习的评论家未以时间单位度量表征空间距离，提出 ChronoSRL 为评论家嵌入赋予显式时间几何。它训练状态-动作与目标嵌入的距离匹配到达目标所需时间，并预测到达时间分布与在目标附近停留时间，使策略偏好更快更可靠到达并保持接近目标的动作。在七个运动与导航基准及四足机器人仿…
arXiv cs.AI32 天前
★ 3
预训练方法提升神经接口解码的样本效率
研究提出MAPA，一种带解剖区域嵌入与相对位置编码的掩码自编码器，可从跨受试者的无标签iEEG记录中学习可迁移的神经表征。在Neuroprobe基准的三种场景下均达到最优，跨受试者场景仅需约164个标注试次即可达到无预训练时3500个试次的精度。
arXiv cs.LG47 天前
★ 3
LAMAE：潜在注意力掩码自编码器实现多模态心脏表征学习
研究提出潜在注意力掩码自编码器LAMAE，在自监督预训练中联合学习患者级多模态表征，直接在心电、超声、胸片与临床变量间交换信息。该模型在120万MIMIC-IV住院数据上预训练，在死亡率、ICD-10与DRG编码、住院时长等任务上超越模态专用预训练与对比学习基线。即使测试时仅有单一模态，其优势依然…
arXiv cs.AI48 天前
★ 3
利用不完美恢复改进数据可用性攻击
研究提出不完美恢复投毒（IRP）方法，通过理论分析CUDA攻击，在保持高图像质量的同时实现强投毒效果。实验表明IRP在监督学习和自监督学习场景下均优于八种基线方法，并抵抗五种防御方法。
arXiv cs.AI55 天前
★ 2
研究质疑地震基础模型是否只是特征提取器
arXiv 论文用共享 Mamba 编码器-解码器构建九种地震波形模型设计，在 300 万窗口语料上训练并冻结评估三项下游任务。结果显示更换自监督目标只是重新分配下游能力而非整体提升，没有检查点全面胜出；加掩码压力会让强分类器更专精而非更通用。作者认为关键约束在学习目标需跨事件定义。
arXiv cs.LG2 天前
★ 2
ACTS-WM：自监督潜在动作世界模型提升时间序列建模
论文提出 ACTS-WM，一种面向时间序列的自监督潜在动作条件世界模型框架。它无需显式动作标注即可从序列变化中推断潜在动作，并结合 JEPA 编码器与动作条件世界模型预测目标表示。在 22 个数据集、4 类任务上验证，性能优于预训练 JEPA 编码器。
arXiv cs.LG2 天前
★ 2
SAC-GCL：面向图对比学习的结构感知压缩框架
针对现有图对比学习依赖随机增强、易破坏拓扑的问题，论文提出 SAC-GCL，用结构分解提取内聚子图并压缩为超节点，构建保留局部密度与高阶结构的粗化视图。在六个基准数据集上图分类表现更稳健、更具判别力。
arXiv cs.LG2 天前
★ 2
AC-JEPA：跨模态联合嵌入预测架构提升视觉到符号翻译
论文提出 AC-JEPA，一种与 SFT 兼容的插件式方法，在跨模态双向预测被掩码的中间状态，用联合嵌入目标捕捉可从上下文预测的跨模态结构，同时保留 token 级监督。在光学化学结构识别任务上，干净数据下准确率从 SFT 的 67.40% 提升到 76.07%，用伪标签自训练进一步提升到 80.…
arXiv cs.AI4 天前
★ 2
AI学习范式讨论：既需名师指引也需自我修行
文章探讨人工智能正从人机“言传身教”式监督学习，走向“触类旁通”的自学范式。作者认为AI能力提升既依赖高质量指导数据，也需要模型自主探索与自我进化。
量子位6 天前
★ 2
物理感知自监督预训练提升多域拉曼光谱表示
论文提出基于掩码自编码器的多域自监督框架，从生物、化学、法医与材料等异构拉曼光谱中学习可迁移表示，并引入稀疏 Voigt 峰型解码器与去噪目标。实验显示预训练在标注数据有限的困难任务上收益最大，注意力探针比线性探针更能揭示冻结表示质量。
arXiv cs.LG12 天前
★ 2
SIEVE：解决等变自监督学习中的拓扑障碍
论文指出3D点云掩码自编码与SE(3)等变网络存在理论不兼容，标准掩码会触发拓扑坍缩。为此提出SIEVE框架，通过球面投影掩码压缩点云几何为不变标量嵌入，在下游点云任务上优于坐标基线和手工几何描述子。
arXiv cs.LG16 天前
★ 2
方差指纹：通过增强设计实现内容因子的分量级识别
论文研究能否通过设计数据增强使自监督学习中的内容因子可识别。方法让内容因子在增强视图中波动但保持均值，并记录增强强度，利用因子对强度响应的差异区分各分量。在条件高斯模型下证明可识别至置换、缩放与平移，合成与 dSprites 实验验证了因子恢复与坐标对齐的改善。
arXiv cs.LG18 天前
★ 2
芬兰语语音SSL研究：210万小时广播音频与置信度过滤
研究者基于210万小时无约束广播音频开展大规模芬兰语语音自监督学习研究，提出以ASR置信度作为预训练数据质量代理，相比基于语种识别的过滤在更小训练集上取得3-7%相对词错率改善。研究还在相同参数预算下对比Transformer、Macaron-Net、Conformer与E-Branchforme…
arXiv NLP20 天前
★ 2
KITE：注入知识的时间序列事件预测编码器
论文提出 KITE，一种知识注入的时间序列事件预测器，通过协变量机制与注意力偏置机制两种可切换方式注入「语义先验」，无需逐数据集架构搜索。实验显示信息量充足的先验在短上下文下显著优于无先验基线（周期性时钟 +14%，守恒残差 +47%），并可跨域迁移（+53%）。
arXiv cs.LG20 天前
★ 2
语言判别提升多语言语音模型学习
研究发现，在相同预训练数据预算下，多语言自监督语音模型仍逊于单语模型。通过增强模型在预训练中区分语言的能力，可缩小这一多语言差距，并在部分连续语音与高层语言指标上追平单语模型，同时保留跨语言信息共享。
Apple Machine Learning Research31 天前
★ 2
自监督预训练构建中微子探测器基础模型
一篇学术论文提出用自监督预训练方法，为能量前沿的异质中微子探测器构建基础模型（foundation-style models）。该方向尝试把大模型范式迁移到粒子物理实验数据处理中，以应对不同探测器结构带来的异构性挑战。
Nature Machine Intelligence33 天前
★ 2
STAR：微服务故障统一管理的自适应时空归一化框架
论文提出 STAR，一个面向大规模微服务系统事故管理的时空自适应表示学习框架。它通过时间自适应归一化（TAN）和空间自适应归一化（SAN）分别处理非平稳时序动态与异构服务依赖图，将归一化建模为可学习的上下文条件变换。在统一自监督框架下，STAR 端到端支持异常检测、故障分诊与根因定位三项任务，并在…
arXiv cs.LG33 天前
★ 2
平流感知图神经网络对光伏爬坡预测是否有效
该论文在可控合成测试平台上检验了「平流感知」图神经网络对分布式光伏功率爬坡预测的价值。结果显示，在真实互相关云运动矢量下，显式平流图并不优于普通静态或学习邻接的时空GNN；约一半收益仅来自把准确运动矢量作为输入特征。作者提出一个自监督云运动估计器，将中角度误差降至2-4度，在中等风速下缩小约60%…
arXiv cs.LG34 天前
★ 2
Atelier：超网络自监督学习冷冻电镜特征
论文提出 Atelier，用基于 Transformer 的超网络摊销隐式神经表示（INR）拟合，在 5439 个 EMDB 图谱上预训练，可跨多种蛋白结构高保真重建。其 INR 中间激活提供连续局部特征场，作为辅助通道接入 3D U-Net 标注头后，在八项体素级属性预测任务上优于纯体素基线。
arXiv cs.AI34 天前
★ 2
基于 Frank-Wolfe 的约束组合优化自监督学习
论文提出一种通用框架，允许神经网络预测任意连续向量，再通过基于 Frank-Wolfe 与近似 Carathéodory 结果的几何分解算法，用可行解的稀疏凸组合逼近。该分解导出几乎处处可微的自监督损失，并在推理时提供自动舍入保证。在二次分配、最大覆盖与旅行商问题上展示了强劲性能。
arXiv cs.LG39 天前
★ 2
EMGBlend：面向手势与力解码的异构自监督预训练
论文提出EMGBlend自监督框架，针对公共表面肌电数据集在电极布局、通道数和频率支持上的差异，结合共享通道补丁与几何感知注意力，将频谱目标限制在各记录支持的频带内并平衡数据源曝光。在11个公共EMG源上预训练1.09亿参数模型，在手势识别、连续力回归和接触分类上持续优于随机初始化和波形重建对照。
arXiv cs.LG39 天前
★ 2
面向表格基础模型的JEPA训练配方
论文针对表格基础模型上联合嵌入预测架构（JEPA）的潜在项坍缩问题，提出一种使潜在项与值目标共同收敛的训练配方：值头读取编码器场而非预测器，目标采用指数移动平均差值。在147个真实数据集上，JEPA臂在分类和回归上均略逊于纯值臂，但差距较小，且需要1.42倍步数和1.66倍墙钟时间达到平台期。
arXiv cs.LG39 天前
★ 2
ACE自监督模型从手机定位挖掘活动模式
研究提出活动链编码器（ACE），一种自监督模型，融合预训练城市嵌入与停留时间、时长，用Transformer建模停留序列，通过掩码活动建模与身份引导对比学习训练，无需活动目的标签。在伦敦手机定位数据上识别出六类工作日活动模式群组，并结合人口普查数据解释其人口学关联。该工作为从无标注移动数据中推导行…
arXiv cs.LG40 天前
★ 2
HintMiner：从问答帖子自监督挖掘问题提示
针对Stack Overflow等问答论坛响应不及时的问题，论文提出HintMiner工具，利用机器理解与序列生成技术自动为用户问题生成提示。系统先检索大量网络问答帖，再用基于Transformer与复制机制的语言模型MiningNet抽取提示，并通过自监督目标训练。在6万个Stack Overf…
arXiv cs.LG46 天前