★ 3
预训练方法提升神经接口解码的样本效率
研究提出MAPA，一种带解剖区域嵌入与相对位置编码的掩码自编码器，可从跨受试者的无标签iEEG记录中学习可迁移的神经表征。在Neuroprobe基准的三种场景下均达到最优，跨受试者场景仅需约164个标注试次即可达到无预训练时3500个试次的精度。
arXiv cs.LG48 天前
#掩码自编码器
共 4 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
LAMAE：潜在注意力掩码自编码器实现多模态心脏表征学习
研究提出潜在注意力掩码自编码器LAMAE，在自监督预训练中联合学习患者级多模态表征，直接在心电、超声、胸片与临床变量间交换信息。该模型在120万MIMIC-IV住院数据上预训练，在死亡率、ICD-10与DRG编码、住院时长等任务上超越模态专用预训练与对比学习基线。即使测试时仅有单一模态，其优势依然…
arXiv cs.AI49 天前
★ 2
物理感知自监督预训练提升多域拉曼光谱表示
论文提出基于掩码自编码器的多域自监督框架，从生物、化学、法医与材料等异构拉曼光谱中学习可迁移表示，并引入稀疏 Voigt 峰型解码器与去噪目标。实验显示预训练在标注数据有限的困难任务上收益最大，注意力探针比线性探针更能揭示冻结表示质量。
arXiv cs.LG13 天前
★ 2
MANAS-2：面向脑电基础模型的约束重建
针对低信噪比脑电波形上掩码重建未必产生有用表征的问题，作者提出脑电基础模型MANAS-2，结合原始-频带混合掩码自编码器与物理启发的约束重建正则项ConRec。在七个脑电数据集上，ConRec将六频带功率恢复的R²从0.860提升至0.906，且效果与架构无关。MANAS-2在多数下游知识迁移任务…
arXiv cs.AI48 天前