★ 2
TWIN-MoE 提出两阶段专家内插补框架处理缺失模态
论文分析混合专家路由会形成专家条件表示邻域，并推导由局部特征离散度控制的插补误差界，据此提出两阶段专家内插补框架 TWIN：预插补在编码器嵌入空间生成上下文估计并做径向软裁剪，后插补在 MoE 后聚合同一样本内的专家条件表示。在四个缺失模态基准上取得最优性能且参数量显著更少。
arXiv cs.LG12 天前
#多模态学习
共 5 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
MSCR：多模态学习平衡利用与协同信息发现
论文提出多模态协同竞争正则器 MSCR，在缓解模态失衡的同时促进融合阶段的协同信息形成。方法包含抑制单模态主导的反支配目标、鼓励融合预测超越单模态参照的协同目标，以及自适应门控。在五个基准上优于 MCR，并提升单模态误判样本上的条件恢复率。
arXiv cs.AI12 天前
★ 2
亚马逊 Alexa 多模态框架筛查认知障碍，准确率 0.76
一篇 arXiv 论文提出基于亚马逊 Alexa 的无接触多模态筛查框架，利用视频、音频和文本信号检测轻度认知障碍（MCI）。参与者完成三项对话任务，多模态融合模型在指令朗读和问答任务上均达到 0.76 准确率，优于单模态模型。研究显示自然交互中的多模态行为线索可区分 MCI 与健康老化，支持向真…
arXiv cs.LG16 天前
★ 2
阿尔茨海默病多模态学习框架实现诊断与进展预测
一项 arXiv 研究提出泄漏控制的多模态多任务框架，结合 SFCN MRI 编码器、因果临床 Transformer 与 ODE-GRU 动态建模，用于阿尔茨海默病诊断和进展预测。在 ADNI、OASIS-2、MIRIAD 共 2649 名受试者上，诊断 AUROC 达 0.935，外部验证 O…
arXiv cs.LG23 天前
★ 2
CoMA-DiT：跨模态扩散Transformer脑状态解码
研究者提出CoMA-DiT，一种双向跨模态扩散Transformer，将配对模态视为相互生成监督而非单纯融合输入。该方法通过跨模态注意力条件化速度预测，并用可靠性门控残差注入变化。在听觉注意解码与情绪识别任务上，准确率与宏F1分别较无增强基线提升4.28%和6.70%，优于20个代表性基线。
arXiv cs.AI50 天前