★ 2
研究对比联合、解耦与智能体三种多模态对齐范式
论文在 5 个领域 16 组配对数据集、多档标注预算下比较三种多模态对齐范式：联合预训练编码器融合（JOINT）、独立预训练编码器融合（DECOUPLED）与冻结 LLM 智能体（AGENT）。144 个数据集-预算组合中无一范式全面占优，DECOUPLED 胜 54 次、JOINT 44 次、A…
arXiv cs.AI13 天前
#多模态对齐
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
HiPPT 用多尺度文本对齐学习可穿戴 PPG 表征
论文提出 HiPPT，按证据尺度匹配监督来源，构建含 400 万条腕戴记录、20.2 万用户的 PPG-Text 语料，结合记录级形态对齐与跨记录上下文对齐。在血压、血管硬度、生理属性与跨数据集心率估计等六项任务上取得最佳线性探测结果，并支持零样本画像。
arXiv cs.AI19 天前
★ 2
LaS：用语言监督训练神经解码器
研究者提出「语言作为监督」（LaS），将神经特征与自然语言类别描述对齐，并用候选文本原型进行预测。在视觉、运动与语音解码的七种编码器架构上，LaS 将语音解码准确率最高提升 17.15 个百分点，并支持 SSVEP 中未见频率的条件解码。
arXiv cs.AI21 天前