★ 2
研究：视觉语言模型如带偏见的贝叶斯观察者整合冲突证据
arXiv 新论文提出用贝叶斯视角解释视觉语言模型（VLM）如何处理文本与图像冲突。研究认为 VLM 将各模态的条件独立证据与先验信念结合，并受模态特定偏见影响。所提出的双参数线索组合模型能准确预测 VLM 在未见输入退化组合下的偏好，并无需重新拟合即可迁移到新的不可靠形式。该框架将证据强度与整合…
arXiv NLP18 天前
#多模态融合
共 7 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
EVFormer：眼动视觉与肌电双向注意力手部姿态估计
研究者提出 EVFormer 多模态框架，将当前 RGB 帧与之前 200ms 的双侧腕部表面肌电信号结合，估计 44 个手指与手腕关节角度。模型分别编码视觉空间特征与 sEMG 时序特征，通过顺序双向交叉注意力实现跨模态信息交换，并用特征级门控融合整合两模态。在单被试可行性研究中，平均绝对误差降…
arXiv cs.LG26 天前
★ 2
SMILESGNN：可解释临床毒性预测
研究提出 SMILESGNN，通过交叉注意力融合 SMILES Transformer 编码器与 GATv2 图编码器，用于药物毒性预测。该模型仅 0.4M 参数，在 ClinTox 上 AUC-ROC 达 0.987，并保留图分支以支持 GNNExplainer 子结构分析。结果表明交叉注意力是…
arXiv cs.LG38 天前
★ 2
MedGate-Fusion：卒中风险分层多模态融合
论文提出MedGate-Fusion多模态门控架构，将首诊叙事文本的Transformer嵌入与十项常规风险标志物融合，用于基层医疗前瞻性卒中风险分层。研究基于CPCSSN电子病历，从80余万次就诊中构建首诊队列，保留102,736名患者记录评估五年卒中结局。为减少标签泄漏，对卒中相关术语做了词典…
arXiv cs.AI40 天前
★ 2
计算建模解码混合气味感知
研究提出一种仿生深度学习框架，用于混合物气味感知识别。通过构建分子-受体神经响应曲线，并融合注意力加权的多受体与浓度依赖的多分子曲线，模拟混合物组分的竞争激活与协同整合。模型在评估中达到 92.2% 准确率，可集成到具身认知系统中增强智能体感知能力。
arXiv cs.LG49 天前
★ 2
RAMamba-Net：Mamba多模态听觉注意检测网络
研究提出RAMamba-Net，一种可靠性感知的Mamba多模态融合网络，用于从EEG与EOG信号中解码听觉注意。该网络采用Mamba增强的频带感知卷积Transformer捕捉EEG模式，双分支时空编码器建模EOG依赖，并通过跨模态注意力与可靠性模块实现融合。在两个基准上较单模态基线准确率提升5…
arXiv cs.AI51 天前
★ 2
高原天气预警的ML-LLM融合智能体
针对旅游气象服务情境化不足与场景适应性弱的问题，论文提出SmartWeatherAgent三阶段架构，融合意图识别、灾害预测与推理增强生成。系统结合规则方法与LLM，采用富含高原特征的LightGBM模型，在大风、降水、低温事件上F1-Macro达0.605、延迟1.60毫秒。12轮微步提示自优化…
arXiv cs.AI53 天前