★ 2
EVFormer：眼动视觉与肌电双向注意力手部姿态估计
研究者提出 EVFormer 多模态框架，将当前 RGB 帧与之前 200ms 的双侧腕部表面肌电信号结合，估计 44 个手指与手腕关节角度。模型分别编码视觉空间特征与 sEMG 时序特征，通过顺序双向交叉注意力实现跨模态信息交换，并用特征级门控融合整合两模态。在单被试可行性研究中，平均绝对误差降…
arXiv cs.LG26 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究者提出 EVFormer 多模态框架，将当前 RGB 帧与之前 200ms 的双侧腕部表面肌电信号结合，估计 44 个手指与手腕关节角度。模型分别编码视觉空间特征与 sEMG 时序特征，通过顺序双向交叉注意力实现跨模态信息交换，并用特征级门控融合整合两模态。在单被试可行性研究中，平均绝对误差降…