★ 2
arXiv 论文提出多模态预测自闭症对话成功度
该研究利用发音、面部、声学韵律与话轮转换等多模态特征,在三个包含自闭症与非自闭症个体的自发双人对话数据集上预测参与者感知的对话成功度。结果表明对话成功本质上是多维的,融合互补模态可捕捉单一模态无法提供的信息,从而提升预测效果。
arXiv NLP7 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
该研究利用发音、面部、声学韵律与话轮转换等多模态特征,在三个包含自闭症与非自闭症个体的自发双人对话数据集上预测参与者感知的对话成功度。结果表明对话成功本质上是多维的,融合互补模态可捕捉单一模态无法提供的信息,从而提升预测效果。
论文提出说话人无关框架,利用声学到发音反演与协调复杂度指标,量化自闭症与非自闭症成人自发对话中的发音协同。结果显示非自闭症配对随时间协调复杂度上升且协同更强,自闭症配对效果中等,混合配对对齐最弱;更强的发音协同与更高的对话成功自评相关。