ReACT-TTS:依据听者面部反应规划对话语音
论文提出 ReACT-TTS 两阶段框架,利用回应前一秒的听者面部序列来规划下一句话的情绪与韵律。在 MELD 双人对话协议上,时序条件在十个随机种子下均优于纯文本条件,宏观 F1 与 VAD 一致性更高。20 位语音研究者的情境适配研究中,76% 的判断偏好时序方案,并接入 Grad-TTS 实…
共 14 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文提出 ReACT-TTS 两阶段框架,利用回应前一秒的听者面部序列来规划下一句话的情绪与韵律。在 MELD 双人对话协议上,时序条件在十个随机种子下均优于纯文本条件,宏观 F1 与 VAD 一致性更高。20 位语音研究者的情境适配研究中,76% 的判断偏好时序方案,并接入 Grad-TTS 实…
论文提出Affective Agent,一种面向可穿戴级硬件的三层参考架构,结合亚十亿参数小型语言模型与生理证据、情境及用户历史,在无云端依赖、无需逐用户重训练的情况下决定是否、何时及如何干预。通过宿主管理的结构化记忆演化实现个性化,在室内环境质量控制场景的仿真评估中验证了记忆驱动个性化与两遍结构…
该研究利用发音、面部、声学韵律与话轮转换等多模态特征,在三个包含自闭症与非自闭症个体的自发双人对话数据集上预测参与者感知的对话成功度。结果表明对话成功本质上是多维的,融合互补模态可捕捉单一模态无法提供的信息,从而提升预测效果。
论文比较扩散式与自回归多模态大模型在三部动画短片上的心智理论与情感效价评分,并与人类评分及 fMRI 响应对照。模型评分能捕捉人类时间变化,情感效价对齐优于心智理论,但分布存在系统性差异。研究表明 MLLM 可作为生成脑预测性社会情绪标注的可扩展工具。
论文提出 Self-targeted Internal Attention Boosting(SIAB),通过因果定位在合成最小对上找到稀疏情感注意力头,并在答案位置增强这些头已关注的内容 token,无需外部标注即可跨任务复用。在 ECC 与 GoEmotions 上,SIAB 相比提示匹配基线…
研究者提出 TRACE,一个以认知为导向的情感追踪框架,将情感事件形式化为条件、情感、效果三阶段,并构建 TRACE-Bench 评测多模态模型在真实社交场景中的情感理解。基准包含 646 段视频、3746 组问答,显示模型与人类存在明显差距,且常把表演行为误认为真实情感。配套方法 TRACER …
文章指出新闻编辑室中用于情感优化的AI系统不能仅靠技术指标衡量,必须通过行为学评估来验证其实际影响。这提醒媒体机构在部署AI工具时需关注对记者和受众行为的真实改变,而非仅看模型输出。
论文研究零样本跨被试的连续效价-唤醒度预测,将情感轨迹分解为跨被试共享结构与由无标签脑电标记(alpha 频段跨通道同步)估计的个体结构。在留出被试上 MAE 显著低于 EEGNet 与 ASAC-Net 基线,并报告了系统性的负结果搜索。
研究在 WESAD 与 EmoWear 两个多模态可穿戴数据集上,对比双向 LSTM、TCN 与 Transformer 在腕部、胸部及多模态配置下的情绪识别表现。结果显示架构优劣取决于数据集特性,多模态传感始终优于单一部位,4Hz 采样即可接近高频性能并大幅降低训练成本。
研究指出情感认知诊断中,认知残差可能泄漏进情感表征造成情感污染。为此提出能力残差解耦框架,先通过学生、题目、概念等多组件捕获未建模的认知残差,再用情感模块调节猜测/失误效应,并引入Q矩阵约束的概念残差注意力。在四个数据集与六种认知诊断骨干上均取得响应预测提升。
情感智能珠宝硬件企业SHAKESPEARE莎士比亚完成数千万元天使轮融资,由荣耀AI Connect生态企业极选智能与珠宝DP服务商瑞钰控股共同出资。资金将用于核心算法迭代、多模态情感交互模型开发及全球化渠道拓展。其首款AI身心健康陪伴戒指已于2026年4月在国内发售,通过HRV等生理数据投射情绪…
论文批评情感计算长期采用个体状态范式,即从孤立说话者提取离散情绪标签或唤醒/效价。作者提出关系框架,以声音动态中构成的交互场为情感分析的基本单元,并用连续自监督语音表示检测多方对话中的方向性表达耦合。实验显示耦合具有机制特异性、集中于亚秒时间尺度,并在排他语音负对照下消失。
研究将音乐愉悦感预测建模为回归问题,使用 MUSIN-G 数据集的 128 通道 EEG 数据,比较六种深度学习模型。DeepConvNet、CNN-LSTM 与 GNN-CNN 取得最低平均绝对误差,TCN 与评分相关性最高,并通过梯度与遮挡方法提供时序可解释性分析。
论文针对自然群体交互中生理情感感知标签稀疏的问题,基于四人协作数据集 GroupAffect-4 研究伪标签增强。结果显示伪标签增强在已知团队设定下优于仅标签基线,但大五人格余弦相似度范围过窄(0.91-0.99),使细粒度人格加权失效,人格相似度更多充当同队筛选器。跨被试 LOSO 迁移表现乐观…