★ 3
DSB-IFEval:全双工语音代理隐式指令遵循评估
该研究引入DSB-IFEval基准,评估全双工语音代理在实时对话中遵循隐式指令的能力,包含1038个测试用例和八种角色。研究发现不同架构存在权衡:全双工模型对显式与隐式指令敏感度不同,而GPT-Realtime等模型在内容遵循上表现好但行为适应受限。安全冲突下,系统难以覆盖预设角色指令。
arXiv cs.AI59 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
该研究引入DSB-IFEval基准,评估全双工语音代理在实时对话中遵循隐式指令的能力,包含1038个测试用例和八种角色。研究发现不同架构存在权衡:全双工模型对显式与隐式指令敏感度不同,而GPT-Realtime等模型在内容遵循上表现好但行为适应受限。安全冲突下,系统难以覆盖预设角色指令。