TauIndianBankBench:面向印度银行工具型对话智能体的流程评测基准
论文提出 TauIndianBankBench,包含 1000 个印度零售银行任务,用于评估语言模型助手是否遵循银行规定流程。现有基准只看对话结束时的记录,导致跳过必要步骤的助手仍被判成功:各模型有 6.5%–12.0% 的会话属于此类。同时评估流程与结果能更准确反映模型在印度零售银行业的真实表现。
共 15 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文提出 TauIndianBankBench,包含 1000 个印度零售银行任务,用于评估语言模型助手是否遵循银行规定流程。现有基准只看对话结束时的记录,导致跳过必要步骤的助手仍被判成功:各模型有 6.5%–12.0% 的会话属于此类。同时评估流程与结果能更准确反映模型在印度零售银行业的真实表现。
论文指出用户表征是用户模拟器中被低估的瓶颈,并提出对话重建任务来评估表征质量:先生成表征、以其条件化模拟器、再对比原始与模拟对话中的用户行为。作者提出「后见蒸馏」在线训练方法,产出 4B 参数的表征生成器 UserRepGen-4B。在 7 个数据集 700 段对话上,其模拟保真度超过 GPT-5…
针对现有LLM长期记忆系统依赖昂贵LLM调用进行记忆整理的问题,研究者提出MemFit,采用仅追加存储逐字保存每轮对话,实现近乎即时、无需LLM的插入,并用片段摘要索引而非替换原文。其无LLM多路径检索结合词汇与语义信号及交叉编码器重排。在LoCoMo、MemGallery和LongMemEval…
研究分析1260个真实会话中的20462条学生发言,识别出6630条卡壳回合,并模拟基线、禁直接给答案与引导式三种辅导条件。结果显示提示具体程度显著改变教学行为:基线导师50.7%直接给答案,禁答导师每次都追问。真实交互中每多一轮卡壳,下一轮恢复几率下降12.7%,追问收益随卡壳加深而衰减,而针对…
论文指出工具调用型LLM智能体不仅需判断是否需要更多信息,还需决定哪一来源能消解不确定性。作者将问题形式化为ACT、CLARIFY、VERIFY之间的不确定性路由,提出PROUR框架,将动作不确定性分解为用户目标解释间分歧与解释内熵。在τ-bench上平均成功率达28.17%,比最强基线高4.57…
MentalHealthBench 是一个由专家参与设计的基准,用于评估 AI 在真实心理健康对话中回应的有用性与安全性。该基准旨在为心理健康场景下的 AI 系统提供更贴近实际的评测标准。
论文指出对话失败常被归因于记忆问题,但更深层问题是模型过早承诺:模糊的早期轮次坍缩为单一隐藏解释,后续澄清被当作额外上下文而非纠正信号。在Gemini-2.5-Pro和Flash的数千次试验中,相同信息不同顺序导致不同结果,编码任务尤其脆弱。作者呼吁从保留更多上下文转向保留不确定性。
论文提出 ReACT-TTS 两阶段框架,利用回应前一秒的听者面部序列来规划下一句话的情绪与韵律。在 MELD 双人对话协议上,时序条件在十个随机种子下均优于纯文本条件,宏观 F1 与 VAD 一致性更高。20 位语音研究者的情境适配研究中,76% 的判断偏好时序方案,并接入 Grad-TTS 实…
论文审计了77.7万条LMSYS-Chat-1M英文对话,用词典与审核信号两种独立检测器识别用户对模型的敌意、胁迫与越狱压力。结果显示针对助手的虐待约占0.90%,且用户敌意在不同模型间相差13倍,主要取决于模型吸引的用户群体而非模型行为。助手道歉与下一轮敌意升高相关,但整体上更爱道歉的模型收到的…
对话教练是一个语音优先的AI系统,让管理者以逼真的口语形式排练困难的职场对话。它解决了低延迟交互、自适应对话和个性化反馈三个挑战。端到端方法延迟低3倍、成本低8倍,而级联方法推理能力更强。级联架构已部署在生产中,超过4万名管理者在六个月内使用。
论文提出 PromptSense 框架,在模型推理前融合情绪与抑郁分析与规则过滤机制,依据情绪与风险洞察动态构建提示词。评估显示提示工程方案在共情、有用性、清晰度、安全等指标上分别优于 DSFT 与 RLAIF 1.8% 和 1.1%。目标是提升心理健康对话的共情与风险意识。
论文识别出全双工语音语言模型中决定何时发言的单一后层残差流方向,称为 initiative vector。该方向可读取决策并提前 800 毫秒预测发言起始,缩放后可将语音占比从 6-12% 提升至 42-61%。短参考录音即可将说话人的轮次风格迁移到模型,且迁移具有参考特异性。
论文研究用于训练语言模型对话幽默能力的自动奖励,聚焦奖励漏洞与对策。受控测试显示基于嵌入的惊喜奖励会把词序打乱的回复与机智回复同等接受,流畅度过滤器虽能检测打乱但会误拒部分机智回复。观众模型的预测笑声易受双方消息中的笑声线索影响,跨说话人归一化可阻断已知攻击。三次强化学习运行显示最终版本综合评分提…
论文提出用生成流网络(GFlowNets)生成高质量合成对话数据,通过对关键交互特征施加高斯混合密度建模潜在对话结构,使采样能按训练数据中的分布比例覆盖多种专家策略。在辅导与情感支持两个领域,该方法在保真度、模式覆盖与真实性上优于强化学习和端到端LLM基线,且不复制训练数据。基于其生成数据训练的分…
针对医美、法律咨询、教育规划等高风险咨询领域的两阶段结构(前期共情引导、后期专家判断),论文提出动态解耦设计挑战。ThuRunel结合有限状态信念管理、思维链教师合成协议与学习式生成适配器,在11个基线上提升引导完整性与专家简报质量。该系统已作为双语Web应用公开部署,答案均引用来源。
2026-W42本周合作动态:Atlassian与OpenAI扩大合作,OpenAI开展青少年心理健康合作。合作方向从企业工具扩展到社会公益,显示OpenAI在商业化与社会责任间寻求平衡。