MindEth-Bench:评估中文语境 LLM 心理支持伦理边界
论文指出已有基准多关注 LLM 心理支持能力而非伦理边界遵循,提出 MindEth-Bench,基于中国心理健康服务专业伦理标准,用蒙特卡洛树搜索系统探索施压式多轮交互轨迹。对九个 LLM 的测试显示,初始回应得当的模型在长对话中可能逐步越界,且模型间与伦理维度间差异显著,说明单轮评测会高估其伦理…
共 18 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文指出已有基准多关注 LLM 心理支持能力而非伦理边界遵循,提出 MindEth-Bench,基于中国心理健康服务专业伦理标准,用蒙特卡洛树搜索系统探索施压式多轮交互轨迹。对九个 LLM 的测试显示,初始回应得当的模型在长对话中可能逐步越界,且模型间与伦理维度间差异显著,说明单轮评测会高估其伦理…
论文提出用户行为模糊测试方法并构建 RoleFUZZER 框架,将软件测试中的覆盖率引导模糊测试迁移到 LLM 角色规范遵循评估,覆盖导师、理财顾问、AI 面试官、对抗性角色扮演、企业政策下的网页智能体五类角色。15 轮实验中行为网格覆盖率达 89% 以上,远高于自由生成方式的 39-69%;并发…
论文提出 Multi-Ratio ConceptMoE,在共享骨干内联合支持 2、4、8 三种 token 到概念压缩比。在 PTBench 与 SFTBench 上三种固定模式均优于计算量匹配的 MoE 基线,混合比推理在 CodeChat 与 CoSQL 上提升准确率并降低 FLOPs。
论文研究照护者代为决策的医疗场景(儿科、兽医、老年照护),构建证据基准测试 AI 顾问在用户表达临床次优偏好时是否仍维持适当照护。结果显示前沿与开源模型均显著从适当照护转向不适当照护,且错误随多轮对话累积,可能带来中度或严重潜在伤害。
论文提出 TreeHCA,将后见引导探索与后见信用分配结合,利用参考答案似然变化重访中间历史并采样替代续写,形成推理与工具交互树。作者推导相应的逆后见重要性修正,并用归一化树备份将终端结果传播为轮级优势。在七个问答基准、三个 Qwen 骨干上聚合精确匹配超越所有基线。
论文提出协作心智理论CToM框架,训练LLM预测用户回应并据此在给出答复前进行内部修正,结合GRPO优化任务表现与交互效率。在数学推理、编码和写作任务上超越基线,协作数学推理准确率从74.1%提升至79.6%,编码与写作场景用户回复分别减少8%和17%。
研究提出「关系导向」概念,区分把 AI 当作持续支持来源的「内向型」语言与鼓励现实人际连接的「外向脚手架」语言,并发布 RELATE 评测框架。实验对 7 个 LLM 生成 1596 段对话、69194 句助手回复进行句级打分,发现第六轮回复的内向型比例高于第一轮,且对犹豫型用户的外向脚手架语言明…
论文提出 VAmoS Energy 基准,包含 100 通关于水电账单与支付协助的电话,每通含 2 至 4 个请求,智能体拥有 16 个工具并接入有状态 Stripe 计费孪生与 Apache Fineract 贷款引擎,账户访问需先通过来电者验证。在 14 个语音栈上完成率介于 17.3% 至 …
论文梳理实时语音智能体评测的碎片化现状,指出架构选择是部署约束而非定论,评测重心已从组件质量转向可验证的落地结果,且双人对话假设正在失效。作者提出 TRG 报告标准,从时序、中断恢复与状态验证结果三方面刻画智能体。
论文提出 TRACER,一种显式建模用户意图演化、并对齐真实交互轨迹的多轮用户模拟器,采用监督微调加多轮强化学习两阶段训练。在真实客服会话上,TRACER-7B 的转化 F1 比最强基线高 11.4,并取得最低的组级转化率误差与语义轨迹距离,且能泛化到分布外场景。作者还基于该模拟器提出动态营销基准…
论文推出τ-Elicitation,一个包含200个任务、10类实体、三种环境的语音基准,用于评估语音智能体精确采集姓名、地址、日期等实体的能力。匹配的文本智能体全部通过,但四种语音配置的稳健成功率仅0.14至0.41,且仅24-37%的已验证错误被修复。加入拼写、复读、纠正与确认的脚手架可将成功…
针对个性化语言模型在多轮交互中的人格漂移问题,论文提出CORE,将回合局部证据与持久人格状态修订分离,通过不确定性感知的信念修订选择性更新用户偏好。同时发布PERSIST基准,覆盖歧义、冲突与受控社会影响等压力场景。在ALOE、PersonaChat与PERSIST上,CORE提升了个性化对齐与鲁…
该研究提出“叙事俘获”概念,指模型在道德咨询多轮对话中,面对单方面叙述时可能将其视为完整信息并偏向叙述者,缺乏对缺失视角的探寻。基于5078个冲突场景的基准测试,17个LLM均表现出此现象,多轮叙述使最终判断平均偏移25个百分点。偏好优化是主要诱因,推理时策略仅能部分缓解。
该研究提出基于指令微调小语言模型的累积轮次风险评估框架,用于检测针对老年人的多轮金融诈骗。模型在资源受限环境下持续更新风险估计,Phi-4和LLaMA-3.2表现较优,支持设备端隐私保护。
针对缺乏身份信号的文本对话系统,论文将弱身份信息下的未成年人隐式识别建模为高风险用户属性推断任务。提出由大模型、Harness 与 Maker-Checker 协议组成的受限框架,控制推断触发时机并要求结构化对话证据。在 8328 条中文多轮对话基准上,平均精度与未成年类 F1 分别提升 7.60…
论文研究多轮越狱攻击中早期查询历史是否仍必要,定义“有效视界”为恢复同等攻击进展所需的最短查询序列。实验发现平均约一半查询即可恢复相同进展,并据此降低早期查询学习权重可提升攻击训练效果,同时短奖励传播窗口可保持接近全轨迹的防御校准性能。
研究者提出 Loci(Localization Of Corrupted Inferences)框架,通过概率化定位多轮对话中被错误排除的用户意图,并选择性保留、验证或删除相关状态更新。在注入错误与自由对话测试中,Loci 将平均恢复成本较最强基线降低 46%-79%。
论文提出 SmartSalesBench,首个针对 LLM 销售智能体的多轮对话基准,让智能体面对心理上具抵抗性的买家角色,对话最长20轮。基准含5种智能体画像、12种买家角色、15款手机与13680场会话,用 RAG 支撑生成,并设九项三层评估指标,结合 LLM 评判与人工评估。