#聊天助手

PersonaChatBench 用多样化模拟用户评测聊天助手

论文提出 PersonaChatBench 评测框架，将同一任务与多个由人设卡驱动的模拟用户配对，考察助手在不同用户条件下的表现变化。研究评测了 20 个语言模型、覆盖六个领域，分别衡量任务结果、人设需求满足度与模拟器保真度。结果显示任务表现强并不必然带来需求满足，模型优势在不同领域间也不一致。