★ 3
PersEvalBench：LLM 评测者能否判断人设使用是否恰当
研究者提出 PersEvalBench，测试 LLM 评测者能否识别用户历史信息使用是否恰当，包含 403 个多轮场景与九类受控错误。结果显示五款 LLM 评测者识别能力有限，欠个性化错误上人类识别率 94.4%，最强评测者仅 63.9%，且常将错误方向弄反。
arXiv NLP18 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究者提出 PersEvalBench，测试 LLM 评测者能否识别用户历史信息使用是否恰当，包含 403 个多轮场景与九类受控错误。结果显示五款 LLM 评测者识别能力有限，欠个性化错误上人类识别率 94.4%，最强评测者仅 63.9%，且常将错误方向弄反。