★ 2
CoffeeBench：LLM 智能体能否诊断家电故障
研究者提出 CoffeeBench，一个基于模拟家电的 LLM 智能体故障诊断任务。评估显示模型难以仅凭传感器信息稳定识别故障，但表现最佳者可通过迭代缩小故障选项空间最终成功诊断。分析还给出诊断效率区分、弱模型表现及选择性预测启发式等洞见。
arXiv NLP18 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究者提出 CoffeeBench，一个基于模拟家电的 LLM 智能体故障诊断任务。评估显示模型难以仅凭传感器信息稳定识别故障，但表现最佳者可通过迭代缩小故障选项空间最终成功诊断。分析还给出诊断效率区分、弱模型表现及选择性预测启发式等洞见。