★ 3
生产环境 LLM 智能体高效基准评测研究
论文基于某生产分析智能体（月活数万）的 574 次历史基准运行，比较随机采样、历史缓存、固定代表子集与基于 IRT 的自适应测试。结果显示多维 2PL 自适应测试保真度最佳，仅执行 200 题（38.5%）即可将 MAE 控制在 1.03 个百分点；实际部署则采用难度分层固定子集，因其运维简单且可…
arXiv cs.AI42 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文基于某生产分析智能体（月活数万）的 574 次历史基准运行，比较随机采样、历史缓存、固定代表子集与基于 IRT 的自适应测试。结果显示多维 2PL 自适应测试保真度最佳，仅执行 200 题（38.5%）即可将 MAE 控制在 1.03 个百分点；实际部署则采用难度分层固定子集，因其运维简单且可…