#系统研究

Siris 基准：测试 LLM 能否判断仿真误差是否影响设计选择

研究者提出 Siris，通过扰动模拟器构造工作负载对，检验 LLM 能否判断模拟器局限是否使推荐设计失效。在 LLM 服务设计问题上评测 13 个前沿模型，发现识别出局限并不等于能做出正确选择，最强模型有时也会放弃有效推荐。自我复核可修复部分错误，但在另一些模型上引入新错误。