★ 2
NLData2Opt 基准发布:LLM 从自然语言与数据建模优化问题
现有基准依赖理想化输入,高估了 LLM 将问题描述与数据转化为优化模型的能力。作者推出 NLData2Opt,要求模型从含误导属性的数据中抽取参数、计算派生参数、并预测缺失的未来值。结果显示性能较既有基准大幅下降,说明基准分数的进步并不能直接转化为真实优化工作流中的建模准确率。
arXiv NLP14 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
现有基准依赖理想化输入,高估了 LLM 将问题描述与数据转化为优化模型的能力。作者推出 NLData2Opt,要求模型从含误导属性的数据中抽取参数、计算派生参数、并预测缺失的未来值。结果显示性能较既有基准大幅下降,说明基准分数的进步并不能直接转化为真实优化工作流中的建模准确率。