★ 2
中学科学NGSS对齐的LLM评测基准
研究构建了面向初高中科学、对齐NGSS标准的LLM评测基准,采用合成数据管线、多评委验证与心理测量分析。评估九个开源权重模型发现,部分小型本地可部署模型准确率很高,模型规模并不能稳定预测表现。人工复核显示合成题目与NGSS标准并非完全对齐,凸显人机协同出题的必要性。
arXiv cs.AI34 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究构建了面向初高中科学、对齐NGSS标准的LLM评测基准,采用合成数据管线、多评委验证与心理测量分析。评估九个开源权重模型发现,部分小型本地可部署模型准确率很高,模型规模并不能稳定预测表现。人工复核显示合成题目与NGSS标准并非完全对齐,凸显人机协同出题的必要性。