#推理记录

研究：基准饱和后仍可从解题记录评估模型能力

随着模型在基准上接近满分，基准区分能力下降。论文利用历史基准与模型发布模拟饱和，测试仅凭已饱和基准中正确解题的完整记录能否预测模型在未饱和题目上的能力。结果显示饱和记录仍保留能力信息，成对评判方法将预测误差降低 5.3 倍，但跨分布迁移时预测力不稳定。