★ 3
研究提出模型衍生测量值的校正与比较新规则
arXiv 论文指出由模型计算出的难度分、基准领先幅度等数值会随随机种子与提示变化。作者证明教科书式信度校正的均方误差为无穷大，并提出仅在两项信度通过显著性检验时才校正、再除以上置信界的规则。研究还显示提示设置可反转模型排名，ARC 上 Qwen2-1.5B 与 Llama-3.2-3B 的差距在…
arXiv cs.LG3 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
arXiv 论文指出由模型计算出的难度分、基准领先幅度等数值会随随机种子与提示变化。作者证明教科书式信度校正的均方误差为无穷大，并提出仅在两项信度通过显著性检验时才校正、再除以上置信界的规则。研究还显示提示设置可反转模型排名，ARC 上 Qwen2-1.5B 与 Llama-3.2-3B 的差距在…