★ 3
测量AI偏好:模型与工具各占多少?
研究固定结果和模型,仅变化测量工具,发现模型对结果的排序在不同工具间泛化系数仅为0.348。单一工具获得的偏好信息有限,需要约38种工具才能达到0.80的泛化系数。这表明AI偏好测量结果高度依赖工具。
arXiv cs.AI68 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究固定结果和模型,仅变化测量工具,发现模型对结果的排序在不同工具间泛化系数仅为0.348。单一工具获得的偏好信息有限,需要约38种工具才能达到0.80的泛化系数。这表明AI偏好测量结果高度依赖工具。