★ 3
LLM评审员职业测量审计：排序一致不等于尺度一致
研究提出O*NET-BENCH审计套件，基于45,796份工人评分数据，评估33种LLM评审配置。结果显示，25种配置在配对排序准确率上达到0.60以上，但可接受率估计从3.0%到97.9%不等，与职业匹配工人的61.1%差距巨大。研究表明，排序一致性不足以支撑职业测量，评审员应针对其分数将被用于…
arXiv cs.AI28 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究提出O*NET-BENCH审计套件，基于45,796份工人评分数据，评估33种LLM评审配置。结果显示，25种配置在配对排序准确率上达到0.60以上，但可接受率估计从3.0%到97.9%不等，与职业匹配工人的61.1%差距巨大。研究表明，排序一致性不足以支撑职业测量，评审员应针对其分数将被用于…