★ 3
AGORA：基于项目反应理论的 LLM 评审可靠性加权聚合
针对 LLM-as-a-judge 中评审池可靠性参差、人工标注集偏小的问题，论文提出 AGORA，一种基于项目反应理论的聚合器。它将每个条目置于单一潜在质量尺度，用敏感度参数与有序评分阈值刻画每位评审，无需人工标签即可联合学习可靠性。在三个基准上，AGORA 在大评测集上持平或超越 Dawid-…
arXiv cs.AI6 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
针对 LLM-as-a-judge 中评审池可靠性参差、人工标注集偏小的问题，论文提出 AGORA，一种基于项目反应理论的聚合器。它将每个条目置于单一潜在质量尺度，用敏感度参数与有序评分阈值刻画每位评审，无需人工标签即可联合学习可靠性。在三个基准上，AGORA 在大评测集上持平或超越 Dawid-…