★ 3
研究：12 个开源大模型评判反仇恨言论质量与人类专家一致性低
论文测试 12 个不同规模开源模型在零样本、少样本与思维链提示下评估反仇恨言论质量，最佳配置 Qwen 2.5 72B 与人类专家的 Cohen's kappa 仅 0.19。把逐点打分转为成对比较可显著提升一致性，但模型之间彼此一致度远高于与人类的一致度，提示 LLM 评审存在系统性偏差。
arXiv NLP14 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文测试 12 个不同规模开源模型在零样本、少样本与思维链提示下评估反仇恨言论质量，最佳配置 Qwen 2.5 72B 与人类专家的 Cohen's kappa 仅 0.19。把逐点打分转为成对比较可显著提升一致性，但模型之间彼此一致度远高于与人类的一致度，提示 LLM 评审存在系统性偏差。