AI 事件专题★ 3

大模型评判反仇恨言论质量

研究:12 个开源大模型评判反仇恨言论质量与人类专家一致性低

11-04 13:00 首发·1 家媒体·1 篇报道·持续 1 天·学术研究
当事方:阿阿里巴巴
事件综述

论文测试 12 个不同规模在零样本、少样本与提示下评估反仇恨言论质量,最佳配置 2.5 72B 与人类专家的 Cohen's kappa 仅 0.19。把逐点打分转为成对比较可显著提升一致性,但模型之间彼此一致度远高于与人类的一致度,提示 存在系统性偏差。

各方报道 1 篇

arXiv NLP·11-04 13:00★ 3
研究:12 个开源大模型评判反仇恨言论质量与人类专家一致性低

论文测试 12 个不同规模在零样本、少样本与提示下评估反仇恨言论质量,最佳配置 2.5 72B 与人类专家的 Cohen's kappa 仅 0.19。把逐点打分转为成对比较可显著提升一致性,但模型之间彼此一致度远高于与人类的一致度,提示 LLM 评审存在系统性偏差。

原文

关联

相关事件:
阿里巴巴 其他动态(30 篇,与该事件无直接关联)展开 ▾
11-04 13:00论文发布长周期基准,检验联邦学习信任边界是否持久arXiv cs.LG11-04 13:00arXiv 研究:长上下文检索失败源于注意力竞争而非长度arXiv NLP11-03 13:00NURESA:神经元级持久记忆实现模型间记忆迁移arXiv cs.AI11-03 13:00Trail 框架实现本地智能家居控制,鲁棒场景准确率 85.3%arXiv cs.AI11-03 13:00arXiv 发布 DAPE 政策变化推理基准,14 个开源模型零样本失败arXiv NLP11-03 13:00研究:4bit 量化改变 Qwen2.5-7B 潜意识偏好,16bit 审计失效arXiv NLP11-02 13:00Noura 框架发布:用个人规格监督 LLM 饮食规划,Qwen3-14B 通过率升至 72.5%arXiv cs.AI11-02 13:00arXiv 论文解析大模型强化学习中训练-推理失配的成因与修正arXiv cs.LG11-02 13:00研究:bf16 舍入丢弃多数 RL 策略更新,提出 Fair Cast 一行修复arXiv cs.LG11-02 13:00研究:相关性标注不完整会扭曲对话 RAG 的拒答评估arXiv NLP11-02 13:00TraceSpec:为 LLM 智能体改进投机解码的轨迹自适应框架arXiv NLP10-31 09:39苹果与阿里巴巴合作,千问集成至 Apple 智能36氪10-31 05:59开发者将 NES 模拟器烧进 Qwen3.5-4B 权重Simon Willison Blog10-31 00:16阿里蔡崇信:千问开源模型全球累计下载超 40 亿次Lovable10-30 12:00SkillMem 提出潜空间多智能体技能记忆压缩方案arXiv cs.AI10-30 12:00MIOE 基准评估 LLM 本体工程机制可解释性arXiv cs.AI10-30 12:00SCOPE:面向智能体强化学习的选择性关键步自蒸馏arXiv cs.AI10-30 12:00Jailbreak Connectivity:多模态大模型通用越狱攻击框架arXiv cs.LG10-30 12:00论文提出 HRS 方法让冻结 LLM 评审对齐人类评分分布arXiv NLP10-30 12:00DaR 流程提升阿拉伯语法条检索,证据法 MRR 升至 0.696arXiv NLP10-30 12:00研究用发音词典监督 Qwen3-TTS 适配爱尔兰语arXiv NLP10-29 08:25Qwenputer:在 Qwen3.5 内构建可运行的确定性 RISC-V CPUHacker News10-29 01:45Qwenputer:把 RISC-V CPU 编译进 Qwen3.5-4B 权重Hacker News – LLM10-28 12:00研究:智能体记忆检索到旧事实反而更易答错arXiv cs.AI10-28 12:00DiscernMem:多智能体记忆精炼与使用时机框架arXiv cs.AI10-28 12:00PsyJev:基于 System-1 判断的心理分析模型arXiv cs.AI10-28 12:00研究用基座模型似然解码提示分类器漏掉的隐藏意图arXiv cs.LG10-28 12:00CAMR:面向大模型持续学习的兼容性感知记忆回放arXiv NLP10-28 12:00研究发布豪萨语安全偏好数据集 HausaSafeLM,评估 SFT 与 DPO 对齐效果arXiv NLP10-27 12:00arXiv 提出 SLICE-Mem:轻量 LLM 智能体记忆框架arXiv NLP
大模型评判反仇恨言论质量 最新进展 - 事件时间线 - 智讯 AI News