★ 3
arXiv 发布 DAPE 政策变化推理基准，14 个开源模型零样本失败
研究者提出双轴政策蕴含（DAPE）基准，对 1000 对有序政策指令同时判断是否属同一政策域、以及延续/扩大/收窄/反转关系，数据取自中国政府政策语料。14 个开源模型与 4 个前沿 API 旗舰模型零样本全部失败，最佳旗舰 Cohen's κ 仅约 0.29，远低于人类上限 0.53。基于 Qw…
arXiv NLP10 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究者提出双轴政策蕴含（DAPE）基准，对 1000 对有序政策指令同时判断是否属同一政策域、以及延续/扩大/收窄/反转关系，数据取自中国政府政策语料。14 个开源模型与 4 个前沿 API 旗舰模型零样本全部失败，最佳旗舰 Cohen's κ 仅约 0.29，远低于人类上限 0.53。基于 Qw…