arXiv NLP·9 小时前★ 3

arXiv 发布 DAPE 政策变化推理基准，14 个开源模型零样本失败

原文标题：Dual-Axis Policy Entailment: A Benchmark for Policy-Change Reasoning

重要度 3/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

研究者提出双轴政策蕴含（DAPE）基准，对 1000 对有序政策指令同时判断是否属同一政策域、以及延续/扩大/收窄/反转关系，数据取自中国政府政策语料。14 个开源模型与 4 个前沿 API 旗舰模型零样本全部失败，最佳旗舰 Cohen's κ 仅约 0.29，远低于人类上限 0.53。基于 Qwen3-14B 的 LoRA 微调模型将 κ 提升至 0.524，接近人类水平。作者还用该方法绘制了 1980—2024 年中国 AI 政策变化方向。

所属主题基准测试5

#学术研究 #政策推理 #基准测试 #Qwen3 #模型微调 #AI 政策

阅读原文 +0

AI 处理过程展开/收起

原始标题：Dual-Axis Policy Entailment: A Benchmark for Policy-Change Reasoning

AI 中文标题：arXiv 发布 DAPE 政策变化推理基准，14 个开源模型零样本失败

来源：arXiv NLP · 发布于 9 小时前

分类：学术研究 · AI 重要度：★ 3（3）

标签：政策推理 / 基准测试 / Qwen3 / 模型微调 / AI 政策

关键词：DAPE 基准 / 政策变化推理 / Qwen3-14B 微调 / AI 政策研究 / 大模型评测

AI 处理：2026/11/3 18:36:05 · 模型 deepseek-chat · 规则版本 2026-10-21.1

AI 生成以上内容由 AI 自动生成：中文标题、摘要、分类与重要度；同一事件的多家报道会自动归并展示。内容仅供参考，可能存在偏差，请以原文为准，不构成任何投资或专业建议。
版权归原作者与原发布平台所有；若涉及侵权或信息错误，请在举报与侵权投诉页反馈，我们会及时处理。