ARCS 基准发布:结构化消歧提升 Text-to-SQL
论文提出「结构化消歧」新范式,用受约束的显式交互替代自由对话来消解用户问题歧义,并构建首个含真实数据库自然歧义的 Text-to-SQL 基准 ARCS。实验显示歧义场景下 gpt-6-sol 端到端执行准确率仅 51%,开源模型均不超过 27%。
共 5 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文提出「结构化消歧」新范式,用受约束的显式交互替代自由对话来消解用户问题歧义,并构建首个含真实数据库自然歧义的 Text-to-SQL 基准 ARCS。实验显示歧义场景下 gpt-6-sol 端到端执行准确率仅 51%,开源模型均不超过 27%。
论文指出 SQL 成功执行不代表语义正确,研究退款归因、税务处理等业务定义变更后固定查询的复核问题,提出可执行验证配置绑定修订版本与反例数据。在 32 个修订族、192 个查询-定义单元上,义务引导检查检出 137 处不一致,比通用排序多 6.9 个百分点。
论文提出对抗式意图解析框架 AIR,通过构建竞争性解释、执行 SQL 验证差异并生成澄清问题,无需任务特定训练即可处理歧义查询。在 AMBROSIA 基准上 F1 达 0.679,超过 IntentRL 的 0.618,且在缺少完整数据库时性能仅下降约 7%。
论文发布 DSABench,包含 815 个人工审核任务,联合评测智能体在多数据库目录中的源发现、跨源协调与执行能力。结果显示含协调要求时最高 RA-Graph 得分仅 34.66%,执行场景下成功率更低,澄清提问可显著提升歧义任务表现。
论文提出企业表征简化(ERS)与企业表征复杂度(ERC)模型,用对象、交互、行为与支撑来源四个维度刻画表征复杂度,区分架构简化与检索优化。作者建立经济模型评估表征维护成本,并援引 Text-to-SQL 研究说明降低任务级复杂度可提升推理准确率。
Apowerb 发布开源 AI 智能体运行时,支持 RAG、Text-to-SQL 与 Webhook,帮助开发者构建、编排和运营生产级 AI 代理。核心版本开源,计费、评估、组织管理等能力作为商业模块单独提供,采用 Docker Compose 一键部署。