★ 2
研究:单一置信阈值下非英语语言自动处理覆盖率显著偏低
论文在 51 种语言、1000 条 MASSIVE 样本上测试三家厂商的分类接口,阈值设为 0.9。结果显示即使英译与其他语言都答对,英文版本越过阈值的概率平均高 8.6 至 11.7 个百分点,其他语言自动处理覆盖率均低于英文。将输入翻译成英文可大幅缩小差距,作者建议按语言分别报告运行阈值下的覆…
arXiv NLP3 天前
共 3 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文在 51 种语言、1000 条 MASSIVE 样本上测试三家厂商的分类接口,阈值设为 0.9。结果显示即使英译与其他语言都答对,英文版本越过阈值的概率平均高 8.6 至 11.7 个百分点,其他语言自动处理覆盖率均低于英文。将输入翻译成英文可大幅缩小差距,作者建议按语言分别报告运行阈值下的覆…
论文在匹配条件下对比System One决策模型、监督分类器与生成式语言模型在自动化决策门中的应用。结果显示模型类别排名依赖条件:有任务标签时小型训练分类器在意图上最准;无标签时多数决策模型超过零样本蕴含分类器。研究还揭示校准误差、越界接受率与是/否翻转等问题,并给出条件相关的设计规则。
Glyphh 发布 Ada,一款基于先例(precedent-based)的分类器,并配备 LLM 兜底路由机制,用于在规则分类无法覆盖时转交大模型处理。