★ 2
AI4Fire：LLM 野火任务评测暴露短板
论文提出 AI4Fire 基准，在五项野火任务上以零样本方式测试六款核心模型（另扩展 29 款）在「裸测」与「有依据」两种条件下的表现。结果显示：只读 SQL 工具可将数据库准确率从最高 16% 提升至至少 88%；简单规则难以被击败，无模型能超过「沿用今日排班数」的基线；公开数据集还存在标签泄漏…
arXiv NLP24 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 AI4Fire 基准，在五项野火任务上以零样本方式测试六款核心模型（另扩展 29 款）在「裸测」与「有依据」两种条件下的表现。结果显示：只读 SQL 工具可将数据库准确率从最高 16% 提升至至少 88%；简单规则难以被击败，无模型能超过「沿用今日排班数」的基线；公开数据集还存在标签泄漏…