★ 3
System-1 模型生物安全基准审计：校准与选项顺序不稳
论文审计了一款商用非生成式 System-1 模型在 WMDP 与 LAB-Bench 等生物安全相关基准上的可靠性，涵盖准确率、校准、选择性预测与选项顺序敏感性。模型校准尚可（ECE 0.034），但准确率高度依赖任务；在选项循环轮换下 37.4% 的 WMDP-Cyber 题目答案改变，主要归…
arXiv cs.LG35 天前
#选择性预测
共 6 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
开发者发布 NullPrime 基准，测试 AI 模型能否识别「自己不知道」
开发者 bmiedlar 开源 NullPrime，用一组剔除小素数整除特征的整数素数判定任务，作为不确定性估计、弃答与选择性预测的负对照基准。实验显示标准学习器能完美记忆训练集但在新样本上仅达随机水平，说明模型无法从表示中推断答案，也无法可靠地表达「不知道」。
Hacker News – AI1 天前
★ 2
研究提出选择性跨度标注的伙伴模型选择方法
论文研究跨度标注器将高风险输出转交人工时，应选择哪个第二模型提供意见。在 576 组主模型-伙伴配对中，按主模型错误上的留出准确率选择伙伴可恢复最优伙伴增益的 82%，显著优于按跨度 F1 或随机选择。该规则在第四个数据集上复现，并显示伙伴价值具有方向性。
arXiv NLP3 天前
★ 2
B-CARE 框架提出：盲评证据为立场分类错误排序
研究者提出 B-CARE，一个预测盲的框架，仅凭目标与文本让固定 LLM 验证器为所有候选立场标签打有序证据分，再对比最强替代类证据与预测类证据构建风险分，可跨多个基座模型复用。在四个立场基准、三个异构 LLM 共 5206 条样本上平均 AUROC 0.735，最高风险 20% 预测中捕获 41…
arXiv NLP11 天前
★ 2
COVER：选择性睡眠分期中的覆盖率优化
论文研究级联睡眠分期第一阶段，提出 COVER 方法，用学习到的误差分数替代最大 softmax 概率，并在经验接受风险约束下直接最大化覆盖率。在 Sleep-EDF-20 上，平均受试者覆盖率从 31.5% 提升至 48.8%，相同接受量下错误从 1467 降至 867。COVER 在八个评分器…
arXiv cs.LG27 天前
★ 2
OpenJev-RLCD：可用的校准决策强化学习实现
研究者提出面向推理模型的校准决策强化学习（RLCD）可用实现，通过严格适当评分规则对答案分布打分，并采用先校准后强化的两阶段配方。在 Qwen3-1.7B 上，RLCD 在准确率上匹配或超越 SFT、RFT/STaR 和 GRPO，并在选择性预测上全面胜出。
arXiv cs.AI32 天前
这个主题的相关资产
相关公司阿里巴巴1