★ 2
研究：多正确选项下决策模型概率分配失衡
论文评测 Jev、Liquid d1 与 GPT-6 Luna Decisions 三个决策模型在 MetaTool、HotpotQA、ECtHR 数据集上的概率分配。发现即使正确选项排序靠前，仍有 28%–50% 的列表里至少一个正确选项概率低于均匀值 1/n；给同一正确选项五个副本时，概率差距…
arXiv cs.AI11 天前
#概率校准
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
TypedBench 发布：评估类型化决策模型的校准与成本
研究者提出 TypedBench，一个面向 System One 类型化决策模型（如 Jev）的评测基准，覆盖策略遵循、措辞敏感性与概率质量。评测显示托管模型虽遵循策略但对措辞敏感且系统性欠自信，在非对称成本下其概率反而不如直接取最高答案；开源解码器路由精确但随选项增多变慢。该工作强调类型化决策模…
arXiv cs.AI24 天前
★ 2
LWCal：噪声校准标签下的表格分类器损失加权校准
论文提出 LWCal，一种仅用 CPU 的事后概率校准方法，针对校准标签本身含噪声这一被忽视的失效模式，通过降低与基模型预测相矛盾的噪声样本权重来校准。其变体 Gated-LWCal 加入保守分歧门控，在九个表格任务上取得最低校准误差，随机森林实验中 ECE 从 0.188 降至 0.122。方法…
arXiv cs.LG39 天前