★ 3
研究：六大前沿模型误判作者年龄，置信度高达 88% 却接近随机
论文用三名学生回答同一道「幸福是什么」考题，测试 Claude Fable 5、Gemini 3.1 Pro、GPT-5.6 Sol、Grok 4.5、GPT-4o、DeepSeek V4 六款模型对作者年龄的匹配能力。六个模型中有三个准确率接近随机（1/3），却自报 73%-88% 置信度；17…
arXiv NLP6 天前
#置信度校准
共 7 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
ChronoRegime：面向未来可预测性的时序推理框架 CTR
研究者提出 ChronoRegime 未来导向时序推理任务，要求模型判断历史时序证据是否足以支持对未来答案的承诺，并提出置信度感知时序推理框架 CTR。在多个 LLM 上，CTR 将严格总体准确率提升 6.7 个百分点，平均降低幻觉率 18.4 个百分点。
arXiv NLP18 天前
★ 3
TASCO：稳定性感知的LLM推理测试时适应
研究指出高置信度并不代表正确，但若置信度在局部扰动下保持稳定则更可能正确。据此提出TASCO框架，在保持LLM冻结的前提下，通过优化轻量级任务前缀将局部稳定性纳入置信度驱动的测试时适应，采用随机扰动与锐度感知扰动两种策略。实验显示TASCO在多种LLM与推理基准上提升准确率与token效率，且不使…
arXiv cs.AI50 天前
★ 3
研究：从内部表征校准智能体任务成功置信度
论文研究多轮智能体任务中，模型内部表征能否比表层生成信号更可靠地预测任务最终成功。作者提出两种方法：潜在轨迹动态（LTD）总结残差流表征在交互轨迹中的变化，动作表征探针（ARP）从动作决策时的表征预测成功。在Bash、SQL、Python三个交互基准和三个模型家族上，方法均优于基线，提供无需改提示…
arXiv cs.AI52 天前
★ 2
研究：单一置信阈值下非英语语言自动处理覆盖率显著偏低
论文在 51 种语言、1000 条 MASSIVE 样本上测试三家厂商的分类接口，阈值设为 0.9。结果显示即使英译与其他语言都答对，英文版本越过阈值的概率平均高 8.6 至 11.7 个百分点，其他语言自动处理覆盖率均低于英文。将输入翻译成英文可大幅缩小差距，作者建议按语言分别报告运行阈值下的覆…
arXiv NLP2 天前
★ 2
arXiv 论文：置信度校准的推理扩展控制方法
一篇 arXiv 论文提出面向评估器引导推理的计算感知三动作控制器，在每一步选择信任当前答案、回退或继续扩展推理，并显式计入计算成本。方法通过局部动作间隙分析与期望遗憾界，学习并校准动作级置信度估计。在宽度扩展与修订任务上，相比校准选定的固定策略，在线计算量分别降低约 30% 和 16%，并在四个…
arXiv cs.AI16 天前
★ 2
OmniMed-Jev：校准医学多模态模型置信度
论文提出OmniMed-Jev，将每个医学决策表示为对运行时候选集的Choice、Noul或Score决策，并返回完整概率分布，使异构输出变为可比较的概率。在与同骨干、同数据训练的生成式基线对比中，其报告概率更贴近实际正确率，校准误差降低最多一个数量级。作者强调结果仅支持显式决策建模的价值，不构成…
arXiv cs.LG30 天前