★ 3
EDB-Bio 基准测试语言模型科学证据权衡能力
论文发布 EDB-Bio 科学推理基准，含 9.6 万条来自药物转录组、CRISPR 与 GWAS 的真实实验序列。前沿模型普遍过度保守，按严格适当评分规则后训练可显著改善校准，Ibis0 模型实验选择效率达最佳前沿模型 2.5 倍。
arXiv cs.LG4 小时前
#模型校准
共 16 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
ThinkJev 用快慢双系统按需思考，降低类型化决策成本
论文提出 ThinkJev，基于同一开源混合思考模型构建快慢双系统：System 1 直接读取选项字母概率，System 2 在缓存提示上思考后再读同一批字母，可复用同一次思考覆盖所有思考预算。在 5% 目标错误率下，Qwen3.5-27B 有 24.5% 的测试决策由 System 1 直接作答…
arXiv cs.AI3 天前
★ 3
开源医疗模型 MedJev 发布评测：零样本诊断接近 GPT-4
arXiv 论文提出并评测开源 System One 模型 MedJev，可在笔记本本地运行，单次前向推理直接输出结构化答案。在 MedQA、USMLE、NEJM 等十项医疗基准上分别取得 72.5%、75.4%、80.1% 准确率，接近已发表的 GPT-4 水平，且置信度校准良好。院内死亡预测 …
arXiv NLP5 天前
★ 2
开发者发布 NullPrime 基准，测试 AI 模型能否识别「自己不知道」
开发者 bmiedlar 开源 NullPrime，用一组剔除小素数整除特征的整数素数判定任务，作为不确定性估计、弃答与选择性预测的负对照基准。实验显示标准学习器能完美记忆训练集但在新样本上仅达随机水平，说明模型无法从表示中推断答案，也无法可靠地表达「不知道」。
Hacker News – AI1 天前
★ 2
arXiv 论文：基于锚点框架的血糖风险预测可靠性对比
研究提出基于锚点的基准框架，整合纵向血糖序列与多模态患者信息，在 T1DiabetesGranada 数据集上构建 550 万个预测锚点。对比混合 LSTM-Transformer、多模态数字孪生与状态更新数字孪生三种架构，在 30/60/120 分钟预测窗口下评估。统计上预测性能无显著差异，但各…
arXiv cs.LG5 天前
★ 2
arXiv 论文：类型化决策模型置信度审计，Laya 与 Jev 1.13 对比
论文审计类型化决策模型输出的概率是否真能兑现准确率承诺，对比开源权重模型 Laya 五个检查点与仅 API 可用的 Jev 1.13。在 190 次可交换评估中，点估计阈值在 147 次违背承诺，Learn then Test 全部守住。Jev 在 51 个语种中仅 8 个守住 95% 承诺，普通…
arXiv cs.LG5 天前
★ 2
arXiv 论文提出证据状态校准与 SufiCE 置信度估计方法
论文指出语言模型在证据不足时仍倾向作答，提出「证据状态校准」概念，要求模型作答前的置信度与实际正确率匹配，并随证据变化而调整。所提 SufiCE 方法在临床诊断与多跳问答任务上把 Brier 分数最多降低 60%、AUROC 最多提升 0.16。
arXiv NLP6 天前
★ 2
DBCM：面向时间序列预测测试时自适应的双分支校准模块
论文提出双分支校准模块 DBCM，用于时间序列预测中的测试时自适应。作者发现预测残差在通道间存在大量共享结构，因此用共享适配器承载跨通道自适应能力，再用低秩通道适配器保留少量通道特异性，并辅以通道混合与非线性门控调制。实验显示 DBCM 在多种数据集、预测步长和骨干网络上均优于现有方法。
arXiv cs.LG7 天前
★ 2
博客：用 LLM 做置信度评分是个坏主意
一篇技术博客论证让大语言模型自评置信度并不可靠，模型输出的概率或分数与实际正确率往往脱节。作者建议改用外部校准与验证手段评估不确定性。
Hacker News – LLM12 天前
★ 2
System One 模型能否迁移？印尼区域语言评测
研究对商业 Jev 模型与开源 Laya-multilingual 模型在印尼区域语言上进行预注册评测，使用 NusaX 与 NusaTranslation 数据集。Jev 在词汇上更接近印尼语的句子上更准确，提供印尼语人工翻译可提升最高 37.2 分；重训练分类器需每语言超 500 条标注才能匹…
arXiv NLP19 天前
★ 2
RL-ARC：推理引导不确定性校准大推理模型
论文指出可验证奖励强化学习（RLVR）会导致模型校准退化与过度自信，提出 RL-ARC 校准感知训练框架，联合利用推理置信度与答案置信度，对正确样本做正则、对错误样本做过度自信惩罚。实验显示其在分布内与分布外场景均改善校准，且不明显牺牲推理性能。
arXiv cs.AI24 天前
★ 2
邻域平滑用于神经网络校准
论文提出图平滑作为训练时校准的通用原则，鼓励表示空间中相邻样本具有相似的预测分布，并推导了邻域预测散度与局部置信度变化及校准误差传播之间的界限。所提图正则化器在标准校准基准上提升预测质量，且与温度缩放等事后校准互补。
arXiv cs.LG25 天前
★ 2
电信客户流失基准的99%准确率隐忧
一篇 arXiv 论文对 IBM 电信客户流失基准（n=7043）进行可信度审计，指出文献中普遍报告的 95% 以上准确率存在四类问题。其中预划分 SMOTE 使流失类 F1 虚高 13.1 个百分点，成本最优阈值比 F1 最优阈值低 5-10 倍，每千名客户可省约 7.7 万美元。作者提出包含流…
arXiv cs.LG31 天前
★ 2
PixelJev：原生图像视觉决策模型研究
论文提出 PixelJev，一种原生图像决策接口，用小型开源多模态模型将图像、任务指令与运行时候选集映射为结构化选择及候选条件概率。在七项基准评测中，64 样本源域适配将 Pets 准确率从 60.13% 提升至 92.40%，并可迁移到新纹理标签与 A-OKVQA。研究指出准确率提升并不保证目标…
arXiv cs.AI38 天前
★ 2
CORE-STACK+：深度堆叠泛化的元学习方法
论文提出 CORE-STACK+ 预处理流水线，解决异构视觉骨干堆叠中的预测空间多重共线性与校准崩塌问题。其四个组件包括核化冗余过滤、可微元特征门控、谱自适应 Ridge 惩罚与拉普拉斯近似贝叶斯混合器，并给出联合考虑冗余与元学习器容量的 PAC-Bayes 超额风险界。在六个基准上提升精度与鲁棒…
arXiv cs.LG39 天前
★ 1
研究者用局部后验推断改进海洋湍流闭合模型校准
论文构建按观测与目标情境接近度加权的局部后验族，用高斯局部化权重纳入情境不确定性，并以条件归一化流做摊销变分推断。在 Branin-Hoo 双实验与单柱海洋模型 k-ε 湍流闭合应用中，局部后验校准相比确定性校准与全局后验校准降低了温度与纬向速度误差。
arXiv cs.AI3 天前