★ 3
研究：量化模型校准增益可在不同表示间复用
论文研究同一预训练模型不同表示之间能否复用尺度校准学到的更新，方法为提取正向分组增益并直接写入接收方权重或原生量化尺度，无需接收方优化，且保持整数编码、零点与存储布局不变。在 Qwen3-1.7B 浮点/GPTQ INT3 组合上，双向迁移保留 76.9%–90.5% 的文本损失改善；打乱增益分组…
arXiv cs.LG14 天前
#校准
共 19 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
System-1 模型生物安全基准审计：校准与选项顺序不稳
论文审计了一款商用非生成式 System-1 模型在 WMDP 与 LAB-Bench 等生物安全相关基准上的可靠性，涵盖准确率、校准、选择性预测与选项顺序敏感性。模型校准尚可（ECE 0.034），但准确率高度依赖任务；在选项循环轮换下 37.4% 的 WMDP-Cyber 题目答案改变，主要归…
arXiv cs.LG35 天前
★ 3
OBC-Prune：面向大推理模型的基于结果校准剪枝
大推理模型生成冗长思维链带来显著推理开销，剪枝效果取决于校准数据。近期工作用模型自身 rollout 校准，却对所有推理 token 一视同仁，导致错误计算背后的权重与正确计算一样被保留。论文提出 OBC-Prune，先构造难度匹配的正确与错误 rollout 对，再通过干预分析估计每句推理的因果…
arXiv cs.AI46 天前
★ 3
研究：行为语言模型中评分式与生成式读数的实证对比
论文在固定模型检查点与提示内容的前提下，比较评分答案token所得概率与写出理由后生成预测的差异。在覆盖三个市场四类零售任务的13个模型-领域单元中，评分式读出在12个单元中排序更准，AUC高出1.5至14.5点。研究还发现生成理由会降低对主导预测特征的依赖并趋于套话，建议保留生成理由但用评分头做…
arXiv cs.AI53 天前
★ 2
研究构建法语输入变体基准评测 LLM 准确率与可靠性
论文构建受控法语表层变体基准，覆盖七类任务、4200 组原始-低-高三元组共 12600 条输入，评测两个模型家族的六个模型。结果显示扰动强度越高准确率越低、Brier 分数与负对数似然越差；键盘拼写错误造成最大损失。在原始输入上拟合的校准温度可有效迁移到变体，校准与输入还原结合可进一步改善可靠性。
arXiv NLP6 天前
★ 2
研究：多语言 P(True) 自评需区分问题、回答与验证语言
论文在六语言因子设计中独立变化问题语言、回答语言与验证指令语言，用 10 个 3B-14B 开源模型在 LSQA、MMMLU、TriviaQA 上测量首 token P(True) 置信度。结果显示三种语言影响评估的不同部分：准确率由哪种语言主导取决于基准，验证语言单独可使校准误差偏移达 0.04…
arXiv NLP7 天前
★ 2
研究揭示测试语言左右决策模型对孟加拉语习语的判断
论文审计三类非生成式决策模型（编码器打分器、解码器打分器与闭源 API），用带字面义与比喻义标注的孟加拉语习语做输入干预实验。把习语自身的字面释义塞进选项列表后，各模型 65%–96% 的剩余孟加拉语错误被吸引过去；同一批条目上孟加拉语被捕获的概率是英语的 1.9–6.4 倍。三类模型校准均退化，…
arXiv NLP14 天前
★ 2
arXiv 论文：少样本 LoRA 个性化损害 OOS 拒绝校准
论文发现朴素少样本 LoRA 个性化会在五个公开意图分类基准上全面降低域外拒绝 AUROC，而域内准确率保持不变。部分下降源于标准置信度评分器在适配下的失准，但仍有真实效应，可追溯到已知意图区域嵌入边界的收缩。用马氏距离替代 softmax 置信度可在无额外训练下恢复大部分质量。
arXiv NLP17 天前
★ 2
ReCal：结构化剪枝的在线蒸馏恢复校准方法
论文提出 RECAL（Recovery-Aware Calibration），在剪枝前调整校准统计量，利用未剪枝教师与剪枝探针之间的前向 KL 识别被破坏的预测并重新加权。该方法在多个模型与剪枝方法上提升在线策略蒸馏后的数学推理能力，AIME 最高提升 16.7 个百分点，代码生成任务多数也有改善。
arXiv NLP24 天前
★ 2
SAUCE：并行多智能体推理系统的序列概率不确定性估计
论文聚焦并行多智能体推理系统，提出 SAUCE，一种轻量、免训练的不确定性估计器，将多智能体系统不确定性建模为对潜在系统级信念的序列推断。SAUCE 通过滤波式更新聚合轮级一致性与生成不确定性信号。在五种基座模型、五个基准和两种多智能体协议上，SAUCE 在误分类检测、选择性预测和校准方面优于多种…
arXiv cs.AI25 天前
★ 2
对比决策模型作为评判者的评测
论文评测开源对比决策模型CLM-v0.1-8B在公开评判基准上的表现，发现其接近随机水平，在RM-Bench与JudgeBench上与抛硬币无统计差异。同参数量的奖励模型与生成式评判者得分显著更高。校准后置信度可修复，但置信门控级联几乎无法保留项目，说明近随机评判者的校准置信度价值有限。
arXiv cs.LG26 天前
★ 2
System One决策模型与分类器及语言模型的基准对比
论文在匹配条件下对比System One决策模型、监督分类器与生成式语言模型在自动化决策门中的应用。结果显示模型类别排名依赖条件：有任务标签时小型训练分类器在意图上最准；无标签时多数决策模型超过零样本蕴含分类器。研究还揭示校准误差、越界接受率与是/否翻转等问题，并给出条件相关的设计规则。
arXiv cs.LG31 天前
★ 2
OpenJev-RLCD：可用的校准决策强化学习实现
研究者提出面向推理模型的校准决策强化学习（RLCD）可用实现，通过严格适当评分规则对答案分布打分，并采用先校准后强化的两阶段配方。在 Qwen3-1.7B 上，RLCD 在准确率上匹配或超越 SFT、RFT/STaR 和 GRPO，并在选择性预测上全面胜出。
arXiv cs.AI32 天前
★ 2
直接决策模型中的序数尺度偏差
论文分析 JEV 1.13 及三个开源 KEV 模型，发现直接决策模型在序数决策任务中严重压缩候选空间，最终决策仅使用 67-76% 的有效金标支持。作者将这一现象命名为序数尺度利用偏差，并证明通过 BA-LoRA 后训练可将利用率从约 47% 提升到 86%。
arXiv cs.AI32 天前
★ 2
PersonaDose：校准激活引导实现分级人格控制
论文研究「人格剂量」——通过特质描述与请求的平均强度控制语言模型表达。PersonaDose在人格响应上特化共享的描述条件FLAS控制器，再针对实测特质表达校准其流时间，训练响应无需配对目标强度。在Llama-3.1-8B、Qwen3-8B、Gemma-3-4B上，其核心特质表达较对比激活加法分别…
arXiv cs.AI33 天前
★ 2
预测智能体何时该推理：可靠性路由行为压力测试
论文研究预测智能体在检索、推理、参考市场先验或历史类比之间如何选择，发现机制选择高度依赖证据来源。作者提出 ReliabilityRoute，用历史覆盖率、市场先验可用性、证据强度等可靠性特征引导智能体行为。结果显示更多推理并非总是更好，路由策略本身应在可审计约束下自适应。
arXiv cs.AI38 天前
★ 2
LLM智能体轨迹早期结果预测的校准迁移审计
论文对基于轨迹的LLM智能体早期结果预测进行可靠性审计，检验预测器跨智能体迁移时校准是否失效。结果显示校准迁移误差并非普遍存在，而是集中在gpt-5-mini/SUCCESS与claude-opus-4.6/FAILURE两个特定组合上。跨基准（TerminalBench）未能复现该现象，说明误差…
arXiv cs.AI40 天前
★ 2
信用风险预测中的监督漂移审计协议
该论文提出一种锁定式多信号审计协议，用于检测代理标签信用风险模型中的监督漂移。协议包含迁移性能、oracle差距探针、校准诊断、特征-标签稳定性及合成阳性对照五层。在LendingClub数据上，排序稳定但存在患病率与概率尺度失配，仅截距校准可大幅缓解。
arXiv cs.LG47 天前
★ 1
论文区分共形可靠性与频率校准，提出边界重置规则
研究把「公告边界」后的共形预测评估拆成逐时可靠性与频率校准两种审计，并提出在边界处重置经验分位数的规则。合成断点、电力市场改革与货币政策三类场景下，该重置规则在多数对比中优于五种自适应方法。
arXiv cs.LG13 天前