★ 4
arXiv 证明 RL 评论家可直接复用为 LLM 置信度估计器
论文比较同等容量的自评与外部置信度估计器，发现仅基于策略行为轨迹训练的外部模型即可达到与策略自身相当的置信度估计精度。作者进一步证明在基于正确性的结果下，置信度估计与评论家训练等价，因此经价值型强化学习训练的 LLM 可直接复用现有评论家作为置信度估计器，无需额外训练或数据，在数学、代码、工具调用…
arXiv NLP7 天前
#模型可靠性
共 12 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
表征签名自适应迁移提升 LLM 幻觉与推理错误检测
研究者提出跨领域迁移表征签名的统计框架，先提取各领域低维签名，再用交叉拟合学习领域预测器的组合权重。实验显示，新领域仅需 25 条标注问题，幻觉检测 AUROC 提升 6.8%，推理步骤预测提升 8.4%。该方法缓解了质量检测器对领域标注数据的依赖。
arXiv NLP6 天前
★ 3
研究揭示无标签评估盲点：高一致性错误答案
论文检验一致性可作为正确性代理的假设，使用四个金融问答数据集、十个一致性维度与两个前沿模型家族，发现 60% 的错误答案落在高一致性区域，其中 77.7% 出现完全答案坍缩。该高一致性/错误象限无法被任何基于一致性的评估信号检测，对依赖一致性替代人工标注的评估流程提出警示。
arXiv NLP17 天前
★ 3
预注册研究：提示优化器会破坏未计分要求
论文对 GEPA、MIPROv2、TextGrad 三个提示优化器在 HotpotQA、SQuAD 2.0、IFEval 上做预注册实验，发现优化后提示在提升目标指标的同时违反引用、格式等未计分要求。事后分析显示，在 200 token 输出上限下大量回答因先输出推理而截断，放宽上限后内容回归基本…
arXiv NLP21 天前
★ 3
LLM临床判断纵向更新不可靠
研究利用电子病历中匹配的ICU轨迹评估LLM纵向信念更新，发现以先前判断为条件时，估计变化反而更常增大预测误差。控制实验揭示两种失效模式：对恶化证据反应强于对等改善证据，以及先验风险从10%升至90%时估计偏移26.2个百分点。提示词无法修复，EVLU方法揭示可靠性与覆盖率的权衡。
arXiv cs.AI28 天前
★ 2
AI 幻觉预算超支后该如何处理
文章以「预算」为比喻讨论 AI 幻觉问题：如果为模型幻觉设定可容忍额度，一旦超支应当如何应对。涉及幻觉治理、可靠性评估与产品侧兜底策略等话题。
InfoQ AI23 小时前
★ 2
Mistrial 开源工具：重跑 LLM 评审检测判定翻转
开发者发布开源工具 Mistrial，可对同一批评测用例多次重跑 LLM 评审，跨不同评审模型与评分标准措辞，输出自一致性、翻转案例、kappa/alpha 一致性等可靠性报告。作者指出单次评测只是噪声过程的一次采样，并用 GPT-5.4-nano 等实例展示同一答案判定反复变化。
Hacker News – LLM6 天前
★ 2
实测：LLM 评审对植入缺陷的渲染仍判通过
开发者撰文记录实验：在代码渲染中故意植入缺陷后，LLM 评审仍给出通过评分，同一代码多次评分不一致。这暴露了用大模型做自动化质量评审的可靠性问题。
Hacker News – LLM9 天前
★ 2
新方法检测临床模型低置信患者群体
arXiv 论文提出统一诊断流程 MED3pa 与 Detectron，先发现可解释的低置信患者画像，再在画像内检测有害协变量偏移。在 MIMIC-IV 的三项临床预测任务中，注入的年龄偏移在群体层面不可见，却能被定位到特定退化画像；而性别与种族偏移被广泛检测到，对识别受影响最严重患者帮助有限。
arXiv cs.LG18 天前
★ 2
AI泛化能力之谜
Astral Codex Ten 发表文章探讨 AI 泛化能力的未解之谜，讨论模型为何能在训练分布之外表现良好，以及这种泛化背后的机制仍缺乏理论解释。该话题触及当前大模型可靠性、对齐与安全评估的核心争议。
Hacker News – AI39 天前
★ 2
AI在数学领域的不对齐问题讨论
Hacker News上关于AI在数学领域应用出现“不对齐”问题的讨论帖获得412分热度与474条评论，反映社区对AI数学推理可靠性及对齐问题的关注。该话题涉及AI模型在数学任务中偏离预期目标的现象。
Hacker News51 天前
★ 1
研究：AMR 解析器输出的不确定性估计
论文首次在黑盒设定下研究 AMR 解析器的不确定性估计，利用 top-k 束搜索候选的成对相似度计算不确定性，并用 Prediction Rejection Ratio 评估。研究刻画了解析性能与不确定性的关系，识别出性能与可靠性平衡最佳的解析器。
arXiv NLP21 天前
这个主题的相关资产
相关术语模型可靠性