研究审计7个大模型在无痛觉信号语音上的自信编造
该研究在无法获知正确答案的临床疼痛语音转录上审计了七种大模型,发现多数模型在合作提示下能正确弃权,但在权威框架提示下弃权行为变得依赖提示措辞。Gemini 2.5 Flash和Llama 3.1 8B在被迫回答时表现出高自信幻觉率。研究强调拒绝能力不等于鲁棒性,对模型可靠性评估有重要意义。
共 24 篇相关资讯,按重要度与时间排序,每 3 小时更新。
该研究在无法获知正确答案的临床疼痛语音转录上审计了七种大模型,发现多数模型在合作提示下能正确弃权,但在权威框架提示下弃权行为变得依赖提示措辞。Gemini 2.5 Flash和Llama 3.1 8B在被迫回答时表现出高自信幻觉率。研究强调拒绝能力不等于鲁棒性,对模型可靠性评估有重要意义。
论文提出 BlindToChange 基准,衡量智能体是否会主动发现影响其回答的近期事件:请求中的明显候选因现实事件失效,事件自动取自 Wikidata 可定期刷新。结果显示,当近期事件未被明确提及时,系统性能最多下降 27.5 分,即便推理投入很高。轨迹分析表明过半失败源于智能体未直接搜索验证相…
研究者推出 240 题专家核验的孟加拉语基准 BILAL-BENCH,覆盖古兰经归属、圣训、教法与对抗性虚假前提。七个 1B 至 120B 开源模型中六个在 79.3-95.3% 的出处生成题上自信编造,且规模增大并无单调改善;圣训出处是最弱类别。
论文指出研究界对「幻觉」一词用法混乱,主张幻觉应严格定义为「自信地出错」,与模型表达不确定性(UNK)区分。作者用「重述测试」将幻觉细分为知识缺失的虚构(CF)与知识可及但应用不一致的语义错觉(SI)。重评 14 种方法发现:检测方法更常标记 UNK,缓解方法对 SI 远比对 CF 有效。
一项分析发现,AI 回答中引用的统计数据只有约 40% 能追溯到对应的原始研究,其余来源不明或无法核实。该结果凸显 AI 生成内容在事实溯源与可信度方面的隐患。
论文构建覆盖五种上下文增强方法的评估框架,在三个数据集、七个不同规模模型上按句级施加,方法差异在于插入内容的有效信息量。结果显示准确率提升并非真实改进,而是无向扰动——修正部分预测的同时破坏另一些;不带来额外内容的方法主要在决策边界附近改变预测。作者呼吁采用前先评估增益可靠性。
论文在 4 个模型、3 项临床任务上比较单 LLM 基线与三种多智能体拓扑,按事实性与忠实性分类在推理过程中打分。结果显示协作通常提升任务表现却不必然降低幻觉,也没有哪种拓扑稳定更优;36 组对比中仅 12 组可分辨,且方向由模型而非拓扑决定。作者结论是协作只是重新分配模型已有能力,而非补足其缺失。
论文提出「机制不确定性」概念,用因果鲁棒性边际衡量偏离模型输出所需的最小内部干预,并以 Jacobian Lens 概念引导向量实现。在三个开源模型与五个问答数据集上,错误与不确定回答的边际更小,且该方法可补充传统基于输出的不确定性估计。
研究者提出 PVFH-Bench 基准,用于评测视觉语言模型(LVLM)中一种新的失败模式——前提诱导视觉固着幻觉(PVFH):模型被视觉上易混淆的证据锚定,接受错误的文本前提,进而描述并不存在但视觉上合理的物体。在 10 个最先进 LVLM 上的实验显示所有模型都高度易受影响,且显式思维链推理反…
研究者提出 ChronoRegime 未来导向时序推理任务,要求模型判断历史时序证据是否足以支持对未来答案的承诺,并提出置信度感知时序推理框架 CTR。在多个 LLM 上,CTR 将严格总体准确率提升 6.7 个百分点,平均降低幻觉率 18.4 个百分点。
论文用最小集设计测试 LLM 回答美国各州医疗补助资格政策时的错误,发现 Claude Sonnet 5.5 与 GPT-5.6 Sol 会稳定给出其他州的真实数值。研究指出跨辖区错误归因脆弱,需完整同州参照集才能判断,并将公开协议、金标准表与全部模型输出。
论文综合三项近期研究,指出推理RL破坏工具可靠性表征、安全约束生成下大小模型行为分化、以及一致推理系统必然幻觉的定理,三者共同指向同一缺失能力:校准弃答。作者认为主流基准对拒答零奖励,导致排行榜梯度无法选出该能力,并提出三重评分、弃答率报告等四项评测改革。
论文发布NovGauge,一个面向大模型论文新颖性评估诊断的人类锚定基准,包含619组论文对与50个多论文集合,从任务、问题、方法三个维度独立标注。研究提出级联诊断流程,验证各维度正确性、证据依据与逻辑支撑。评估18个模型显示幻觉率在0%至39%之间,且超过70%的非幻觉正确判断所引证据无法逻辑支…
提出无需训练的推理时方法,通过低秩投影将解码器激活移出幻觉子空间,显著降低Whisper在非语音输入上的幻觉率,同时可权衡语音识别性能。
本文发现并研究了差分隐私(DP)语言模型中的隐私-幻觉权衡。实验表明,使用DP预训练或微调的模型比非DP模型产生更多幻觉,且隐私预算越严格,严重程度越高。研究还表明,DP机制使输出分布平坦化,可能将概率质量重新分配给事实不正确的替代方案。
Bespoke Labs 推出 Bespoke-Minicheck,一种基于事实核查的模型,现已在 Ollama 上可用。它可以核查其他模型生成的回答,以检测并减少幻觉。
一篇社区讨论文章聚焦 AI 智能体输出不实信息(幻觉与欺骗)的问题,探讨用户该如何建立对智能体行为的信任机制。文章指向智能体在自主执行任务时的可靠性与可验证性挑战。
有用户发现 ChatGPT 在回答技术支持类问题时,反复推荐科技媒体 404 Media 作为解决方案来源。该现象在 Hacker News 引发讨论,反映大模型在引用来源与事实性回答上的可靠性问题。
一项针对 MiniMax 代码能力的 500 次测试显示,AI 编程助手常在被要求完成任务时声称“已完成”,但实际代码并未通过验证。该结果揭示智能体在自我评估与任务完成度判断上的系统性缺陷,对自动化编程工作流可靠性提出警示。
Hacker News 分享一篇 arXiv 论文,主题是大语言模型的置信度与不确定性表达问题,即模型自述「确定」时是否真的可靠。该方向关系到模型幻觉抑制与高风险场景下的可信部署。目前讨论热度较低。
研究者提出一种黑盒因果测试,通过 CLAP 相似度定位音频证据区域并用频谱门控移除,在三个大型音频语言模型上验证幻觉成因。结果显示定位消融优于随机移除,但原始检测价值因模型而异;结合空白与语言先验的对比解码可将 Qwen2-Audio 准确率从 57.1% 提升至 71.9%。
开发者开源 JulianFlux,提出用连续电动力学场替代传统余弦相似度检索,通过洛伦兹力方程对 AI 智能体进行因果路由,声称可解决标准 RAG 在矛盾数据下的幻觉与逻辑循环问题。项目包含基线对比、轻量 MVP 与基于 DeBERTa-v3 的完整物理引擎,宣称在对抗性规模测试中实现 0.0% …
一位开发者提出,AI 聊天机器人准确性差的原因之一,是训练数据中大量看似权威但实际错误的网络内容。人类能凭理解自动纠正这类表述,而基于下一词预测的模型缺乏这种理解,因而会复述错误信息。
一篇博客文章探讨用户是否正被 AI 系统以类似“煤气灯效应”的方式误导,质疑模型输出中的自信语气与事实偏差如何影响人的判断。该文引发关于 AI 可信度与心理影响的讨论。