评分量表漏检医疗 AI 幻觉盲区
研究构建了医疗幻觉类型分类与经临床医生验证的错误注入流水线,在 HealthBench、HealthBench Professional 和 LiveMedBench 上测试发现,具有临床相关性的幻觉常被评分量表漏掉,分数几乎不变。量表在显式核查事实时最有效,对未预期的额外错误则失效;初步的检索式…
共 48 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究构建了医疗幻觉类型分类与经临床医生验证的错误注入流水线,在 HealthBench、HealthBench Professional 和 LiveMedBench 上测试发现,具有临床相关性的幻觉常被评分量表漏掉,分数几乎不变。量表在显式核查事实时最有效,对未预期的额外错误则失效;初步的检索式…
论文提出环境探测式整理方法,为异步整理智能体赋予最小权限的只读世界工具,以核查、界定与刷新候选记忆,无需重训模型。在GitHub Copilot SDK构建的类生产环境中,CLBench通过率从39%升至73%,查询数与成本显著下降。在六个APEX世界中18项记忆对比全部为正,工具调用减少16%至…
论文针对长期记忆中的信息纠缠与组织失配问题,提出 ETAMem 多视图记忆框架:解析原子记忆单元并识别情感信息,组织为事件、情感、时间三个层级视图,用熵基检索按查询分配预算。在 LoCoMo 与 LongMemEval-S 上相对准确率分别提升 12.46% 与 7.96%。
一项 arXiv 论文在 LongMemEval-S 与 BEAM-100K 上对比六种先进显式记忆系统与原始历史 RAG。结果显示显式记忆仅在特定问题类型和紧上下文预算下有局部收益,构建成本却可达每段对话数小时。作者指出检索仍是主要瓶颈,改进信息访问至少与构建更丰富记忆同等重要。
研究指出多跳 RAG 中大量所谓检索失败实为搜索漂移——搜索不再跟踪未解答的子问题。作者提出免训练的 ExecutionRAG 需求登记机制,在 MuSiQue 上把缺失证据的错误答案从 382 降至 234。但证据恢复并未成比例降低总错误,瓶颈已从引导搜索转向验证证据充分性。
研究者提出 PANINI-DR 多智能体框架,将整体研究协调与单个子问题的研究与验证分离,用基于生成语义工作区的共享空间记录子问题、依赖、发现与证据。在 BrowseComp-Plus、FRAMES、MoNaCo 上平均表现最佳,BrowseComp-Plus 准确率 73.3%,领先次优框架 1…
研究者提出神经符号论证推理系统 NARS,结合检索增强的迭代 LLM 推理与渐进论证语义,从 ChangeMyView 讨论中检测说服力。团队构建 CMV2BAS 数据集,NARS 在最佳配置下 F1 达 0.57,优于零样本 Qwen3.6:27B 与 GPT-oss:20B,并公开数据集与框架。
论文报告一个客服场景部署案例:用自然语言指令、轻量工具与 LLM 生成的「维基式」导航索引层构成便携技能,替代复杂分块、索引与重排序的智能体 RAG 流水线。该方法 1-2 人日即可实现,流程等价度达 99.2%,但每单耗时约 90 秒,慢于生产助手。
论文提出 T²Mem,将记忆构建推迟到推理阶段,离线仅提取轻量级片段元数据作为检索线索,测试时随推理进程逐步构建查询专属记忆。在 LoCoMo 与 LongMemEval 上,该方法在多种基座 LLM 上稳定超越强基线,并显著降低记忆构建开销。
论文指出真实时间序列常受外生事件与结构变化驱动,仅依赖历史数值的预测不足,而标准检索增强方法难以应对高噪声与因果推理。作者提出 SEER 闭环框架,将预测误差转化为两种解耦反馈机制:反思式检索记忆与持久因果知识库,并严格约束时间边界以防前视偏差与数据泄漏。在六个高波动时间序列基准上,SEER 持续…
针对现有LLM长期记忆系统依赖昂贵LLM调用进行记忆整理的问题,研究者提出MemFit,采用仅追加存储逐字保存每轮对话,实现近乎即时、无需LLM的插入,并用片段摘要索引而非替换原文。其无LLM多路径检索结合词汇与语义信号及交叉编码器重排。在LoCoMo、MemGallery和LongMemEval…
论文提出 VHOP 数据生成框架与基准,以及 VHOP-Router 端到端训练管线,将标准嵌入模型改造为自回归多步检索器,直接在视觉潜空间检索图像链。检索性能从不足 5% 提升至 76.3%,智能体搜索任务成功率提升 52.7%,平均 token 长度减少 61%,上下文图像减少 23 倍。
论文首次系统研究ChatGPT、Claude、Grok与DeepSeek四大对话平台的智能体网络搜索,结合真实用户交互与API受控实验。发现各平台搜索触发决策差异显著,更频繁调用搜索未必带来更好回答质量,且平台搜索引擎偏好特定域名。部分回答依赖未引用的搜索结果,引发归因与可靠性担忧。
论文探讨图结构检索增强生成(RAG)的质量增益是否值得其高昂的建图成本。作者提出 EffiRAG,用图定位相关段落并从原文生成答案,保持轻量建图与查询。在 UltraDomain 上,EffiRAG 在 120 题中 93 题优于 LightRAG-hybrid,总成本降低 57%,且随语料增长优…
论文针对企业遗留单体系统向微服务迁移的自动代码翻译,指出标准向量 RAG 难以捕捉拓扑关系、割裂继承链导致编译失败率高。提出分层上下文驻留图(HCRG)方法,用 tree-sitter 抽取 AST、将架构边映射到 Spanner 属性图并序列化进 Gemini 上下文缓存。实验显示 API 幻觉…
论文指出GraphRAG多数系统对查询采用共享探索流程,造成结构性错配。提出免训练框架Mosaic,将检索形式化为逐查询控制问题,由LLM分析器生成种子选择、图遍历、停止与证据选择的有界策略。在GraphRAG-Bench上医学与小说答案正确率分别提升5.13与4.43分,路径评估减少81.9%。
提出STAIR检索系统,利用目录等全局结构信息提升生成式信息检索的准确性,减少幻觉。在SearchTome基准上Recall@1达82.6%,优于DSI、BM25等基线,并发布18本书的基准数据集。
论文提出持久发现上下文,一种存储意图到对象映射的轻量记忆层,用于增强数据智能体的检索。在三个结构化数据环境中,该方法一致优于仅元数据搜索,且在词汇稀疏领域表现更佳。研究表明发现结果可作为可复用上下文,提升智能体效率。
基于置信度的投票在多轮搜索代理中效果不佳,原因是复制膨胀导致置信度失真。提出检索接地投票(RGV),通过最终答案与检索文档的词汇重叠评分,避免污染上下文。在四个基准和五个LLM上,RGV一致优于置信度投票,准确率提升最高5.4%。
开发者 Samama Tariq 在 Hacker News 上发布 Deferred Cognitive Architecture(DCA),用三层模块化框架替代单体执行,把机械 I/O 检索隔离到低功耗微流水线,并将重推理延后到预过滤数据送达之后。作者称该架构可将上下文计算复杂度从 O(N²)…
论文以惯性约束聚变为用例,构建 250 题专家标注基准,覆盖定性推理、数值计算、符号推导与方程构建。领域特化模型 Prospero 较基座提升 10.7 个百分点,前沿模型总分最高但数值计算仍存关键物理错误。检索对小模型有帮助、对前沿模型无显著提升,作者建议特化前先评估现有能力。
论文针对「证据一致性陷阱」——检索到时间错配但语义合理的证据导致误判——构建 ChronoFake 基准(30706 篇文章),并提出 DelSA 文档选择自更新智能体。DelSA 用 LLM 刻画候选证据,由验证器训练的 reranker 平衡相关性与时间线一致性,在 ChronoFake 上优…
arXiv 论文提出 UMer 框架,从用户历史社交痕迹中蒸馏个体心理先验,再按量表引导多查询检索构建证据记忆,最后进行由粗到细的证据感知推理,区分直接与间接证据并给出可解释的条目级评分。真实基准实验显示其性能具竞争力,并提供有据可依的可解释性。
研究团队构建 MARCA 四智能体框架,结合文献检索、药品标签评估、客观证据分类与临床因果推理,基于 Gemini 2.5 Pro 与 DeepSeek-V3.2 完成 Naranjo 量表评估。在 215 份个例安全报告、1562 个药物-事件组合上,最终因果分类与专家一致率为 79.4%。回顾…
研究者提出 FlexA-Mem,将历史记录一次性写入不可变存储,每次调用时按剩余预算渲染出紧凑时间线与细节,无需额外 LLM 调用。在 AppWorld 4k 挑战任务上比次优方法高 11.5%,在 LongMemEval 与 LoCoMo 上匹配专用关键词检索器。该工作针对检索式记忆漏步骤、摘要…
论文综述了数据、信息、关联数据与知识图谱的质量评估文献,以及知识图谱与大模型交叉领域的研究。作者将现有框架扩展为包含 24 个质量维度的目录,并提出一个通用、可按领域或任务定制、可落地的知识图谱质量评估框架,用于判断知识图谱能否可信地为 LLM 提供依据。
arXiv 论文在 Llama-3.1-8B-Instruct 上为 150 篇维基百科文章各训练一个 LoRA 适配器,发现开卷评分主要衡量所有适配器共有的阅读能力:随机适配器可复现专家适配器 82% 的开卷优势,但在闭卷填空探针上仅 2%。内容确实进入权重,但按权重空间或文本嵌入检索适配器的效…
论文研究用户在模型搜索推理过程中改变目标的「中途引导」场景,识别出智能体仍回答旧问题的「答案目标锚定」失败模式。提出 SteerSearch 强化学习框架与 SteerSearch-Bench 基准,在 Qwen2.5-3B 上将引导准确率从 11.1% 提升至 31.3%,Qwen3-4B 上从…
论文指出 LLM 智能体检索到相关记忆并不等于拥有足够证据,存在「相关性—充分性」缺口。作者提出 QEMem 框架,通过查询引导发现、来源锚定具体化和充分性引导精炼三步,把记忆利用重构为构建查询专属证据集。在共享记忆库下,QEMem 配合 Claude Opus 4.5 在 LoCoMo 上取得 …
研究者提出 TeachGrade,一种利用教师评分示例的免训练简答题评分框架,通过 Skill 和 CaseBank 两个冻结记忆模块提升评分一致性。在 3829 份 SAS-Bench 答案上,宏观协作一致性分数从 67.99 提升至 81.32,宏观 QWK 达 84.71,在 8 项任务上领…