★ 3
用注意力图拓扑特征检测 LLM 幻觉
论文分析注意力图的信息流拓扑，利用 Forman-Ricci 曲率识别信息瓶颈，提出单次前向的幻觉检测方法。在多个 LLM 与两个幻觉检测基准上持续优于现有基于注意力和多响应基线，发现幻觉与 token 间上下文共享受损、过度依赖自注意力及信息过度压缩相关。
arXiv cs.AI42 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文分析注意力图的信息流拓扑，利用 Forman-Ricci 曲率识别信息瓶颈，提出单次前向的幻觉检测方法。在多个 LLM 与两个幻觉检测基准上持续优于现有基于注意力和多响应基线，发现幻觉与 token 间上下文共享受损、过度依赖自注意力及信息过度压缩相关。
论文基于等变度理论建立拓扑对称指数，用于系统刻画神经网络损失景观中由架构与目标对称性产生的临界轨道，并可处理退化临界轨道。该指数能检测临界点的各向同性并量化其净拓扑贡献，在 softplus MLP、Transformer 与等变网络上给出计算示例。