技术
hallucination subspace（幻觉子空间）
幻觉子空间指大语言模型内部表征空间中与幻觉生成相关的特定方向或区域，通过分析隐藏层激活可识别。研究发现，沿某些方向干预可减少幻觉，代表工作如2023年“推理时干预”方法，通过对比事实与幻觉样本的激活差异定位子空间。
详细解释
幻觉子空间的概念源于对LLM内部机制的可解释性研究。通过线性探针或主成分分析，研究者发现模型在生成事实与幻觉内容时，隐藏状态存在可区分的模式。这些模式构成一个低维子空间，可用于检测或抑制幻觉。例如，在推理时，将激活投影到该子空间的正交补空间，可降低幻觉率。该方法无需重新训练，为幻觉缓解提供了新思路。相关研究仍处于早期，但展示了机制可解释性在AI安全中的潜力。
别名与相关写法
hallucination subspace