#大模型控制

WAQS 框架用二次探针实现无额外开销的激活引导

论文提出 WAQS，通过二次探针建模概念，其梯度给出随激活变化的仿射引导方向，并可离线折叠进相邻线性层，从而在推理时不增加计算。作者证明二次函数是梯度干预为仿射且可精确吸收的最大光滑概念分数类。在真实性、拒答与谄媚引导任务上，二次引导达到或优于固定线性引导，同时保持模型效用。