#激活空间

研究：语言模型激活值存在纠错吸引盆

论文假设语言模型对激活扰动的鲁棒性源于前向传播中的被动动力学，即约束机制将激活导向产生连贯输出的「良好」区域。通过探测激活空间几何，作者发现激活落在多个不同吸引盆地中，可几何区分自然激活与分布相似的合成激活。自适应调节引导强度以跨盆地传输激活，可显著提升跨语言引导效果，为解释与控制语言模型提供新路…