★ 3
RGR：表征几何正则化缓解LLM自我改进能力退化
论文发现On-Policy Self-distillation在提升整体性能的同时会逐步退化已获得能力，伴随隐表征几何恶化。作者提出表征几何正则化RGR，通过增强簇内紧凑与簇间分离保持表征几何，可无缝集成到现有OPSD方法中，缓解能力退化并保留能力提升。
arXiv cs.AI21 天前
#表征几何
共 4 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究：注意力平均场预测表征动态并揭示情境计算
论文提出对注意力机制的平均场分析：token 间平均注意力构成一个核，可逐层迭代以建模表征几何的演化。以语料为条件时，该核可仅凭输入嵌入与冻结权重进行开环预测，精度很高；以单一上下文为条件时，其偏离量（平均场偏差）可作为任务无关的上下文特定计算度量。研究发现训练早期模型与语料平均场几乎不可区分，在…
arXiv cs.LG47 天前
★ 2
研究揭示指令数据暴露程度决定 LLM 类比修辞方向可激活性
论文从残差流中提取「类比向量」，在 Gemma-2、Llama-3.1、Qwen-2.5 等七个指令微调模型上实现可操控的解释风格，Gemma-2-9B-IT 调和均值提升 22%。核心发现是类比方向存在于所有基座模型中，但其行为可激活性随训练中指令暴露程度连续增长。这挑战了「基座 vs 指令」的…
arXiv NLP3 天前
★ 2
有限特征联想记忆的几何容量理论
arXiv 论文为压缩有限特征 Hebbian 联想记忆的精确键检索建立几何容量理论，将检索干扰分解为有限特征噪声与结构干扰，给出无需拟合的检索质量预测与容量上限。在合成、视觉与医学图像表征上验证，理论曲线与实证行为高度吻合。
arXiv cs.LG25 天前
这个主题的相关资产
相关公司联想（Lenovo）1