★ 3
GRRR：解码器LLM后训练中权重重塑、旋转与路由的几何分析
论文研究后训练如何相对预训练权重改变 LLM 参数，在 12 条包含 SFT 与 RL 的后训练链中，将每次权重更新表达在预训练矩阵的 SVD 框架下。分解出对角（重塑奇异值）、非对角（旋转耦合）与零空间（路由）三类几何分量。数学评测显示移除对角分量通常仍保留大部分后训练收益，说明增益主要来自重构…
arXiv cs.LG41 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文研究后训练如何相对预训练权重改变 LLM 参数，在 12 条包含 SFT 与 RL 的后训练链中，将每次权重更新表达在预训练矩阵的 SVD 框架下。分解出对角（重塑奇异值）、非对角（旋转耦合）与零空间（路由）三类几何分量。数学评测显示移除对角分量通常仍保留大部分后训练收益，说明增益主要来自重构…