★ 2
密集输出头与稀疏路由中的Z-loss反向几何
论文从反向传播视角分析Z-loss，提出反向传输视图，将梯度源幅度与传输因子分离。诊断表明相同的前向Z-loss值可对应不同的logit空间梯度与参数更新。在GPT-2和Pythia系列上，架构感知变体可减少反向几何尾部并保持验证困惑度。
arXiv cs.LG47 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文从反向传播视角分析Z-loss，提出反向传输视图，将梯度源幅度与传输因子分离。诊断表明相同的前向Z-loss值可对应不同的logit空间梯度与参数更新。在GPT-2和Pythia系列上，架构感知变体可减少反向几何尾部并保持验证困惑度。