★ 4
Sakana AI提出PC-ALM，可训练千层网络
Sakana AI研究者提出增广拉格朗日预测编码（PC-ALM），作为反向传播的层局部替代方案。通过为每层约束附加拉格朗日乘子，PC-ALM在保留预测编码局部更新的同时，在线性网络中可精确恢复反向传播梯度。实验显示其可训练1000层残差MLP，在MNIST上仅落后反向传播约2个百分点，MIT许可的…
MarkTechPost48 天前
#反向传播
共 6 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究提出波函数反向传播WFB：显式时间间隔动力学学习
论文提出波函数反向传播（WFB），将神经响应表示为可学习的振幅、波数等参数，通过相位关联时间间隔。实验显示WFB在轨迹预测中降低平均位移误差，但增益主要来自波表示而非时间对齐。
arXiv cs.AI61 天前
★ 2
研究：循环语言模型训练中反向传播窗口与预算取舍
论文研究重复 Transformer 层（循环语言模型）训练时反向传播窗口长度的选择问题，比较长窗口（每 token 学习效率高但单次更新成本高）与短窗口在不同训练预算下的相对表现。结果显示预算增大时短窗口优势大幅衰减，最优窗口会随预算变化而改变，说明窗口比较必须结合可用算力预算。
arXiv NLP3 天前
★ 2
arXiv 论文量化循环 Transformer 截断反向传播丢失的梯度
论文在 9 个循环语言模型上精确测量了只对最后 k 次循环反向传播所丢弃的权重梯度。发现训练好的模型中丢失梯度主要由输出附近决定，循环数远超 k 后几乎不随循环数变化；微调过程中丢失梯度还会下降 0.07-0.22。作者未能证明该指标比无需测量的规则更能预测截断训练成本。
arXiv cs.LG11 天前
★ 2
p进数模型的连续优化方法
论文提出首个针对p进数参数机器学习模型的原生连续梯度下降方法。由于p进数完全非连通导致标准损失平坦，作者借助Berkovich仿射线将其扩展为路径连通的度量树，从而支持有效优化器与反向传播。实验表明该方法能高效学习p进数系数的线性模型以完成模运算任务，并演示了动量、Adam变体及语义网络分类。
arXiv cs.LG40 天前
★ 2
密集输出头与稀疏路由中的Z-loss反向几何
论文从反向传播视角分析Z-loss，提出反向传输视图，将梯度源幅度与传输因子分离。诊断表明相同的前向Z-loss值可对应不同的logit空间梯度与参数更新。在GPT-2和Pythia系列上，架构感知变体可减少反向几何尾部并保持验证困惑度。
arXiv cs.LG47 天前