★ 2
arXiv 论文量化循环 Transformer 截断反向传播丢失的梯度
论文在 9 个循环语言模型上精确测量了只对最后 k 次循环反向传播所丢弃的权重梯度。发现训练好的模型中丢失梯度主要由输出附近决定，循环数远超 k 后几乎不随循环数变化；微调过程中丢失梯度还会下降 0.07-0.22。作者未能证明该指标比无需测量的规则更能预测截断训练成本。
arXiv cs.LG11 天前
#循环 Transformer
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
研究揭示循环 Transformer 逐迭代执行算法步骤机制
论文研究权重共享的循环 Transformer 在深度受限算法任务上的机制，以有向置换遍历为测试任务。发现存在最小有效深度，超过后权重绑定程度成为决定因素：四层块迭代八次的循环模型稳定解题，同有效深度的非绑定模型则失败。探针显示循环模型逐节点推进形成阶梯，可视为迭代式程序学习器。
arXiv cs.LG13 天前
★ 2
分块共形注入：循环 Transformer 的残差旋转方法
论文研究循环 Transformer 中跨循环步残差线性映射的几何形式，提出分块共形注入（blockwise conformal injections），将残差拆分为坐标对齐分组并在组内旋转，使每组拥有独立时间尺度且几何保持精确。实验显示该方法在状态追踪与语言建模任务上性能提升。
arXiv cs.LG19 天前