★ 2
分块共形注入：循环 Transformer 的残差旋转方法
论文研究循环 Transformer 中跨循环步残差线性映射的几何形式，提出分块共形注入（blockwise conformal injections），将残差拆分为坐标对齐分组并在组内旋转，使每组拥有独立时间尺度且几何保持精确。实验显示该方法在状态追踪与语言建模任务上性能提升。
arXiv cs.LG19 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文研究循环 Transformer 中跨循环步残差线性映射的几何形式，提出分块共形注入（blockwise conformal injections），将残差拆分为坐标对齐分组并在组内旋转，使每组拥有独立时间尺度且几何保持精确。实验显示该方法在状态追踪与语言建模任务上性能提升。