Gated DeltaNet

DeltaNet 源自线性注意力与快速权重编程器，用 delta 规则更新状态矩阵以存储键值关联。Gated DeltaNet 在此基础上引入门控（类似 LSTM 的遗忘门），动态决定保留或清除历史信息，缓解线性模型记忆容量有限的问题。它在保持线性复杂度、支持并行训练的同时提升了长上下文检索与语言建模表现，是高效序列建模的研究方向之一。