Memory Layer（记忆层）

Memory Layer概念源于神经图灵机和记忆网络，通过外部记忆矩阵或内部状态存储信息。在Transformer中，键值缓存（KV Cache）作为记忆层，避免重复计算历史token的表示，加速自回归生成。此外，记忆层可用于持续学习，防止灾难性遗忘。代表性工作包括Memory Transformer和Compressive Transformer，它们扩展了上下文长度，在语言建模和对话系统中表现优异。