#神经记忆模块

Titan-Llama：为预训练LLM加外部神经记忆模块

研究者提出 Titan-Llama，一种后训练方法，通过分层记忆架构为基于注意力的语言模型加装可在测试时更新参数的神经记忆模块（NMM）。在 Llama-3.2-1B-Instruct 上，QuALITY 准确率从 23.87% 提升至 40.51%，LongHealth 从 14.50% 提升至…