Mamba-2

Mamba-2由Tri Dao和Albert Gu于2024年提出，是Mamba的改进版。它引入状态空间对偶（SSD）框架，将选择性状态空间模型与注意力机制联系起来，允许使用矩阵乘法进行高效并行训练。相比Transformer，Mamba-2在长序列上具有线性复杂度，同时保持竞争性的语言建模性能，适合长文本处理。