★ 4
英伟达发布Nemotron 3.5 Super与Lightning开源模型
英伟达推出Nemotron 3.5 Super（120B总参、12B激活的多模态MoE混合Mamba-Transformer）与Nemotron 3.5 Lightning（30B总参、3B激活的文本模型），面向推理、长上下文与智能体负载。Super经多教师在线策略蒸馏后SWE-bench Pro…
arXiv NLP3 天前
#Mamba
共 17 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
单人研究者发布 Metis-1.6 双模型技术报告
独立研究者从零训练出 Praxis（2.94B 参数，每步激活 0.46B）与 Logos（10.23B 参数，激活 1.18B）两个模型，采用 Mamba-2 与注意力混合专家堆叠并重复两遍。Logos 在 40 项后训练基准平均 52.93，接近 Qwen3-4B，但训练数据量约为可比模型中位…
arXiv cs.LG3 天前
★ 3
arXiv 论文提出 Boa Compressor，基于 Mamba 的线性时间上下文压缩
论文提出 Boa Compressor，基于 Mamba 状态空间模型的即插即用在线上下文压缩器，单次线性时间编码任意长度上下文，并通过蒸馏训练对齐完整上下文下的 token 分布。同等压缩率下性能持平或超过现有离线压缩基线，速度提升一个数量级，可支持 16 倍激进压缩。
arXiv NLP6 天前
★ 3
TurboMamba 架构发布：训练推理更快、预测更准
研究者提出 TurboMamba 语言模型架构，由全局 Mamba-3 模型与小型 Transformer 组合，并加入三项轻量改进提升局部预测。在 FineWeb-Edu 上对比十二个模型，其平均 NLL 比 Mamba-3 低 9.4%，端到端训练吞吐量达 Mamba-3 的 2.60 倍，批…
arXiv cs.LG17 天前
★ 3
NC-SSM 突破对角状态空间模型非阿贝尔群跟踪限制
论文指出Mamba、S4D、LRU等选择性状态空间模型受转移矩阵可交换性与可解仿射变换群限制。作者提出非交换状态空间模型（NC-SSM），突破这些可解性障碍并引入几何物理流形。实验显示在长程关联记忆、死推算与Dyck-2等任务上取得显著优势，并证明严格等距性对无损长程记忆是数学上必要的。
arXiv cs.LG31 天前
★ 3
Mamba 模型中的全局工作空间机制
研究将 Transformer 的全局工作空间解释扩展到状态空间语言模型，对 Mamba-1/2/3 的残差流与循环状态拟合雅可比透镜。联合读出在多数任务族上优于单一残差透镜，Mamba-2 上仅状态即可超越残差与 logit 透镜。作者还提出符号保护引导方法，但关系型答案上的增益并不稳定。
arXiv cs.AI34 天前
★ 3
研究揭示选择性状态空间模型内部共识动力学
论文从动力系统视角研究选择性状态空间模型（SSM），将 token 跨层演化建模为常微分方程。作者利用输入-状态稳定性论证，证明共识平衡点的局部指数稳定性并刻画其吸引域，适用于时变权重矩阵。在预训练 Mamba-2 上的实验表明输出门是调节共识程度、阻止 token 完全收敛的关键组件。
arXiv cs.LG46 天前
★ 3
研究揭示固定状态递归关联召回中的卷积与干扰墙
论文对固定状态循环模型（线性注意力与状态空间模型）的联想召回能力进行分解分析，发现短因果卷积是主导因素，而非循环结构本身。稀疏监督下的干扰而非容量是瓶颈，距离课程可将召回率从0.021提升至1.000。
arXiv cs.LG47 天前
★ 3
固定大小缓存如何支撑块扩散模型规模化推理
研究探索块扩散语言模型的缓存机制，提出用序列混合器将已完成块汇总为可复用状态，配合块因果训练目标使缓存精确。在 300B token 上预训练三个 3B 块扩散去噪器（注意力、Mamba、混合），仅状态空间缓存为 O(1)。在 256k token 下，Mamba 缓存延迟降低 4.3 倍、内存减…
arXiv cs.LG49 天前
★ 2
研究质疑地震基础模型是否只是特征提取器
arXiv 论文用共享 Mamba 编码器-解码器构建九种地震波形模型设计，在 300 万窗口语料上训练并冻结评估三项下游任务。结果显示更换自监督目标只是重新分配下游能力而非整体提升，没有检查点全面胜出；加掩码压力会让强分类器更专精而非更通用。作者认为关键约束在学习目标需跨事件定义。
arXiv cs.LG3 天前
★ 2
arXiv 论文：长上下文问答证据位置偏差因架构而异
论文通过将一份金标文档在九个干扰项中移动，比较 Transformer、状态空间模型与混合 Mamba 架构的位置偏差。Transformer 表现出状态空间模型缺乏的「开头优势」，但两类模型都偏好靠近结尾的证据。作者强调有效上下文利用取决于架构族、能力、任务与提示词，不能单独归因于序列混合器。
arXiv NLP10 天前
★ 2
PCEI 开源：BitNet 1.58B+Mamba+FastKAN 端侧具身 AI
GitHub 项目 PCEI（Physically Constrained Emergent Intelligence）提出一种反对单体 Transformer 的架构方案，结合 BitNet 1.58B 三值量化、Mamba 选择性状态空间与 FastKAN。项目声称 7.5 亿参数模型可在单张…
Hacker News – AI17 天前
★ 2
物理信息状态空间模型预测光伏发电功率
论文提出物理信息状态空间框架，将可微光伏转换模型与选择性状态空间骨干 PowerMamba 结合，用于日前光伏功率预测。在一年公用事业规模数据上，RMSE 降低 38.5%、MAE 降低 45.8%，并提升物理可行性。
arXiv cs.LG19 天前
★ 2
面向地表预测的Mamba状态空间遗忘框架
论文提出SSU-LSF，首个专为地球科学Mamba状态空间模型设计的机器遗忘框架，用于消除非平稳混杂事件（如未记录的灌溉激增、大坝调度变化）对NDVI、地表温度和作物物候预测的隐性偏差。方法结合EKFac影响函数、谱半径加权肘部阈值定位与KL信赖域内的无Hessian投影梯度上升。在三个基准上混杂…
arXiv cs.LG28 天前
★ 2
物理与数据驱动的 Transformer-Mamba 流场框架
论文提出 Transformer-Mamba for Flow Field（TM4FF）框架，一种物理约束的算子学习模型，用于加速 CFD 中的偏微分方程求解。其三项创新包括残差小波 Mamba 去噪层、Transformer 注意力特征融合，以及基于傅里叶导数的物理信息损失以约束纳维-斯托克斯方…
arXiv cs.LG38 天前
★ 2
DSRec：多粒度SSM双兴趣序列推荐
论文提出DSRec，一种双兴趣交叉SSM模型，显式解耦物品在长期与短期语义上下文中的不同角色，解决物品多义性问题。长期兴趣用全序列Mamba建模，短期兴趣用时间调制SSM根据点击间隔动态调整状态演化，并通过残差交叉融合实现跨粒度对齐。公开基准实验显示DSRec优于现有最先进方法。
arXiv cs.AI42 天前
★ 2
RAMamba-Net：Mamba多模态听觉注意检测网络
研究提出RAMamba-Net，一种可靠性感知的Mamba多模态融合网络，用于从EEG与EOG信号中解码听觉注意。该网络采用Mamba增强的频带感知卷积Transformer捕捉EEG模式，双分支时空编码器建模EOG依赖，并通过跨模态注意力与可靠性模块实现融合。在两个基准上较单模态基线准确率提升5…
arXiv cs.AI51 天前