★ 3
研究：五个异构模型无需权重合并即可对齐共享表示空间
论文考察四个组织的四个 Transformer 与一个状态空间模型能否仅通过激活建立对应关系，无需权重合并。置换检验显示五模型对同一文本的组织方式存在统计稳健的对应，末层最强，状态空间模型最弱但仍远超随机。作者用广义 Procrustes 分析构建共享空间，末层检索准确率达 0.91-0.93，但…
arXiv NLP5 天前
#状态空间模型
共 21 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
arXiv 论文提出 Boa Compressor，基于 Mamba 的线性时间上下文压缩
论文提出 Boa Compressor，基于 Mamba 状态空间模型的即插即用在线上下文压缩器，单次线性时间编码任意长度上下文，并通过蒸馏训练对齐完整上下文下的 token 分布。同等压缩率下性能持平或超过现有离线压缩基线，速度提升一个数量级，可支持 16 倍激进压缩。
arXiv NLP5 天前
★ 3
NC-SSM 突破对角状态空间模型非阿贝尔群跟踪限制
论文指出Mamba、S4D、LRU等选择性状态空间模型受转移矩阵可交换性与可解仿射变换群限制。作者提出非交换状态空间模型（NC-SSM），突破这些可解性障碍并引入几何物理流形。实验显示在长程关联记忆、死推算与Dyck-2等任务上取得显著优势，并证明严格等距性对无损长程记忆是数学上必要的。
arXiv cs.LG30 天前
★ 3
Mamba 模型中的全局工作空间机制
研究将 Transformer 的全局工作空间解释扩展到状态空间语言模型，对 Mamba-1/2/3 的残差流与循环状态拟合雅可比透镜。联合读出在多数任务族上优于单一残差透镜，Mamba-2 上仅状态即可超越残差与 logit 透镜。作者还提出符号保护引导方法，但关系型答案上的增益并不稳定。
arXiv cs.AI33 天前
★ 3
贝叶斯神经网络全协方差平滑方法用于在线自适应
论文将神经网络各层视为状态空间模型的时间步，把贝叶斯训练转化为平滑问题：前向传播高斯矩，反向 RTS 平滑以闭式更新权重后验。既有方法仅限对角协方差、丢弃神经元间相关性，作者通过交叉协方差恒等式实现全协方差在非线性激活中的传播。该方法在非平稳分类、在线动力学学习与视觉-语言-动作模型策略自适应中普…
arXiv cs.LG38 天前
★ 3
研究揭示选择性状态空间模型内部共识动力学
论文从动力系统视角研究选择性状态空间模型（SSM），将 token 跨层演化建模为常微分方程。作者利用输入-状态稳定性论证，证明共识平衡点的局部指数稳定性并刻画其吸引域，适用于时变权重矩阵。在预训练 Mamba-2 上的实验表明输出门是调节共识程度、阻止 token 完全收敛的关键组件。
arXiv cs.LG45 天前
★ 3
研究用状态空间模型做长上下文示例选择
论文利用状态空间模型线性推断时间特性解决长上下文示例选择问题，通过蒸馏Transformer学习小型SSM并映射输出用于下游示例选择。蒸馏SSM近似误差低于0.7%，在文本分类与推理任务上相比基线减少14.2倍FLOPs并提升6.48%准确率。
arXiv cs.LG45 天前
★ 3
研究：门控机制决定状态空间模型的记忆与上下文学习
该论文研究状态空间模型（SSM）在上下文学习与精确检索上落后于 Transformer 的原因，指出门控机制是关键。理论与实验表明，门控会让 SSM 先学到权重内的「记忆」解，延迟甚至阻止其收敛到正确的上下文学习解，即使架构与记忆容量并无根本限制。但门控也有助于提升长序列泛化能力，为改进线性时间模…
arXiv cs.LG46 天前
★ 3
层重要性揭示 Transformer 与状态空间模型的差异
论文通过层重要性视角比较 Transformer 与状态空间模型（SSM），将层重要性分解为必要性（预训练依赖度）与可塑性（微调吸收新信息的位置）。分析发现两类模型行为根本不同：在评测的至多 14B 参数残差 Transformer 中，必要性与可塑性沿深度反相关，而 Mamba 式 SSM 中二…
arXiv cs.LG46 天前
★ 3
研究揭示固定状态递归关联召回中的卷积与干扰墙
论文对固定状态循环模型（线性注意力与状态空间模型）的联想召回能力进行分解分析，发现短因果卷积是主导因素，而非循环结构本身。稀疏监督下的干扰而非容量是瓶颈，距离课程可将召回率从0.021提升至1.000。
arXiv cs.LG46 天前
★ 2
FOCUS：基于 Mamba-2 的轻量脑电认知负荷分类模型
该 arXiv 论文提出 FOCUS（频带优化认知负荷超轻 SSM），一个基于 Mamba-2 的紧凑模型，用于数据受限条件下的脑电二分类认知负荷识别。模型用固定 FFT 分解覆盖五个经典脑电频带，结合深度可分离卷积与权重共享的编码器-瓶颈 Mamba-2 结构，仅 0.04M 参数、0.11 G…
arXiv cs.AI6 天前
★ 2
PopDRP：关系精炼与选择性群体图学习用于多模态脑病诊断
研究提出 PopDRP 框架，将诊断引导的关系精炼与分层选择性状态空间学习结合，用于多模态脑部疾病诊断。在 ABIDE 与 ADHD-200 数据集上，其准确率与 AUC 均优于基线，消融实验验证了关系精炼与选择性分层骨干的贡献。
arXiv cs.AI9 天前
★ 2
SSMCGM-Stream：面向糖尿病管理的流式状态空间模型
研究者提出 SSMCGM-Stream 流式状态空间模型，为连续血糖监测提供常数时间预测、反事实推理与可解释归因，并基于此构建 SSMCGM-Agent 语言模型决策支持。在 T1DEXI 队列上预测性能与强神经基线相当，但计算成本大幅降低，可支持端侧实时部署。
arXiv cs.LG10 天前
★ 2
物理信息状态空间模型预测光伏发电功率
论文提出物理信息状态空间框架，将可微光伏转换模型与选择性状态空间骨干 PowerMamba 结合，用于日前光伏功率预测。在一年公用事业规模数据上，RMSE 降低 38.5%、MAE 降低 45.8%，并提升物理可行性。
arXiv cs.LG18 天前
★ 2
arXiv 论文：时延系统框架用于序列建模
论文指出现有序列模型缺乏可解释的内容感知时序召回机制，提出基于非线性时延系统的新框架，用语义相似度动态估计有效延迟。其对角状态空间实现每步 O(1) 复杂度，在文本分类与生成任务上超越现有方法。
arXiv NLP20 天前
★ 2
MaRK：状态空间模型的马尔可夫自适应循环核
论文提出 MaRK，一种动态算子条件化框架，将上下文向量直接映射为冻结 SSM 递归参数（A、B、C、D、Δ）的有界调制，形成上下文索引的马尔可夫参数序列族。在 111M 参数的 Hydra SSM 上实例化 Hypernet、Chebyshev 多项式与 DCT 三种适配器，仅需 6.3–11M…
arXiv cs.LG24 天前
★ 2
面向地表预测的Mamba状态空间遗忘框架
论文提出SSU-LSF，首个专为地球科学Mamba状态空间模型设计的机器遗忘框架，用于消除非平稳混杂事件（如未记录的灌溉激增、大坝调度变化）对NDVI、地表温度和作物物候预测的隐性偏差。方法结合EKFac影响函数、谱半径加权肘部阈值定位与KL信赖域内的无Hessian投影梯度上升。在三个基准上混杂…
arXiv cs.LG27 天前
★ 2
NeurDuo-EEG：带持久状态与显式记忆的长序列脑电基础模型
多数脑电基础模型独立处理固定窗口，难以捕捉毫秒到小时级的长时程动态。论文提出 NeurDuo-EEG，一种带通道级持久记忆的因果 EEG 基础模型，引入多时间尺度记忆管理与学习式巩固、选择性检索。模型在 3955 小时、17 个公开数据集上预训练，在五项下游任务中四项最优，癫痫检测 AUC-PR …
arXiv cs.LG31 天前
★ 2
稀缺标签下的振动诊断振荡状态空间模型
研究者提出 DualRes，一种紧凑的振荡状态空间模型，融合两种互补的振动频谱视角，用于边缘设备上的机器故障诊断。编码器仅 3.9 万参数，在齿轮箱基准的七个标签预算中的六个达到最优，每类约 6 秒标注数据即比次优方法提升 16.1 个百分点 macro-F1。相比选择性状态空间基线，推理提速 1…
arXiv cs.LG38 天前
★ 2
半导体制造中不确定性感知的剩余寿命估计
研究提出结合深度学习序列模型与同时分位回归的预测性维护框架，用于不确定性感知的剩余使用寿命估计与风险感知维护决策。在 PHM18 离子铣削数据上比较多种架构，其中对角状态空间模型 S4D 在各分位上给出最佳 RUL 估计。相对预防性维护基线，该框架通过避免系统性过早干预显著降低业务成本。
arXiv cs.LG40 天前
★ 2
DSRec：多粒度SSM双兴趣序列推荐
论文提出DSRec，一种双兴趣交叉SSM模型，显式解耦物品在长期与短期语义上下文中的不同角色，解决物品多义性问题。长期兴趣用全序列Mamba建模，短期兴趣用时间调制SSM根据点击间隔动态调整状态演化，并通过残差交叉融合实现跨粒度对齐。公开基准实验显示DSRec优于现有最先进方法。
arXiv cs.AI41 天前