★ 3
NC-SSM 突破对角状态空间模型非阿贝尔群跟踪限制
论文指出Mamba、S4D、LRU等选择性状态空间模型受转移矩阵可交换性与可解仿射变换群限制。作者提出非交换状态空间模型（NC-SSM），突破这些可解性障碍并引入几何物理流形。实验显示在长程关联记忆、死推算与Dyck-2等任务上取得显著优势，并证明严格等距性对无损长程记忆是数学上必要的。
arXiv cs.LG31 天前
#序列建模
共 6 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
论文：DeltaNet 固定矩阵状态实现 99.95% 召回
论文研究一种带固定 token 特定键偏置的小型 DeltaNet 变体，在 32 KiB 循环矩阵状态下记忆每序列 32 个新键值对，三个训练种子平均准确率达 99.95%。当填充内容将查询前上下文扩展到 1798 个 token 时回忆仍近乎完美，而清零首个记忆块会消除该能力。参数匹配的向量与…
arXiv cs.LG31 天前
★ 3
SMat-Attention：结构化长上下文序列建模
论文提出结构化矩阵注意力（SMat-Attention），通过一族行支撑集VC维为d的因果掩码，在softmax注意力与线性注意力之间建立可调结构。d=1退化为标准因果掩码，d增大则支持更丰富的子集路由。作者给出分块前后向算法，硬路由构造在长度T下仅需O(T^{2-3/d}+T)计算，并扩展到Ma…
arXiv cs.AI33 天前
★ 2
baseVultra：重分配容量的紧凑非线性循环单元
论文提出紧凑循环单元 baseVultra，将稠密循环预算集中于单个候选生成矩阵，用 O(H) 对角交互替代循环门矩阵，并引入低秩辅助分支与 EMA 缓存。在 TinyShakespeare 上验证损失 1.594，优于参数匹配的 LSTM 与 GRU，稠密矩阵向量计算量约为 GRU 的 54%。…
arXiv NLP10 天前
★ 2
arXiv 论文：时延系统框架用于序列建模
论文指出现有序列模型缺乏可解释的内容感知时序召回机制，提出基于非线性时延系统的新框架，用语义相似度动态估计有效延迟。其对角状态空间实现每步 O(1) 复杂度，在文本分类与生成任务上超越现有方法。
arXiv NLP21 天前
★ 2
MaRK：状态空间模型的马尔可夫自适应循环核
论文提出 MaRK，一种动态算子条件化框架，将上下文向量直接映射为冻结 SSM 递归参数（A、B、C、D、Δ）的有界调制，形成上下文索引的马尔可夫参数序列族。在 111M 参数的 Hydra SSM 上实例化 Hypernet、Chebyshev 多项式与 DCT 三种适配器，仅需 6.3–11M…
arXiv cs.LG25 天前