★ 2
论文为谐振序列模型引入输入相关读出相位
arXiv 论文改进 ResonatorLM，将读出相位设为当前 token 的函数，仅增加 0.2% 参数即保留精确卷积路径。在 WikiText-2 字符级模型上，训练 256 token 测试 1024 token 时困惑度从 12.81 降至 3.76。
arXiv cs.LG21 天前
#序列模型
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
论文分析序列模型长记忆的状态与稳定性复杂度代价
论文研究长程时间依赖对序列模型的资源需求，证明代数衰减预测记忆下指数与有限状态模式的匹配上下界，达到误差 τ 需 r=Θ(log²(1/τ)) 个状态。研究还表明真实分数长记忆会改变几何结构，并给出非线性递归的混沌包络与临界性必要条件。实验在状态空间、门控循环与注意力模型上验证了预测。
arXiv cs.LG25 天前
★ 2
ROTE：复杂度可控符号序列的神经记忆基准
研究者提出 ROTE 基准协议，用 Lempel-Ziv-Welch 压缩控制序列复杂度，系统评估门控循环、最小循环、注意力及混合架构的符号记忆能力。评测涵盖教师强制单步预测与闭环 rollout，并报告字符串距离、训练时间、内存占用与参数量。该工作揭示了算法序列复杂度与神经架构记忆容量之间的权衡…
arXiv cs.LG34 天前