★ 3
脉冲语言模型时序编码与非线性计算权衡
论文提出 Spora,联合设计脉冲编码与注意力算子,用二元时间权重让 T 个脉冲承载最多 T 比特信息,远超脉冲计数读出的 O(log₂T)。四个时间步下 GLUE 平均分达 76.6,较 SpikeLM 提升 1.2 分,六步 BBS 进一步提升至 78.2。
arXiv cs.LG24 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文提出 Spora,联合设计脉冲编码与注意力算子,用二元时间权重让 T 个脉冲承载最多 T 比特信息,远超脉冲计数读出的 O(log₂T)。四个时间步下 GLUE 平均分达 76.6,较 SpikeLM 提升 1.2 分,六步 BBS 进一步提升至 78.2。