★ 3
脉冲语言模型时序编码与非线性计算权衡
论文提出 Spora，联合设计脉冲编码与注意力算子，用二元时间权重让 T 个脉冲承载最多 T 比特信息，远超脉冲计数读出的 O(log₂T)。四个时间步下 GLUE 平均分达 76.6，较 SpikeLM 提升 1.2 分，六步 BBS 进一步提升至 78.2。
arXiv cs.LG24 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 Spora，联合设计脉冲编码与注意力算子，用二元时间权重让 T 个脉冲承载最多 T 比特信息，远超脉冲计数读出的 O(log₂T)。四个时间步下 GLUE 平均分达 76.6，较 SpikeLM 提升 1.2 分，六步 BBS 进一步提升至 78.2。
该 arXiv 论文提出一种面向脉冲神经网络（SNN）的脉冲感知梯度混合精度量化框架，用一阶梯度信息自适应分配位宽，避免 HAWQ-V2 等方法因多时间步展开带来的二阶 Hessian 计算开销。在 ResNet-34/ImageNet 上以 4.78 倍压缩达到 73.30% 精度，内存占用降低…