#缓存压缩

共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。

★ 2

TinyCeNN-LM:质量门控的注意力转换

论文提出 TinyCeNN-LM,一种质量门控的训后转换框架,用类细胞神经网络循环层替换预训练模型中的注意力,并采用接受或回滚验证。在 SmolLM2-135M 与 Qwen3.5-0.8B 上部分层被接受,困惑度基本持平且缓存最多减少 6.01%,但下游准确率仅 28.5%-32.0%,支持保守…

arXiv cs.AI42 天前

这个主题的相关资产

相关公司阿里巴巴1

相关标签

缓存压缩 最新资讯与动态(1 篇) - 智讯 AI News