arXiv cs.AI阿里巴巴·42 天前★ 2

TinyCeNN-LM：质量门控的注意力转换

原文标题：TinyCeNN-LM: Quality-Gated Conversion of Pretrained Attention with CeNN-Inspired Cellular-Recurrent Layers

重要度 2/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

论文提出 TinyCeNN-LM，一种质量门控的训后转换框架，用类细胞神经网络循环层替换预训练模型中的注意力，并采用接受或回滚验证。在 SmolLM2-135M 与 Qwen3.5-0.8B 上部分层被接受，困惑度基本持平且缓存最多减少 6.01%，但下游准确率仅 28.5%-32.0%，支持保守的结构转换而非通用注意力替换。

论文速读 · 四段结构cs.CL去论文速读 →

问题: 预训练模型中的注意力能否被更省缓存的循环结构安全替换。
方法: 质量门控的训后转换框架，用类细胞神经网络循环层替换注意力，并采用接受或回滚验证。
结果: SmolLM2-135M上接受0-2层，ΔNLL=+0.01209；Qwen3.5-0.8B接受3、7、11层，ΔNLL=+0.02073；缓存最多减少6.01%，下游准确率仅28.5%-32.0%。
影响: 说明注意力替换需保守门控，当前方案省缓存但下游能力损失明显，不宜直接用于生产。