★ 3
NORDER-II：将 Transformer MLP 稠密计算表示为概率状态空间枚举
论文提出面向 Transformer MLP 的概率状态空间框架，将中间维度分组并定义输入相关的二元包含状态分布，使完整期望精确还原稠密 MLP 输出。核心算法 NORDER-II 按概率递减枚举联合状态，在 Llama-3.2-1B 与 Gemma-2-2B 上以 2048 状态预算实现 92.…
arXiv cs.LG6 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出面向 Transformer MLP 的概率状态空间框架，将中间维度分组并定义输入相关的二元包含状态分布，使完整期望精确还原稠密 MLP 输出。核心算法 NORDER-II 按概率递减枚举联合状态，在 Llama-3.2-1B 与 Gemma-2-2B 上以 2048 状态预算实现 92.…