技术
Sparse Wiring(稀疏连接)
稀疏连接是一种神经网络连接方式,其中只有部分神经元之间存在连接,而非全连接,从而减少参数和计算量。
详细解释
在传统全连接网络中,每个神经元与下一层所有神经元相连,导致参数爆炸。稀疏连接通过剪枝、稀疏初始化或结构化稀疏(如块稀疏)来减少连接,受生物神经网络启发。它可降低过拟合风险,提升计算效率,常用于大规模模型和边缘设备。
别名与相关写法
sparse wiring
相关术语
Attention共现 1 篇
相关资讯
研究用超立方体旋转稀疏连接替代注意力机制2026/9/17