#稀疏正则化

研究：稀疏正则促使多任务网络自发形成功能模块化

论文发现稀疏正则化可在无预设模块边界的情况下，促使多任务网络形成任务选择性的紧凑子网络（功能 token）。这类专业化更倾向出现在深层，提取出的功能 token 可重组重建复合计算而无需重训。