Weight Sharing（权重共享）

Weight Sharing在深度学习中指不同部分复用相同权重，如ALBERT中所有Transformer层共享参数，大幅减少参数量。在RNN中，不同时间步共享权重是标准做法。该技术能降低内存占用和计算开销，但可能限制模型表达能力。它常与知识蒸馏、剪枝结合，用于移动端部署。代表工作有ALBERT、Universal Transformer等，它们通过权重共享在保持性能的同时减少参数。