Information Bottleneck（信息瓶颈）

信息瓶颈方法由Tishby等人于1999年提出，基于率失真理论，通过优化目标函数 min I(X;T) - β I(T;Y) 来学习表示T，其中X是输入，Y是目标。该理论为深度学习提供了信息论视角，解释了泛化与压缩的关系，并启发了变分信息瓶颈等模型，用于可解释性和鲁棒性研究。