技术
Mutual Information（互信息）
互信息是信息论中衡量两个随机变量之间相互依赖程度的量，表示知道一个变量后对另一个变量不确定性的减少量。
详细解释
互信息定义为I(X;Y)=H(X)-H(X|Y)，即熵减去条件熵。它捕捉变量间的非线性关系，取值非负，为零表示独立。在机器学习中，互信息用于特征选择、表示学习和信息瓶颈理论，也是对比学习目标函数的基础。
别名与相关写法
mutual information
互信息是信息论中衡量两个随机变量之间相互依赖程度的量，表示知道一个变量后对另一个变量不确定性的减少量。
互信息定义为I(X;Y)=H(X)-H(X|Y)，即熵减去条件熵。它捕捉变量间的非线性关系，取值非负，为零表示独立。在机器学习中，互信息用于特征选择、表示学习和信息瓶颈理论，也是对比学习目标函数的基础。