#预训练目标

信息瓶颈分析：速率约束下的多任务最优表示

论文将「何种预训练目标在信息预算下产生最佳下游表示」形式化为多任务信息瓶颈问题，在高斯输入与任务下刻画最优表示。结果显示低速率下弱任务对齐的专家模型可胜过重建型通才模型，但高速率下反转；CelebA 与 dSprites 实验表明压缩会改变最佳预训练目标。