#掩码策略

GoldiMask：扩散语言模型微调的上下文选择与目标加权

论文提出 GoldiMask，用于离散扩散语言模型的监督微调，通过近似最大化子模目标选择作为上下文的可见 token，并按受益程度与学习潜力对预测目标加权。在三种骨干与三个数据集上多数设置取得最高平均准确率，在推理与代码生成上均有提升，并在 GSM8K、MATH-500 上减少解码迭代次数。