#语义建模

arXiv 提出 Conceptizer：在下一词预测外增加语义奖励

Conceptizer 训练框架在下一词预测之外引入约 9000 个概念构成的固定词表，将下一词分布映射为概念分布，把目标语义的奖励分摊到多种可能表述上，且不增加模型参数。在 1B 至 8B 参数的 3 个模型家族上，概念目标位置困惑度最低，知识与情感任务表现提升。