★ 3
arXiv 提出 Conceptizer：在下一词预测外增加语义奖励
Conceptizer 训练框架在下一词预测之外引入约 9000 个概念构成的固定词表，将下一词分布映射为概念分布，把目标语义的奖励分摊到多种可能表述上，且不增加模型参数。在 1B 至 8B 参数的 3 个模型家族上，概念目标位置困惑度最低，知识与情感任务表现提升。
arXiv NLP6 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
Conceptizer 训练框架在下一词预测之外引入约 9000 个概念构成的固定词表，将下一词分布映射为概念分布，把目标语义的奖励分摊到多种可能表述上，且不增加模型参数。在 1B 至 8B 参数的 3 个模型家族上，概念目标位置困惑度最低，知识与情感任务表现提升。
文章探讨将大模型简单定义为「下一词预测器」的误区，认为预测下一词只是AI承担的一项工作，而非其本质物种属性。这一视角有助于更准确地理解大模型能力边界与智能本质的讨论。