★ 2
差分 Backpack 语言模型：用带符号上下文权重抑制词义
论文指出 Backpack 语言模型的非负上下文权重混淆了线性读出与锥组合两种性质，提出用差分注意力计算词义权重，使上下文可主动抑制某词义，称为差分 Backpack。在 WikiText-103 上把与 Transformer 的困惑度差距缩小 31%，并提升零样本句子相似度最高 33%。学到的…
arXiv NLP6 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文指出 Backpack 语言模型的非负上下文权重混淆了线性读出与锥组合两种性质，提出用差分注意力计算词义权重，使上下文可主动抑制某词义，称为差分 Backpack。在 WikiText-103 上把与 Transformer 的困惑度差距缩小 31%，并提升零样本句子相似度最高 33%。学到的…