★ 2
Transformer 条件无毛定理：提示影响随生成衰减
论文研究自回归 Transformer 在生成 t 个 token 后对提示的保留程度，发现两个不同提示的隐藏状态距离近似按幂律 t^-α 衰减，训练模型 α≈0.55–0.7 遗忘更快，未训练模型 α≈0.2–0.5。作者对有限深度 pre-LN softmax Transformer 证明该偏…
arXiv cs.AI13 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文研究自回归 Transformer 在生成 t 个 token 后对提示的保留程度，发现两个不同提示的隐藏状态距离近似按幂律 t^-α 衰减，训练模型 α≈0.55–0.7 遗忘更快，未训练模型 α≈0.2–0.5。作者对有限深度 pre-LN softmax Transformer 证明该偏…