★ 3
研究：注意力平均场预测表征动态并揭示情境计算
论文提出对注意力机制的平均场分析：token 间平均注意力构成一个核，可逐层迭代以建模表征几何的演化。以语料为条件时，该核可仅凭输入嵌入与冻结权重进行开环预测，精度很高；以单一上下文为条件时，其偏离量（平均场偏差）可作为任务无关的上下文特定计算度量。研究发现训练早期模型与语料平均场几乎不可区分，在…
arXiv cs.LG47 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出对注意力机制的平均场分析：token 间平均注意力构成一个核，可逐层迭代以建模表征几何的演化。以语料为条件时，该核可仅凭输入嵌入与冻结权重进行开环预测，精度很高；以单一上下文为条件时，其偏离量（平均场偏差）可作为任务无关的上下文特定计算度量。研究发现训练早期模型与语料平均场几乎不可区分，在…