★ 3
论文证明最优训练 Transformer 可近无损预测非马尔可夫数据
论文用随机最优控制理论分析 Transformer 对非马尔可夫信源的下一 token 预测，给出熵差与指数衰减误差界，并构造深度 M+1 的 Transformer 实现截断滤波，证明随上下文与数据增加性能误差可任意小。
arXiv cs.LG10 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文用随机最优控制理论分析 Transformer 对非马尔可夫信源的下一 token 预测，给出熵差与指数衰减误差界，并构造深度 M+1 的 Transformer 实现截断滤波，证明随上下文与数据增加性能误差可任意小。