★ 3
论文证明最优训练 Transformer 可近无损预测非马尔可夫数据
论文用随机最优控制理论分析 Transformer 对非马尔可夫信源的下一 token 预测，给出熵差与指数衰减误差界，并构造深度 M+1 的 Transformer 实现截断滤波，证明随上下文与数据增加性能误差可任意小。
arXiv cs.LG10 小时前
#最优控制
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
ConicFlow：流匹配模型的约束推理时最优控制
论文提出 ConicFlow，将流匹配模型的约束采样建模为推理时最优控制问题，在偏离预训练轨迹与奖励之间权衡并满足硬终端约束。采用滚动时域原始-对偶算法，并给出有限时域次优性保证，实验显示其在高奖励与约束满足上优于近期基线。
arXiv cs.AI19 天前