★ 3
研究提出蛋白质潜在语言实现自回归生成
研究者提出两种可学习的潜在蛋白质语言：PLL 将序列映射到基于冻结 ESM-2 的 4096 状态上下文词表，SLL 则适配 GCP-VQVAE Lite 并保留骨架坐标解码。在各自 token 上预训练自回归模型得到 PLLM 与 SLLM，序列生成中低熵样本比例下降 54%，结构预测困惑度降低…
arXiv cs.LG27 天前
#自回归模型
共 9 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究揭示自回归预测中数据与记忆的谱缩放规律
研究揭示自回归预测中数据量与学习记忆量由同一预测能量谱支配，并证明了一个极小极大定律，说明数据决定分辨率、记忆决定最优比特分配达到的水平。实验验证了数据-记忆坍缩与耦合指数，并考察了六种预训练模型规模下的权重量化。
arXiv cs.LG48 天前
★ 2
论文提出 ART-MPG 自回归 R/T 流形路径引导渲染模型
研究提出 ART-MPG，一个紧凑神经模型，用于采样链长、自回归反射/透射字符串及基于拓扑条件的四分量 vMF 混合方向。方法扩展了流形路径引导中的重复试验加权，在保持理想期望的同时降低重试次数与估计方差。在 14 个场景上，同等采样数下均方误差低于在线与离线基线。
arXiv cs.LG11 天前
★ 2
arXiv 提出历史重参数化策略梯度降低方差
论文指出自回归序列模型的策略梯度固定条件历史，丢弃早期决策对后续分布的影响，造成稀疏奖励下的信用分配瓶颈。作者提出历史重参数化（HR）策略梯度，并推导最优 HR（OHR）中心化控制变量估计器。实验显示嵌入级松弛可随序列长度显著降方差，并在 TSP 等任务上验证。
arXiv cs.LG13 天前
★ 2
研究提出因果编辑序列化 CES，支持自回归模型局部修订
论文提出因果编辑序列化（CES）框架，用特殊指针词元配合预测的源地址，在同一因果词元流中表达插入、删除、替换、复制与移动等修订操作。CES 模型可完整执行编辑，干净文本 bits per byte 仅略高，并在语法纠错任务上验证了监督与强化学习后训练的有效性。
arXiv NLP14 天前
★ 2
AutoIndexer：通过编辑链训练因果模型实现灵活顺序解码
论文提出 AutoIndexer，一种模拟「编辑链」的生成模型训练与解码机制，允许模型通过插入、替换和删除 token 事后灵活修改先前输出。模型学习预测编辑的开闭标记 token 并移动光标，类似文本编辑器。该方法具备多数自回归与扩散模型缺乏的生成后上下文编辑能力，且不损害标准基准表现。
arXiv NLP21 天前
★ 2
seq2cause：单一自回归骨干统一四类因果发现
论文提出Seq2Cause框架，将预训练自回归模型改造为摊销条件独立性检验引擎，无需任务特定重训练即可覆盖事件到事件、事件到结果、单序列与群体四类因果发现场景。作者建立预测-因果对偶性，证明交叉熵改进可同步收紧因果识别误差界。在车辆诊断日志（2.9万事件类型、474种故障结果）上首次实现单冻结骨干…
arXiv cs.LG34 天前
★ 2
工业运动学轨迹模型：无坐标自回归生成器
研究提出工业运动学轨迹模型 IKTM，用速度与航向变化等运动学序列表示工业车辆运动，不依赖绝对坐标、路网 token 或语义分区。IKTM 采用带概率混合头的自回归因果 Transformer，并加入显式时长条件信号。在单站点训练、三个未见站点零样本评估中，其转向率分布与留出遥测数据吻合，终止由时…
arXiv cs.LG41 天前
★ 1
新方法用势函数高效估计自回归语言模型期望
一篇 arXiv 论文提出利用采样过程中自然产生的下一 Token 条件概率，通过「势函数」分解测试泛函，从而更高效地估计自回归语言模型下的期望值。作者推导了势函数降低估计方差的条件，并在多个估计量上展示了显著方差下降。该方法有望降低语言模型评估与推理中的计算成本。
arXiv cs.AI24 天前