★ 3
ECHO：把多 token 预测并入自回归目标
论文提出 Efficient Causal Self-Recursion（ECHO），让主干最后一层直接预测所有时间跨度，使监督落在生成下一 token 的参数上，并用动态深度采样降低深层训练成本。预训练阶段在推理与代码任务上以一半 MTP 开销取得增益，推理时模型可自任草稿模型，在开放式高熵生成…
arXiv NLP13 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 Efficient Causal Self-Recursion（ECHO），让主干最后一层直接预测所有时间跨度，使监督落在生成下一 token 的参数上，并用动态深度采样降低深层训练成本。预训练阶段在推理与代码任务上以一半 MTP 开销取得增益，推理时模型可自任草稿模型，在开放式高熵生成…