★ 2
单次与循环推理双路径：Transformer 层复用联合训练研究
arXiv 论文研究复用 Transformer 中间层权重实现单次推理与循环推理双路径的方法，指出共享权重下提升循环预测会损害单次推理质量。作者提出对两路输出加权联合监督，并以冻结原模型作引导，可显著减少单次路径退化，同时保留循环推理增益。
arXiv NLP6 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
arXiv 论文研究复用 Transformer 中间层权重实现单次推理与循环推理双路径的方法，指出共享权重下提升循环预测会损害单次推理质量。作者提出对两路输出加权联合监督，并以冻结原模型作引导，可显著减少单次路径退化，同时保留循环推理增益。