★ 2
研究：循环语言模型训练中反向传播窗口与预算取舍
论文研究重复 Transformer 层（循环语言模型）训练时反向传播窗口长度的选择问题，比较长窗口（每 token 学习效率高但单次更新成本高）与短窗口在不同训练预算下的相对表现。结果显示预算增大时短窗口优势大幅衰减，最优窗口会随预算变化而改变，说明窗口比较必须结合可用算力预算。
arXiv NLP3 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文研究重复 Transformer 层（循环语言模型）训练时反向传播窗口长度的选择问题，比较长窗口（每 token 学习效率高但单次更新成本高）与短窗口在不同训练预算下的相对表现。结果显示预算增大时短窗口优势大幅衰减，最优窗口会随预算变化而改变，说明窗口比较必须结合可用算力预算。