★ 2
研究质疑循环语言模型停止头实际节省算力
论文训练至 13 亿参数的循环语言模型，发现停止头（halting head）在标准停止规则下几乎无法让 token 提前退出，因为训练从未对 token 停止的那一次迭代打分。此外，批处理生成以最慢 token 为准，使平均迭代数高估节省效果。作者建议报告实际运行迭代数并给出训练前的收益上界测试。
arXiv NLP7 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文训练至 13 亿参数的循环语言模型，发现停止头（halting head）在标准停止规则下几乎无法让 token 提前退出，因为训练从未对 token 停止的那一次迭代打分。此外，批处理生成以最慢 token 为准，使平均迭代数高估节省效果。作者建议报告实际运行迭代数并给出训练前的收益上界测试。