★ 3
研究：最优优化器取决于批大小
论文挑战了优化器评估中单一批大小的基准测试惯例，指出Muon不存在跨训练设置一致的有原则缩放规则，且即使经过充分超参调优，语言模型预训练的最优优化器仍会随批大小变化。这提示优化器开发与评测需覆盖多种批大小。
arXiv cs.LG25 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文挑战了优化器评估中单一批大小的基准测试惯例，指出Muon不存在跨训练设置一致的有原则缩放规则，且即使经过充分超参调优，语言模型预训练的最优优化器仍会随批大小变化。这提示优化器开发与评测需覆盖多种批大小。