★ 3
arXiv 论文：FARO 函数空间自适应优化器开源
论文提出 FARO 优化器，把参数分块作为决策单元，按各块实际反事实回报分配几何，并用组合理论中的等风险贡献原则重新分配更新预算。在 FineWeb 上训练的 GPT 风格模型中，FARO-Adaptive 达到与最佳手工配方相当的效果，FARO-ERC 在 6 个随机种子上均降低损失。代码已在 …
arXiv cs.LG4 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 FARO 优化器，把参数分块作为决策单元，按各块实际反事实回报分配几何，并用组合理论中的等风险贡献原则重新分配更新预算。在 FineWeb 上训练的 GPT 风格模型中，FARO-Adaptive 达到与最佳手工配方相当的效果，FARO-ERC 在 6 个随机种子上均降低损失。代码已在 …