★ 2
SAZO：样本自适应零阶微调方法提出
论文提出 Sample-Adaptive Zeroth-Order Optimization（SAZO），在线学习样本重要性并自适应分配查询，加速大模型零阶微调收敛。方法无需真实梯度，仅比 MeZO 多 O(N) 标量状态，理论证明其收敛率严格更快。四个模型族实验显示平均下游性能提升，达到相同训练…
arXiv cs.LG21 天前
#零阶优化
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
ZO-COSMO：去中心化零阶优化的无索引单跳混合
论文提出 ZO-COSMO，面向去中心化零阶学习的稀疏通信场景，刻画了「单跳条件」并耦合双查询估计与保均值掩码共识。作者给出匹配类下的收缩界与收敛保证，并在 64 个合成智能体与 8 个 Qwen LoRA 工作节点上验证。在同等通信预算下，Qwen2-7B 在 QNLI 上比显式索引 Rand-…
arXiv cs.LG39 天前
★ 2
ZoAQ：基于查询复用的自适应零阶优化
论文提出 ZoAQ，一种围绕查询复用的自适应零阶优化方法，让历史评估同时服务于下一步更新与是否继续查询的决策，无需额外验证查询。在合成目标上查询量减少 43-48%，黑盒攻击中 MNIST 与 CIFAR-10 分别以 320 与 625 次平均查询达到 100% 成功率。
arXiv cs.LG41 天前
这个主题的相关资产
相关公司阿里巴巴1