技术
Zero-Cost Proxy(零成本代理)
零成本代理(Zero-Cost Proxy)是一种无需训练即可评估神经网络架构性能的指标,用于解决神经架构搜索中评估成本过高的问题。它通过分析网络在初始化时的梯度、激活或参数特性来预测最终性能,典型代表如NASWOT、SynFlow,可加速NAS过程。
详细解释
零成本代理基于网络初始化时的信息,如梯度范数、激活稀疏性、参数相关性等,计算一个分数来排序架构。这些代理与最终性能存在一定相关性,但并非绝对可靠。它们通常用于NAS的早期筛选,以减少需要完整训练的候选架构数量。代表性工作包括SNIP、GraSP、NASWOT和SynFlow,这些方法在多个基准上展示了与训练后性能的强相关性,从而显著降低搜索成本。
别名与相关写法
zero-cost proxy