arXiv cs.LG·28 天前★ 1

Dropout网络逼近性质：Sobolev速率与置信界

原文标题：Approximation Property of Dropout Neural Networks: Sobolev Rates and Confidence Bounds

重要度 1/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

论文研究以保留概率p随机保留边的ReLU网络对W^{n,∞}单位球的逼近，给出在至少1-δ概率下成立的均匀误差保证，并构造常深度网络规模上界。反向利用Sobolev容量给出存活边数下界，在固定或对数深度预算下上下界在精度指数上匹配。

论文速读 · 四段结构cs.LG去论文速读 →

问题: dropout 网络的通用逼近性无法说明随机实现达到精度所需的网络规模。
方法: 构造常深度 ReLU 网络，结合局部子网络、成功事件定位与多尺度 Taylor 分解，给出高概率均匀误差保证，并用 Sobolev 容量推下界。
结果: 规模上界 Õ(p^{-9}ε^{-max{d/n,2}}log(1/δ))，固定或对数深度下上下界精度指数匹配。
影响: 为随机稀疏网络的规模需求提供理论标尺，帮助判断 dropout 推理时的精度-规模权衡。