新上线今天0 投票
Dropout 神经网络的逼近性质：Sobolev 速率与置信界
理论背景
Dropout 是深度学习中常用的正则化技术，通过在训练时随机丢弃神经元来防止过拟合。然而，其通用逼近性质（universal approximation property）仅保证存在某个网络能逼近目标函数，却无法说明一个随机采样的网络需要多大才能可靠地逼近。这在实际部署中至关重要：我们训练得到的只是一个随机实现，而非理论上的最优网络。
核心贡献
贾鹤尧（Jia-He Yao）在 arXiv 发表论文《Approximation Property of Dropout Neural Networks: Sobolev Rates and Confidence Bounds》，首次系统刻画了 Dropout ReLU 网络逼近 Sobolev 空间单位球所需的网络规模与置信度。
- 设定：网络每条边以概率 p 独立保留，逼近目标为 W^{n,∞}([0,1]^d) 的单位球，误差在输入域上一致度量，且保证以至少 1-δ 的概率对单个采样网络成立。
- 上界：构造了常数深度、规模为 Õ_{n,d}(p^{-9} ε^{-max{d/n,2}} log(1/δ)) 的网络。关键技术包括有界局部子网络、成功逼近事件上的局部化以及多尺度泰勒分解。
- 下界：Sobolev 容量给出存活边数的下界；逼近固定仿射函数时，输出层需付出 ((1-p)/p) ε^{-2} log(1/δ) 的代价（高置信度下）。
- 匹配性：固定 p∈(0,1) 且 δ<min{1/2,1-p} 时，在固定或对数深度预算下，上下界的精度指数匹配；当 d≤2n 时，置信度项也匹配（忽略精度对数）。
- 扩展：下界可推广至 W^{n,r} 目标与 L^s 误差，但与 W^{n,∞} 的上界不同。
意义与开放问题
该工作为 Dropout 网络提供了非渐近的逼近保证，揭示了网络规模对保留概率 p 的依赖（p^{-9}），并首次将置信度 δ 纳入分析。最优保留依赖与对数因子仍是开放问题。
关键点
- 问题：随机 Dropout 网络需要多大才能以高概率准确逼近光滑函数？
- 方法：构造性上界 + 容量下界，结合多尺度泰勒分解。
- 结果：在特定条件下上下界匹配，但 p 的最优依赖未定。
- 影响：为理解 Dropout 的泛化与网络设计提供理论工具。
