浅层神经网络对混合 Sobolev 空间的逼近

摘要

这篇新发布的 arXiv 预印本研究具有混合光滑度 α 的目标函数在 L2 意义下由含 n 个神经元、采用一般激活函数的浅层神经网络进行最佳逼近。作者建立了与激活函数无关的 Fourier-block 原理：若激活函数的一元逼近阶为 ρ，则全局逼近的代数阶为 min{α,ρ}，并带有明确的对数因子。对 ReLU^k，匹配的代数下界表明，在任意维度中最优代数逼近指数为 min{α,k+1}；该框架也给出 cardinal B-splines 和 soft-ReLU^k 的同一指数，以及 ELU 和余弦激活函数的完整混合光滑度指数 α，均差至对数因子。