《Applied and Computational Harmonic Analysis》:Time-frequency analysis for neural networks
艾哈迈德·阿卜杜勒贾瓦德 | 埃莱娜·科尔德罗
约翰·拉顿计算与应用数学研究所(RICAM),奥地利科学院,阿尔滕贝格街69号,林茨,A-4040,奥地利
**摘要**
我们利用时频分析工具,为浅层神经网络发展了一种定量逼近理论。在加权调制空间Mmp,q(Rd)中,我们证明了对于其单元结合了标准激活函数与局部时频窗口的网络,在Sobolev范数Wn,r(Ω)下的逼近速率与维度无关。我们的主要结果表明,对于f∈Mmp,q(Rd),可以在有界域上实现∥f?fN∥Wn,r(Ω)?N?1/2∥f∥Mmp,q(Rd),并且所有常数都可以明确控制。我们还利用加权调制字典在Rd上得到了全局逼近定理,并推导出对Feichtinger代数、傅里叶-勒贝格空间和Barron空间的影响。一维和二维的数值实验证实,基于调制的网络在Sobolev逼近方面明显优于标准的ReLU网络,这与理论估计结果一致。
**1. 引言**
神经网络已成为现代机器学习中的核心工具,在从计算机视觉和自然语言处理到科学计算和控制等多个领域取得了突破性进展。它们的成功往往归功于高表达能力、在高维度上的可扩展性以及高效的训练算法。同时,这也促使人们从数学角度深入研究这些模型。经典的通用逼近定理保证了具有单隐藏层的神经网络(也称为浅层神经网络)能够在紧凑域上以任意精度逼近广泛类的连续函数[18],以及其他函数空间[1]、[2]、[34]、[45]、[46]。换句话说,这类网络生成的函数在许多自然函数空间中是密致的。
定性的表达能力结果为神经网络逼近高度复杂函数的能力提供了宝贵见解[3]、[4]、[11]、[39],包括那些作为偏微分方程(PDEs)解的函数[12]、[13]、[14]、[21]、[30]、[36]、[37]、[43]。
除了这些定性见解外,大量理论工作还促进了人们对网络复杂性如何随目标精度、输入维度和目标函数规则性变化的量化理解[23]、[41]、[50]、[56]。然而,许多现有结果都是针对特定类的函数、架构或范数推导出来的,并没有充分考虑PDE问题的结构和分析特性。这留下了关于基于神经网络的求解器在效率、可扩展性方面的几个重要问题,特别是在解的规则性、维度以及架构设计方面。
然而,许多这类定量理论是为标准的回归或数据拟合问题开发的,其中主要的性能指标基于Lp范数和点态预测误差。这种以Lp为中心的视角与快速发展的科学计算领域的需求并不完全吻合,特别是对于PDE的数值求解。在这种情况下,逼近函数必须忠实地捕捉目标函数f及其导数?αf,直到给定的阶数n∈Z+。后者的要求自然地将焦点从勒贝格类型的误差测量转变为Sobolev范数中的误差测量∥f?fN∥Wn,r(Ω)=(∑|α|≤n∥?αf??αfN∥Lr(Ω)r)1/r,其中r≥2且Ω?Rd,这与变分公式的分析结构非常契合。
**2. 理论背景**
在发展此类定量逼近结果时,一个主要障碍是众所周知的维度灾难:对于Rd上的通用函数类,要达到预设的精度ε>0,所需的参数数量通常随着d的增长而像ε?O(d)那样增长。一种有效的解决方法是将注意力限制在更结构化的函数类上。一个著名的例子是Barron空间,它通过傅里叶变换的某个谱矩的有限性来表征函数[6]。在这种设置下,浅层神经网络可以在L2中实现O(N?1/2)的维度无关逼近速率,这一点在[19]、[22]、[46]、[47]、[48]、[54]、[55]中得到了改进。这明确地将神经网络训练与字典学习和贪婪逼近理论联系起来,借鉴了DeVore [20]和Cohen等人[15]关于使用冗余字典进行非线性逼近的经典结果。
我们在这项工作中的目标是将对量的视角扩展到基于调制空间的相空间框架,并使用高阶Sobolev范数中的误差度量。
**3. 理论细节**
尽管Barron型空间取得了成功,但仍存在几个重要差距:
1. 大多数现有结果都是用L2(或Lp)范数表述的,并没有直接涉及对于PDE应用更为自然的Sobolev范数Wn,r(Ω)。
2. 基于傅里叶的谱Barron空间视角不适合捕捉具有非平凡时频局部化的函数,即那些在空间和频率上都有约束行为的函数。
3. 在无界域Rd上的逼近结果相对较少,尤其是在函数及其导数都被控制的设置中。
这些问题激发了寻找一个更灵活的分析框架的动机,该框架能够:(i) 编码相空间信息(空间和频率);(ii) 以统一的方式捕捉衰减和规则性;(iii) 支持在高阶Sobolev范数中的维度无关逼近估计,并明确控制常数对问题参数的依赖性。
为了应对这些挑战,我们在Feichtinger [24]引入的调制空间Mmp,q(Rd)设置中开展工作,并在[28]中进行了深入研究。简而言之,调制空间衡量了短时傅里叶变换(STFT)Vφf(x,ξ)=∫Rdf(t)φ(t?x)e?2πit·ξdt的大小和分布,其中φ是Schwartz类S(Rd)中的固定非零窗函数。对于权重m: Rd×Rd→(0, ∞)和指数0
< />
0,使得对于所有N∈N的浅层网络fN(其激活函数形式如(1.1)所示),都有inf∥f?fN∥Wn,r(Ω)≤CN?1/2|Ω|1/r∥f∥Mmp,q(Rd),其中下确界是在所有具有N个神经元的网络fN上取得的;关于此类网络结构的详细信息,请参见第2.3节。所得到的逼近速率是与维度无关的,且证明中明确了常数C的控制方法。
**4.2. 对Feichtinger、Shubin和傅里叶-勒贝格空间的统一后果**
具体化权重和指数后,得到了一系列具体的推论。当p=q=1时,定理14恢复了加权Feichtinger代数Mm1的局部Sobolev逼近结果(推论15)。此外,我们在Shubin-Sobolev空间Qs以及适当的s选择下获得了Shubin-Sobolev空间Lvs2和FLvs2的局部Sobolev逼近界限(推论16),这可以被视为不确定性原理的定量表述。利用调制空间和加权傅里叶-勒贝格空间之间的局部等价性,我们进一步在FLvsq中得到了局部逼近结果(命题4)。
**4.3. Barron空间中的Sobolev逼近**
对于机器学习社区来说,Barron空间的情况尤为重要。当p=1且频率权重适当时,推论17得到了Barron空间的逼近结果,形式为inf∥f?fN∥Wn,r(Ω)≤CN?1/2|Ω+Ω|∥f∥Bvn+1,当Ω是凸集时,界限得到简化。这扩展了Siegel和Xu [45]基于Hn(Ω)的结果到一般的Sobolev范数Wn,r(Ω)和任意维度,建立了相空间框架中的自然联系。
**4.4. 在Rd上的全局逼近**
局部结果并不立即适用于无界域。我们的第二个主要定理(定理18)通过考虑一个修改后的字典DΩ来解决这个问题,其中空间位移y被限制在一个固定的有界集Ω?Rd中。我们展示了对于所有f∈Mmp,q(Rd)且0
**4.5. 通过调制神经网络的数值验证**
最后,我们基于定理14中的字典d,通过调制神经网络架构进行了数值实验来补充我们的理论分析。在这种架构中,网络单元实现了我们逼近结果中使用的窗函数。通过在一维和二维空间中的广泛实验,我们观察到:
(i) 调制网络在sobolev范数中测量的误差时,始终优于具有可比(或甚至更大)参数数量的标准浅层relu网络;
(ii) 窗结构提供了更好的局部化,导致对导数的逼近显著改进;
(iii) 所提出的架构在训练期间表现出更快的收敛速度(对于adam和adamw优化器),并且每个参数的表达能力更高,为我们的理论界限提供了实证支持。
在二维测试问题中,图9中的损失与 epoch对比图表明,调制网络的h1误差衰减率比蒙特卡洛类型的n?1/2基线更陡峭。这表明对于这种架构和函数类,经典的蒙特卡洛速率可能并不准确,自然引出了在这个基于相空间的设置中最佳逼近率应该是什么的问题。总体而言,这些实验表明,我们基于相空间的架构设计不仅具有理论意义:它在pde设置中的学习任务中带来了实际的精度和收敛性改进。
**图例说明**
- 下载高分辨率图像(149kb)
- 下载全尺寸图像
**图1.** 相频平面的铺砌可视化。左图:调制空间使用均匀网格。右图:besov空间使用二进制网格,其中频率带宽在每个尺度上翻倍(1→2→4)。
这种相空间视角提供了一种统一的公式,可以同时描述空间衰减、频率衰减和规则性。从神经网络逼近的角度来看,调制空间特别吸引人,因为它们允许自然地分解为局部化构建块,如gabor原子[25]。在这项工作中,我们通过引入一个由窗口激活函数组成的字典d来实现这一点,其形式为(1.1)x?σ(η·xτ+b)φ(η·xτ+b?t)?(x?y),其中σ是标准激活函数(例如relu),φ∈s(r),?∈s(rd)是窗函数,(y, η, b)参数化了空间、频率和偏置组成部分。这种构造保留了神经激活的灵活性,同时引入了明确的相空间局部化。 q<∞以及适当的m,仍然有全局界限inf∥f?fn∥wn,r(rd)≤cn?1 2∥f∥mmp,q(rd),其中下确界是在所有具有n个神经元的网络fn上取得的,这些网络的激活函数形式如(1.1)所示,且空间位移y被限制在固定的有界集ω?rd中。作为推论,我们获得了加权feichtinger代数的全局sobolev逼近结果,并通过嵌入获得了bessel势空间wr,t(rd)的全局sobolev逼近结果。我们强调,我们的结果显著推广了[40]中的发现。 **4.5. 通过调制神经网络的数值验证** 最后,我们基于定理14中的字典d,通过调制神经网络架构进行了数值实验来补充我们的理论分析。在这种架构中,网络单元实现了我们逼近结果中使用的窗函数。通过在一维和二维空间中的广泛实验,我们观察到: (i) 调制网络在sobolev范数中测量的误差时,始终优于具有可比(或甚至更大)参数数量的标准浅层relu网络; (ii) 窗结构提供了更好的局部化,导致对导数的逼近显著改进; (iii) 所提出的架构在训练期间表现出更快的收敛速度(对于adam和adamw优化器),并且每个参数的表达能力更高,为我们的理论界限提供了实证支持。 在二维测试问题中,图9中的损失与 epoch对比图表明,调制网络的h1误差衰减率比蒙特卡洛类型的n?1 2基线更陡峭。这表明对于这种架构和函数类,经典的蒙特卡洛速率可能并不准确,自然引出了在这个基于相空间的设置中最佳逼近率应该是什么的问题。总体而言,这些实验表明,我们基于相空间的架构设计不仅具有理论意义:它在pde设置中的学习任务中带来了实际的精度和收敛性改进。 **图例说明** - 下载高分辨率图像(149kb) - 下载全尺寸图像 **图1.** 相频平面的铺砌可视化。左图:调制空间使用均匀网格。右图:besov空间使用二进制网格,其中频率带宽在每个尺度上翻倍(1→2→4)。 这种相空间视角提供了一种统一的公式,可以同时描述空间衰减、频率衰减和规则性。从神经网络逼近的角度来看,调制空间特别吸引人,因为它们允许自然地分解为局部化构建块,如gabor原子[25]。在这项工作中,我们通过引入一个由窗口激活函数组成的字典d来实现这一点,其形式为(1.1)x?σ(η·xτ+b)φ(η·xτ+b?t)?(x?y),其中σ是标准激活函数(例如relu),φ∈s(r),?∈s(rd)是窗函数,(y, η,>
**4.5. 通过调制神经网络的数值验证**
最后,我们基于定理14中的字典d,通过调制神经网络架构进行了数值实验来补充我们的理论分析。在这种架构中,网络单元实现了我们逼近结果中使用的窗函数。通过在一维和二维空间中的广泛实验,我们观察到:
(i) 调制网络在sobolev范数中测量的误差时,始终优于具有可比(或甚至更大)参数数量的标准浅层relu网络;
(ii) 窗结构提供了更好的局部化,导致对导数的逼近显著改进;
(iii) 所提出的架构在训练期间表现出更快的收敛速度(对于adam和adamw优化器),并且每个参数的表达能力更高,为我们的理论界限提供了实证支持。
在二维测试问题中,图9中的损失与 epoch对比图表明,调制网络的h1误差衰减率比蒙特卡洛类型的n?1/2基线更陡峭。这表明对于这种架构和函数类,经典的蒙特卡洛速率可能并不准确,自然引出了在这个基于相空间的设置中最佳逼近率应该是什么的问题。总体而言,这些实验表明,我们基于相空间的架构设计不仅具有理论意义:它在pde设置中的学习任务中带来了实际的精度和收敛性改进。
**图例说明**
- 下载高分辨率图像(149kb)
- 下载全尺寸图像
**图1.** 相频平面的铺砌可视化。左图:调制空间使用均匀网格。右图:besov空间使用二进制网格,其中频率带宽在每个尺度上翻倍(1→2→4)。
这种相空间视角提供了一种统一的公式,可以同时描述空间衰减、频率衰减和规则性。从神经网络逼近的角度来看,调制空间特别吸引人,因为它们允许自然地分解为局部化构建块,如gabor原子[25]。在这项工作中,我们通过引入一个由窗口激活函数组成的字典d来实现这一点,其形式为(1.1)x?σ(η·xτ+b)φ(η·xτ+b?t)?(x?y),其中σ是标准激活函数(例如relu),φ∈s(r),?∈s(rd)是窗函数,(y, η, b)参数化了空间、频率和偏置组成部分。这种构造保留了神经激活的灵活性,同时引入了明确的相空间局部化。>
顶部行显示了目标函数 e?x2sin(3x) 的预测值,而底部行显示了其导数的预测值。下载:下载高分辨率图片(206KB)下载:下载全尺寸图片
图5. 调制网络和平坦ReLU网络(每个网络有1801个参数)的训练损失随时间的变化。曲线显示了10次试验的中位数以及变化范围。下载:下载高分辨率图片(604KB)下载:下载全尺寸图片
图6. 使用AdamW优化器和调度器在未见过的数据上进行预测时,平坦模型和调制模型的比较,预测函数为F(x, y)。下载:下载高分辨率图片(789KB)下载:下载全尺寸图片
图7. 使用AdamW优化器和调度器在未见过的数据上进行预测时,平坦模型和调制模型的比较,预测函数为?xF(x, y)。下载:下载高分辨率图片(744KB)下载:下载全尺寸图片
图8. 使用AdamW优化器和调度器在未见过的一维数据上进行预测时,平坦模型和调制模型的比较,预测函数为?yF(x, y)。下载:下载高分辨率图片(253KB)下载:下载全尺寸图片
图9. 使用调制网络和平坦网络对F(x, y)进行近似时,损失随时间的变化,隐藏层的节点数不同。
1.2. 文章结构
本文的其余部分安排如下:第2节介绍了必要的函数分析背景,包括短时傅里叶变换(STFT)和加权调制空间Mmp,q的定义和性质。第3节建立了调制空间与Sobolev空间之间的关键嵌入关系。主要理论贡献在第4节中提出,我们首先在有界域上推导了浅层神经网络的近似速率(定理14),然后是在无界域上(定理18)。本节还讨论了这些结果对Feichtinger代数、Shubin–Sobolev空间、Barron空间和Bessel potential空间的具体影响。最后,第5节通过数值实验展示了我们方法的计算效率,证明了所提出的窗口化架构在各种近似任务中的优越性能。
2. 前言
在下文中,我们回顾了本文中将使用的基本定义和性质。主要内容包括短时傅里叶变换(STFT)的引入及其用于定义相关调制空间的方法。
**符号说明**:我们用d∈N表示空间的维度。空间S(R^d)是快速减小的光滑函数的Schwartz类,S’(R^d)是其对偶空间(即温和分布的空间)。类Cc^∞(R^d)是紧支撑且光滑函数的空间。
括号(f, g)表示将内积(f,g)=∫_f(t)g(t)dt从L^2(R^d)扩展到S’(R^d)(第二个分量是共轭线性的)。
我们用F_f(ξ)=f^(ξ)=∫_R^df(x)e^(-2πi<ξ,ξ)>dx表示傅里叶变换及其逆变换,其中f∈S(R^d),?·,·?表示R^d上的标准内积。映射F唯一地扩展为一个在S’(R^d)上的同胚,在L^2(R^d)上的单元算子,并限制为在Schwartz空间S(R^d)上的同胚。通过这种标准化,傅里叶变换满足经典的卷积关系:F(f·g)=f^*g^ 和 F(f·g)=f^·g^,对所有f,g∈S(R^d)都成立。
2.1. 短时傅里叶变换
在信号分析和时频方法中,仅使用时间域或频率域分析信号通常是不足的。为了捕捉频率内容随时间的变化,人们采用了STFT。与提供全局频率表示的经典傅里叶变换不同,STFT引入了一个窗口函数来在应用傅里叶变换之前对信号进行时间定位。这样就可以得到一个同时捕捉时间和频率行为的二元函数。如果我们引入平移算子Tx和调制算子Mω,即T_xf(t)=f(x?t)和M_ωf(t)=e^{2πiω·tf(t)},则信号f∈L^2(R^d)关于非零窗口g∈L^2(R^d)的STFT表示为:
(2.1) (V_gf)(x,ω)=(f,M_ωTxg)^L^2=F(f·Txg)^?)(ω)=∫_R^df(y)g(y?x)e^{?2πiy·ω}dy
该定义扩展到了(f,?)∈S’(R^d)×S(R^d)的情况,STFT的性质详见[16, 第2章]。
2.2. 函数空间
在本节中,我们收集了分析中使用的各种函数空间的定义和基本性质。我们回顾了加权傅里叶-勒贝格空间、Barron空间、调制空间及其嵌入,以及经典的Sobolev空间。这些空间为我们的近似结果提供了分析框架。需要注意的是,下面讨论的许多函数空间都是相对于权重函数定义的。为了简化表述,我们首先介绍本节将使用的权重类。
**权重函数**:设v是一个连续的、正的、在R^d上满足次乘法的权重函数,即v(z_1+z_2)≤v(z_1)v(z_2),对所有z_1,z_2∈R^d成立。
如果函数m是正的、连续的,并满足v-适度性条件m(z_1+z_2)≤C_v(z_1)m(z_2),对所有z_1,z_2∈R^d,对于某个常数C>0成立,则m属于类Mv(R^d)。
我们将重点讨论在R^n上的多项式型权重,其中n=d或n=2d,定义为:
(2.2) v_s(z)=〈z〉^s, z∈R^n,
其中〈z〉=(1+|z|)^{1/2},以及它们在R^2d上的张量积:
(v_s?1)(x,ξ)=(1+|x|)^{s/2}, (1?v_s)(x,ξ)=(1+|ξ|)^{s/2}, x,ξ∈R^n。
注意,当s<0时,函数v_s是v|s|-适度的。
给定R^n上的两个权重m_1和m_2,它们的张量积定义为:(m_1?m_2)(x,ξ)=m_1(x)m_2(ξ),x,ξ∈R^n。类似地,当m_1, m_2定义在R^2d上时也是如此。
2.2.1. 加权勒贝格空间和傅里叶-勒贝格空间
设0
< />
1且1≤p_2+t_20,我们定义了相对于字典D的N项、?^1-正则化逼近的非线性流形如下:
Σ_N,M(D):={∑_j=1^N a_jh_j:h_j∈D,∑_j=1^N|a_j|≤M}。
去除?^1正则化约束得到N项非线性流形Σ_N(D):=?_M>0∑_N,M(D)。
因此Σ_N,M(D)包括所有从D中抽取的至多N个原子的线性组合,通过?^1-正则化获得,而Σ_N(D)不涉及任何正则化。给定巴拿赫空间B中的目标函数,非线性流形用于生成尽可能准确地逼近目标的原子组合。为了严格化这一点,我们观察到任何有界的原子组合都可以规范化为凸组合。这使我们能够通过将函数拟合到字典的凸包内所需的最小缩放因子来衡量函数的复杂性。
**定义3**:
设B是一个巴拿赫空间,D?B是一个字典。那么对于f∈B,D的变分范数定义为:
∥f∥_K(D):=inf{c>0:f/c∈conv(±D)^?},
其中conv(±D)^?是D∪(?D)的凸包ξ,ξ)>对于一个定义在 \( \mathbb{R}^d \) 中的域 \(\Omega \), 我们定义其平滑特征函数为 \( \chi_{\Omega}{\epsilon} := \chi_{\Omega}\cdot \rho_{\epsilon} \)。注意到 \( \supp_{\chi_{\Omega}{\epsilon} \subseteq \supp_{\chi_{\Omega}} + \supp_{\rho_{\epsilon}} \subseteq \Omega_{\epsilon} \), 其中 \( \Omega_{\epsilon} := \{ x \in \mathbb{R}^d : \exists y \in \Omega \text{ 使得 } |x - y| \leq \epsilon \} \)。在 [2, Proposition A.2] 中已经证明,对于任何 \( h : \mathbb{R}^d \to \mathbb{R}^d \), 当 \( \epsilon \to 0 \) 时有 \( \lim_{\epsilon \to 0} \| \chi_{\Omega}{\epsilon}h \|_{L^r} = \| \chi_{\Omega}h \|_{L^r} \)。现在,根据 Hausdorff-Young 不等式,对于每一个 \( |a| \leq n \), 有 \( \| \chi_{\Omega}{\epsilon}\partial_{\alpha}f \|_{L^r} \leq \| F^{-1}F(\chi_{\Omega}{\epsilon}\partial_{\alpha}f \|_{L^r} \leq \| F(\chi_{\Omega}{\epsilon}\partial_{\alpha}f \|_{L^r}' \)。对于具有紧支撑的函数,\( M_p,q \)-范数等价于 \( FL_q \)-范数,例如参见 [16, Proposition 2.3.26]。详细来说,设 \( R > 0 \) 使得 \( \Omega_{\epsilon} \subset B_R(0) \),并考虑一个在 \( B^2R(0) \) 上等于 1 的窗口函数 \( g \in C_c^\infty(\mathbb{R}^d) \)。那么我们有 \( h^*(\xi)\chi_{\Omega}{\epsilon}(x) = V_g(h(x,\xi)\chi_{\Omega}{\epsilon}(x) \),因此 \( \| F(\chi_{\Omega}{\epsilon}\partial_{\alpha}f \|_{L^r}' \leq |\Omega_{\epsilon}|^{-1/p}\| \chi_{\Omega}{\epsilon}\partial_{\alpha}f \|_{M_p,r}' \)。利用调制空间的乘法性质,参见 [16, Proposition 2.4.23],以及指数关系 \( 1^p = 1^\infty + 1^p \), \( 1^{r'} + 1 = 1^s + 1^q \)(注意这意味着 \( 1 \leq s, q \leq 2 \)),我们可以得到 \( \| \chi_{\Omega}{\epsilon}\partial_{\alpha}f \|_{M_p,r}' \leq \| \chi_{\Omega}\|_{M^\infty,s} \| \partial_{\alpha}f \|_{M_p,q} \)。由于 \( \chi_{\Omega}{\epsilon} \) 是具有紧支撑的,我们使用 [16, Proposition 2.3.26] 中的结果,即 \( \| \chi_{\Omega}{\epsilon}\|_{M^\infty,s} \leq \| \chi_{\Omega}\|_{FL_s} \)。此外,如 [2] 中已经观察到的 (见公式 (2.10)),有 \( \| F(\chi_{\Omega}\cdot \rho_{\epsilon}) \|_{L^s} \leq \| F(\chi_{\Omega}) \|_{L^s}\| \| F(\rho_{\epsilon}) \|_{L^1} = \| F(\chi_{\Omega}) \|_{L^s} \)。最后,\( \| \partial_{\alpha}f \|_{M_p,q} \leq \| f \|_{M_1^\otimes v |a|^{p,q} \),例如参见 [17, Theorem 2.3.14],以及调制空间的包含关系 (见 [16] 中的 Proposition 2.4.18),我们得到 \( \| f \|_{M_1^\otimes v |a|^{p,q} \leq C \| f \|_{M_1^\otimes v}^{np,q} \),对于所有 \( \alpha \in \mathbb{Z}^+ \) 且 \( |a| \leq n \)。总之,\( \| f \|_{W_n^r(\Omega)} = \sum_{|a| \leq n} \| \chi_{\Omega}\partial_{\alpha}f \|_{L_q}(R^d) \leq \| F(\chi_U) \|_{L_s} \sum_{|a| \leq n} \| f \|_{M_p,q} \)。这完成了证明。
**注2**:注意到从公式 (3.1) 和 \( 2 \leq r < \infty \) 可以推断出 \( 1 \leq s, q \leq 2 \)。另外,关于域 \(\Omega\) 的结构以及满足 \( \chi_{\Omega} \in FL_s(\mathbb{R}^d\) 的度数 \( s \),可以参考 [2] 中的 Section 3.1.1。例如,在维度 \( d = 1 \) 时,设 \(\Omega = [-1/2,1/2] \),那么 \( F_{\chi_U} = 1/2\sin(\frac{x}{2}) \in FL_s(\mathbb{R}^d)\),对于所有 \( s > 1 \)。注意,根据 Hausdorff-Young 不等式,对于每一个 \( |a| \leq n \),有 \( \| \chi_{\Omega}{\epsilon}\partial_{\alpha}f \|_{L^r} = \| F^{-1}F(\chi_{\Omega}{\epsilon}\partial_{\alpha}f \|_{L^r} \leq \| F(\chi_{\Omega}{\epsilon}\partial_{\alpha}f \|_{L^r}' \)。在上述论文中的推论1。在通过具有误差范数Wn,r(Ω)的浅层神经网络fN∈ΣN(D)为加权调制空间Mmp,q中的函数建立了近似结果后,我们现在转向无界域的情况。与之前的情况不同,无界域简化了近似误差的控制,但在整个空间Rd上工作需要额外的小心。定理18 全局近似考虑n∈Z+,0??0,使得inffN∈ΣN(DΩ)∥f?fN∥Wn,r(Rd)≤CN?12∥f∥Mmp,q(Rd),对于所有N?∈?N。证明与定理14的证明类似,我们首先应用方程(4.1)对于非平凡的窗口函数φ∈S(R),然后以以下积分形式表达f:(4.11)f(x)=Cσ,φ∫R2d∫Rρ(x,y,η,b)e?2πib·τV?f(y,η)dbdydη,其中f和φ属于S(Rd)?{0},并且?是一个正函数,满足∥?∥L2=1。此外,使用条件(A),Cσ,φ=|(Vφσ)(t,τ)|?1ρ(x,y,η,b)=σ(aη,b(x))φ(aη,b(x)?t)?(x?y)aη,b(x)=aτ,η,b(x)=〈x,η〉τ+b。由于参数t和τ?≠?0是在R中的固定常数,我们在符号中省略了它们。基于方程(4.11)中信号f的表示,我们引入字典DΩ,如(4.10)所示。为了确保字典在Wn,r(Rd)中保持均匀有界,并且目标函数f位于相关的变分空间中,我们引入一个适当的权重函数来控制无穷远处的行为并保证收敛性。由于x变量中的域是无界的,定理14证明中使用的权重不再适用。相反,我们如下定义权重?:?(η,b)=vn+s(η)vs(b),使得>1。因此,修改后的字典D?Ω的形式为:D?Ω={vs(b)vn+s(η)ρ(·y,η,b):Rd→R|(y,η,b)∈Ω×Rd×R},相关度量由dμf(y,η,b)=Cσ,φvn+s(η)vs(b)e?ib·τV?f(y,η)dbdydη给出,这反过来允许我们以包含所有所需分量的积分形式表示f:f=∫D?ΩiD?Ω→Wn,r(Rd)dμf。为了得到f的变分范数的上界,我们回忆∥f∥K(D?Ω)=inf{∥μ∥:f=∫D?ΩiD?Ω→Wn,r(Rd)dμ},其中下确界是在D?Ω上的所有波莱尔测度μ上取得的。特别地,∥f∥K(D?Ω)≤∥μf∥L1。从前面的不等式,我们得到(4.12)∥f∥K(D?Ω)≤∫R2d∫RCσ,φvn+s(η)vs(b)|V?f(y,η)|dbdydη≦Cσ,φ∫R2d∫Rv?s(b)dbvn+s(η)|V?f(y,η)|dydη=Cσ,φπΓ(s?12)Γ(s2)∫R2dvn+s(η)|V?f(y,η)|dydη。使用定理1的包含关系,我们将(4.12) majorize 如下:(4.13)∫R2dvn+s(η)|V?f(y,η)|dydη=∥f∥M1?vn+s1≤Cp,q∥f∥Mvs1?vs2p,q,其中索引s1满足(4.3),并且s2>n+s+dq′,对于一个适当的常数Cp,q?>?0。上述论证适用于任何索引s?>?1,这允许扩展(4.3)中的s2范围,相应地选择s?>?1。对于m=vs1?vs2,我们得出(4.14)∥f∥K(D?Ω)≤Cp,qCσ,φπΓ(s?12)Γ(s2)∥f∥Mmp,q=C∥f∥Mmp,q。在这个阶段的一个中心任务是验证所选字典在Sobolev空间Wn,r(Rd)中是否保持均匀有界。这是根据窗口函数、激活函数和权重的性质得出的。实际上,它们共同确保了修改后的原子ρ?(x,y,η,b):=vs(b)vn+s(η)ρ(x,y,η,b)关于x变量是可微的,直到n阶。因此,对于每个多指标α,其中|α|?≤?n,以及Cα,β,γ=α!β!γ!(α?β?γ)!,我们得到∥?αρ?(·y,η,b)∥Lr(Rd)=vs(b)vn+s(η)∥?α(σ(aη,b(·))φ(aη,b(·)?t)?(·?y))∥Lr(Rd)≤vs(b)vn+s(η)∑β+γ≤αCα,β,γ|η||α?γ||τ||α?γ|∥σ(|α?β?γ|)(aη,b(·))φ(|β|)(aη,b(·)?t)?γ?(·?y)∥Lr(Rd)≤vs(b)vs(η)(1+|τ||τ|)n∑β+γ≤αCα,β,γ|η||α?γ|vn(η)∥σ(|α?β?γ|)∥L∞(R)∥φ(|β|)(aη,b(·)?t)?γ?(·?y)∥Lr(Rd)。此外,我们有∥φ(|β|)(aη,b(·)?t)?γ?(·?y)∥Lr(Rd)≤∥v?u(·)φ(|β|)(aη,b(·)?t)∥Lr(Rd)∥vu(·)?γ?(·?y)∥L∞(Rd)。由于φ∈S(R),我们有φvk?∈?W?,p(R),对于每个k, ?, p?∈?N。应用[1, 引理32],参数?=0, p=r, k?≥?s,以及u?>?s,我们得到∥v?uφ(|β|)(aη,b(·)?t)∥L∞=∥v?uφ(|β|)(aη,b(·)?t)∥W0,∞≤Cβ,τ,dv?s(min{1,|τ|/η}|b|)。这意味着(4.15)vs(b)vs(η)∥v?uφ(|β|)(aη,b(·)?t)∥L∞≤Cβ,τ,dvs(b)vs(η)v?s(min{1,|τ|/η}|b|)。为了建立方程(4.15)的均匀上界,我们根据η和τ之间的关系区分两种情况。•情况1:如果|η|?|τ|,那么v?s(η)vs(b)v?s(min{1,|τ|/|η|}|b|)=v?s(η),这是均匀有界的。•情况2:如果|η|?≥?|τ|,那么v?s(η)vs(b)v?s(min{1,|τ|/|η|}|b|)≤vs(b)(|η|+|τ∥b|)s,这是由|τ|?s均匀有界的。结合两种情况,我们得出vs(b)vs(η)∥v?uφ(|β|)(aη,b(·)?t)∥L∞≤Cβ,τ,dmin{1,|τ|?s}。在这一步中,为了获得均匀上界,需要假设集合Ω???Rd是有界的。因此,我们得到∥vu(·)?γ?(·?y)∥L∞(Rd)≤Cγ,u,Ω。因此,我们得到∥?αρ?(·,y,η,b)∥Lr(Rd)≤∥σ∥Wk,∞(R)(1+|τ||τ|)nmin{1,|τ|?s}∑β+γ≤αCα,β,γCγ,u,ΩCβ,τ,d,我们使用了|η||α?γ|v?n(η)≤1的事实,以及Cγ,u,Ω, Cα,β,γ和Cβ,τ,d是正常数。类似于定理14的证明,简单地计算n阶的偏导数得出原子ρ?在Sobolev范数Wn,r(Rd)中的有界性。这反过来意味着加权字典D?的均匀有界性,因为前述估计的右侧不依赖于η, y和b。随着字典在Wn,r(Rd)中的均匀有界性的建立,我们现在准备提出最终界限。具体来说,对于r?≥?2和n∈Z+,Sobolev空间Wn,r(Rd)是一个类型2的巴拿赫空间;参见[10, 推论A.6]。如前所述,D?Ω?Wn,r(Rd)并且是均匀有界的,即KD?Ω:=suph∈D?Ω∥h∥Wn,r(Rd)=sup∥ρ?(·y,η,b)∥Wn,r(Rd)<∞,其中上确界是在y?∈?Ω???Rd,η?∈?Rd,b?∈?R上取得的。通过(4.13)我们特别得到f∈Mm1(Rd),其中m=1?vn+s。然后,f属于Wn,r(Rd)(见命题3)。此外,方程(4.14)中的嵌入意味着f∈KD?Ω,且Mf:=∥f∥KD?Ω。应用Maurey的界限(见命题6),我们得到inffN∈ΣN,Mf(D?Ω)∥f?fN∥Wn,r(Rd)≤4C2,Wn,r(Rd)KD?ΩN?1/2∥f∥KD?Ω≤4C2,Wn,r(Rd)KD?ΩN?1/2C∥f∥Mmp,q(Rd)。由于ΣN,Mf(D?Ω)?ΣN(DΩ),相同的估计也适用于:inffN∈ΣN(DΩ)∥f?fN∥Wn,r(Rd)≤4CC2,Wn,r(Rd)KD?ΩN?1/2∥f∥Mmp,q(Rd)。这完成了证明。注释5(4.13)中的均匀常数Cp,q来自于定理1中的调制空间的包含关系。注意,这允许有索引0?n+1,那么对于每个f∈Mm1(Rd),存在一个常数C?>?0,使得inffN∈ΣN(DΩ)∥f?fN∥Wn,r(Rd)≤CN?12∥f∥Mm1(Rd),对于所有N?∈?N。到目前为止所做的可以应用于第2.2.4节中定义的潜在Sobolev空间Ws,r。推论20 潜在Sobolev空间的全局近似假设定理18的假设,将整数n∈Z+替换为s∈R+,并且(4.3)中的权重指数s2满足s2=?s?+2如果0
?s?+2+dq′如果q≥1。那么,对于每个f∈Mmp,q(Rd),存在一个常数C?>?0,使得inffN∈ΣN(DΩ)∥f?fN∥Ws,r(Rd)≤CN?12∥f∥Mmp,q(Rd),对于所有N?∈?N。证明使用包含关系:Wn,r(Rd)?Ws,r(Rd),对于n?≥?s,结论成立。5. 实验:使用调制字典的函数近似激活函数策略。虽然我们的理论框架假设σ?∈?Wk,∞(R)。我们在数值实验中使用了标准的ReLU激活函数。这是合理的,因为“斜坡”或“牙齿”轮廓属于W1,∞(R)(见引理21),并且可以分别由2个或3个ReLU单元的线性组合精确表示。例如,一个有界的斜坡可以分解为:σramp(x)=(x?b1)+?(x?b2)+,b1,b2∈R,使得b1< />