基于神经网络的子空间方法用于求解特征值问题
《Communications in Nonlinear Science and Numerical Simulation》:Subspace method based on neural networks for solving eigenvalue problems
【字体:
大
中
小
】
时间:2026年04月27日
来源:Communications in Nonlinear Science and Numerical Simulation 3.8
编辑推荐:
戴晓英|范云英|盛志强
中国科学院数学与系统科学研究院SKLMS,北京,100190,中国
**摘要**
在本文中,我们提出了一种基于神经网络的子空间方法,用于求解特征值问题。与现有的基于神经网络的方法相比,该方法具有更高的准确性和更低的计算成本。首先,我们利用某些
戴晓英|范云英|盛志强
中国科学院数学与系统科学研究院SKLMS,北京,100190,中国
**摘要**
在本文中,我们提出了一种基于神经网络的子空间方法,用于求解特征值问题。与现有的基于神经网络的方法相比,该方法具有更高的准确性和更低的计算成本。首先,我们利用某些深度学习方法和降维技术构建基于神经网络的正交基,然后将特征值问题在正交基所跨越的子空间上进行Galerkin投影,从而得到近似解。数值实验表明,在基于神经网络的方法中,我们的方法能够以相对较低的计算成本获得非常高的近似特征值和特征函数精度。
**引言**
特征值问题在数学、物理和化学等多个领域中发挥着重要作用,例如材料力学、流体力学、结构力学和量子力学。因此,研究高效的数值离散化方法以解决这些问题是科学计算中的一个活跃研究方向。近年来,已经开发了许多成功的特征值问题离散化方法,包括有限差分法[1]、有限体积法[2]、[3]、有限元法[4]、[5]、[6]以及谱方法[7]。
随着机器学习的快速发展,基于深度神经网络的偏微分方程(PDE)离散化方法也受到了越来越多的关注,例如物理信息神经网络(PINN)[8]、深度Galerkin方法(DGM)[9]、深度Ritz方法(DRM)[10]和弱对抗网络(WAN)[11]。这些方法直接用神经网络表示偏微分方程的解,并通过最小化某种损失函数来获得神经网络的最优参数。这些方法之间的主要区别在于损失函数的选择。例如,PINN和DGM使用残差的L2范数作为损失函数,而DRM和WAN分别使用能量泛函和算子范数作为损失函数。
由于神经网络具有强大的逼近能力[12]、[13]、[14]、[15]、[16]、[17]、[18]、[19]、[20]、[21],上述方法被用于处理多种类型的偏微分方程,包括一些源问题以及特征值问题。例如,在[22]中,引入了基于深度神经网络的波函数假设来求解多电子薛定谔方程;在[23]、[24]中,为薛定谔方程引入了Slater行列式形式的多种波函数假设;在[25]中,提出了一种基于神经网络的多态求解器,用于同时找到薛定谔方程的前k个特征对;在[26]中,提出了一种类似扩散蒙特卡洛的方法来处理高维特征值问题;在[27]中,提出了一种使用神经网络求解高维椭圆偏微分方程的半群方法,并将其扩展为求解特征值问题的原始-对偶算法;在[28]中,提出了一种基于DECOMP/PARAFAC(CP)张量分解的张量神经网络,以及针对张量类型函数的高效数值积分方案;[29]和[30]、[31]分别提供了张量神经网络的理论分析和应用。例如,在[30]中,张量神经网络被用于求解薛定谔方程的最小特征值及其对应的特征函数;在[31]中,张量神经网络被用于求解高维特征值方程的前k个特征对。此外,在[32]中,提出了一种用于计算薛定谔方程特征值和特征函数的机器学习方法,并提供了泛化误差的显式收敛率。
尽管基于深度神经网络的方法在解决经典方法无法处理的高维问题方面取得了进展,但由于缺乏高效的神经网络训练算法,在解决低维问题时面临挑战,导致这些方法在准确性和效率上不如经典方法,从而限制了它们的实用性和效率。
近年来,一些基于浅层神经网络的新兴方法受到了越来越多的关注,例如极端学习机(ELM)[33]和随机特征方法(RFM)[34]、[35]。在这些方法中,除了输出层之外的所有神经网络参数都是随机生成的并固定的,这将优化问题简化为线性系统。通过使用最小二乘法求解线性系统,可以低成本地实现高精度训练。这些方法及其变体[36]、[37]、[38]已被广泛用于求解偏微分方程[34]、[39]、[40]、[41]。然而,迄今为止,这些方法在求解特征值问题方面的应用仍然较少。
从另一个角度来看,上述方法 fundamentally 提供了一种使用神经网络构建基函数的方法。然而,由于神经网络构建的基函数对超参数的选择非常敏感,不恰当的选择会显著影响近似解的准确性。对于某些问题,随机生成超参数可能效率低下,因此寻找更合理的超参数选择和更新方法是一个值得追求的目标。
为了解决超参数选择对解的影响,在[42]中提出了一种改进的批处理内在塑性方法,用于预训练ELM中随机生成的超参数;[43]中采用了一种差分进化算法来计算最优或接近最优的参数Rm,其中神经网络的参数在区间[?Rm, Rm]内随机生成。此外,在[44]中提供了一种基于某些几何解释的更合理的随机选择超参数的方法。
还有一些确定性算法用于计算超参数。 [45]、[46]中引入了一种交替迭代过程,该方法结合了梯度下降来更新超参数和最小二乘法来求解线性系统;[47]中提出了一种基于神经网络的偏微分方程子空间方法(SNN)。该方法的主要思想是通过最小化损失函数来训练基于神经网络的函数,然后使用最小二乘法在由这些训练函数跨越的子空间中找到原始问题的近似解,实现了训练子空间与求解线性系统的完全解耦。与ELM类方法和随机特征方法不同,SNN中基于神经网络的函数的参数不是随机生成的,而是通过最小化某种损失函数获得的。与传统的基于深度神经网络的离散化方法相比,SNN的训练过程更侧重于寻找更好的基函数,因此在训练过程中所需的精度相对较低,通常需要的训练周期也显著减少。与通过交替迭代更新超参数的方法相比,SNN中超参数的更新和线性系统的求解是完全解耦的,大大降低了计算成本。因此,SNN能够在低训练成本下实现高精度求解偏微分方程。此外,[48]中还提出了SNN的弱形式版本。
从另一个角度来看,SNN的训练过程本质上提供了一种确定性的方法来更新基于神经网络的函数的参数。SNN的求解过程在由训练函数跨越的子空间中找到近似解,可以视为经典方法中常用的某种有限维逼近。不同之处在于基函数的选择:经典方法(如有限元方法)使用分段多项式作为基函数,谱方法使用正交多项式作为基函数,而SNN使用训练有素的基于神经网络的函数作为基函数。
在本文中,受到[47]中提出的使用深度学习方法训练基函数想法的启发,我们提出了一种基于神经网络的特征值问题子空间方法。除了使用深度学习方法训练某些基于神经网络的函数外,我们还引入了一些降维技术来处理训练后的函数,得到了基于神经网络的正交基。我们的方法主要包括两个步骤:首先,利用某些深度学习方法和降维技术构建基于神经网络的正交基;然后,使用某些经典方法(如Galerkin方法)在正交基所跨越的子空间中对特征值问题进行离散化,从而得到近似解。
我们将我们的方法应用于一些典型特征值问题的求解。数值结果表明,我们的算法在较少的训练周期内就能实现非常高的精度,这证明了我们的新方法在计算成本和准确性方面相对于现有基于神经网络的方法具有优势。
**本文的后续部分组织如下**:
第2节提供了一些基础知识,包括线性椭圆特征值问题的某些符号和经典结果,以及基于神经网络的子空间方法在某些源问题上的简要介绍。第3节介绍了我们基于神经网络的特征值问题子空间方法的一般框架及其每个步骤的细节,特别是如何构建基于神经网络的正交基。第4节提供了一些数值结果,以展示我们新方法的效率。最后,我们给出了简要的结论。
**初步知识**
在介绍我们的方法之前,我们首先提供一些基础知识,包括椭圆特征值问题的一些基本结果,以及[47]中提出的基于神经网络的偏微分方程子空间方法的简要介绍。
**基于神经网络的特征值问题子空间方法**
我们考虑以下典型的特征值问题:
$$ Lu = \lambda u \in \Omega, \quad u = 0 \text{ 在 } \partial \Omega $$
其中微分算子 $ L := -\nabla \cdot (\alpha \nabla) + \beta $,且 $ \alpha = (\alpha_{ij})_{ij} \in W^{1, \infty} (\Omega) $($ i, j = 1, \ldots, d $),$ 0 \leq \beta \in L^{\infty} (\Omega) $。
上述特征值问题的相关弱形式如下:
寻找 $ (\lambda, u) \in \mathbb{R}^n \times \mathbb{H}^{0,1}(\Omega) $,使得 $ b(u, u) = 1 $ 且 $ a(u, v) = \lambda b(u, v) $,对所有 $ v \in \mathbb{H}^{0,1}(\Omega) $ 成立。这实际上是方程(1),其中 $ a(u, v) = (\alpha \nabla u, \nabla v) + (\beta u, v) $ 且 $ b(u, v) = (u, v) $。这里,$ a(\cdot, \cdot) $ 和 $ b(\cdot, \cdot) $ 是两个正定的对称双线性函数。
**数值实验**
在本节中,我们将使用四个典型的特征值问题——拉普拉斯特征值问题、解耦谐振子、耦合谐振子和氢原子——来展示本文提出方法的性能。
这些算法是基于深度学习框架PyTorch实现的。所有数值实验都在中国科学院数学与系统科学研究院的LSSC-IV平台上进行。
**结论**
在本文中,我们提出了一种基于神经网络的特征值问题子空间方法。这种方法实际上可以将机器学习与经典方法结合起来使用:首先使用机器学习方法和模型降阶方法获得基于神经网络的正交基,然后计算特征值问题在正交基所跨越的子空间上的Galerkin投影,从而得到近似解。
**作者贡献声明**
戴晓英:撰写——审稿与编辑、验证、监督、项目管理、方法论、研究、资金获取、概念化。
范云英:撰写——原始稿件、可视化、验证、软件、方法论、研究、形式分析。
盛志强:撰写——审稿与编辑、验证、方法论、资金获取、概念化。
**利益冲突声明**
作者声明他们没有已知的可能会影响本文报道工作的财务利益或个人关系。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号