硬约束PINNs的谱分析：边界函数的空间调制机制

《Neural Networks》：Spectral Analysis of Hard-Constraint PINNs: The Spatial Modulation Mechanism of Boundary Functions

　　抽象物理信息神经网络结合硬约束（HC-PINNs）通过试函数形式u?=A+B·N来精确满足边界条件，但其训练动态背后的理论机制至今尚未被深入研究。本研究为HC-PINNs建立了神经切线核（NTK）分析框架，揭示出边界函数B实际上是一种乘性空间调制器，它能从根本上改变核的特征谱——这一机制与软约束形式中的加性惩罚项有本质区别。通过对残差NTK矩阵Kr的谱分析，研究发现有效秩reff可作为预测训练收敛性的稳健确定性指标，其效果优于传统的条件数。研究还表明，若边界函数选择不当，会导致特征谱向零集中，即谱崩溃现象，即便满足了边界条件，优化过程仍可能陷入停滞。该框架通过局部弗雷歇线性化方法被扩展到非线性偏微分方程上，并在一维粘性伯格斯方程上得到了验证。通过系统的有限宽度及优化器一致性研究，明确了理想化的NTK理论与实际使用Adam/L-BFGS优化器进行训练之间的差异，结果表明即使经历了特征学习，初始reff仍具有作为收敛可行性指标的价值。基于这些理论洞察，本文提出了一种自动边界函数设计算法，该算法可通过初始化阶段的谱分析来筛选最优边界函数，从而弥合了从理论分析到实际方法的差距。该框架在1D/2D/3D线性扩散问题、非线性伯格斯方程以及典型的软约束和自适应基准测试中均得到了验证，它将边界函数设计从一种经验性选择转变为基于原理的谱优化问题，为科学机器学习中的硬约束问题提供了坚实的理论基础。

引言物理信息神经网络（PINNs）Raissi等人（2019）通过将物理定律直接融入神经网络训练过程，成为解决偏微分方程（PDEs）的一种强大方法Dwivedi等人（2021）；Dwivedi和Srinivasan（2020）；Xiang等人（2022）；Ye等人（2022）。通过将PDE残差和边界条件编码到损失函数中，PINNs提供了一种无需网格的方法，已在流体动力学Cai和Wang（2024）；Lou等人（2021）；Mao等人（2020）；Sun等人（2020）、热传导Gao等人（2021）；Mishra和Molinaro（2021）；Mostajeran和Mokhtari（2022）、中子传输Elhareef和Wu（2023）；Wang等人（2022a）；Xie等人（2021）以及反问题Baldan等人（2023）；Depina等人（2022）；Lu等人（2021b）；Sahin等人（2024）；Yuan等人（2022）等多个科学计算领域取得了显著成果。PINNs的灵活性和通用性使其逐渐成为处理正向和逆向PDE问题的热门工具。尽管取得了这些成就，但当面对含有高频成分、多尺度或尖锐梯度的复杂问题时，PINNs仍面临诸多挑战Fuks和Tchelepi（2020）；Raissi（2018）；Wang等人（2022b）；Zhu等人（2019）。在这种情形下，训练过程往往极不稳定，收敛速度极其缓慢，且最终精度也难以令人满意。为了解决这些问题，相关研究从两个互补的方向展开：一方面，人们提出了各种针对特定物理问题的策略，包括自适应网络架构Lu等人（2021a）、自适应损失函数设计McClenny和Braga-Neto（2023）以及自适应采样策略Wu等人（2023）；这些方法旨在让PINN框架更好地适配目标问题的特定物理特性。另一方面，近期也有研究开始从理论角度探讨PINNs的训练动态，试图揭示导致训练困难的根本原因，并为更有针对性的改进提供指导Saadat等人（2022）；Tataranni（2024）；Wang等人（2022b）。在用于理解神经网络训练动态的理论框架中，神经切线核（NTK）理论Jacot等人（2018a）显得尤为强大。该理论最初是为分析过参数化情况下深度神经网络的训练而发展起来的，它通过核矩阵来描述基于梯度优化的过程中网络预测的演变规律。这一理论后来也被用来分析PINNs的训练动态Wang等人（2022b），为理解收敛行为以及PDE残差与边界条件之间的相互作用提供了有力视角。然而，现有的理论研究主要聚焦于软约束PINNs，这类模型在损失函数中同时出现了PDE残差和边界条件违反的情况。这种软约束形式导致的训练动态方程需要同时考虑PDE残差和边界残差的变化，因此相应的NTK矩阵会包含来自PDE残差、边界残差及其相互耦合项的成分，使得理论分析变得极为复杂。更为关键的是，软约束形式的固有特性限制了NTK理论应用的深度。在软约束PINNs中，NTK矩阵必然要包含用于平衡PDE项和边界项的损失权重因子。这就出现了一个两难局面：如果将权重固定为1，训练过程往往会被边界拟合所主导，从而导致较差的结果；反之，如果根据NTK分析动态调整权重，那么NTK理论的作用就仅限于权重平衡，无法用于指导网络架构设计、优化器选择和学习率调度等其他关键的训练方面。正因如此，现有研究大多只是将NTK作为一种平衡PDE和边界残差的工具Wang等人（2022b），未能充分挖掘NTK理论在全面指导PINNs训练方面的潜力。硬约束PINNs（HC-PINNs）则为解决这一问题提供了可行方案，它通过构建能够通过其函数形式自动满足边界条件的试函数Lagaris, Likas, Fotiadis, 1998；Lagaris, Likas, Papageorgiou, 2000；McFall和Mahan（2009）；Xie, Chi, Wang, Ma, 2024；Xie, Ma, Wang, 2023，彻底消除了边界条件违反的问题。更重要的是，由于边界函数B(x→)起到了对神经切线核的基本空间调制作用，它改变了优化问题的几何结构。这种调制的一个后果就是谱崩溃，即特征谱向零集中，这会降低有效秩并恶化系统的条件数。随着核函数失去表示多种空间模式的能力，基于梯度的优化过程也会变得越来越困难。边界函数B通过对核矩阵元素产生的乘性影响，既可以缓解这种谱崩溃现象，也可能加剧它。与通过加性惩罚项体现的软约束不同，硬约束是直接与神经网络梯度发生相互作用，因而能够改变核谱本身。这一变化使得PINNs的研究重点从如何平衡损失项转变为如何设计出能够产生理想谱结构的边界函数。本研究融合了四个方面的研究内容：PINNs的NTK分析、硬约束PINN公式、损失层面及架构层面的训练优化方法，以及非线性偏微分方程的应用。这些研究内容都围绕着一个共同问题：解决方案的表现形式、优化策略以及问题类型的选择，是如何共同决定PINNs训练是否能够保持稳定性、有效性以及具备足够的计算实用性。在这一背景下，NTK分析为理解训练动态提供了动态视角，硬约束公式则用于修改问题的表示形式，损失层面和架构层面的方法则致力于解决优化过程中的难题，而非线性应用则用于检验这些方法在更复杂的非线性场景下的适用性。NTK理论最初由Jacot等人Jacot等人（2018a）提出，随后Wang等人Wang等人（2022b）将其应用到了PINNs研究中，他们发现PDE残差和边界条件残差的训练动态是由耦合的NTK矩阵共同控制的。后续研究还将NTK分析方法应用于对流-扩散方程Saadat等人（2022）以及参数最优控制问题Tataranni（2024）的分析中。最近，NTK分析还被用来研究比较PIKANs和PINNs的物理信息神经求解器的收敛性De Ryck等人（2026），以及通过高斯过程引导的架构来研究非线性边值问题Kumar和Chakraborty（2024）。此外，基于特征编码的NTK分析也被用于提升复杂PDE问题的收敛性Anonymous（2026）。随机初始化对基于NTK的预测结果的影响也得到了系统研究Wang等人（2024）。不过，这些研究都仍处于软约束框架之下，NTK分析主要功能仍是平衡PDE项和边界损失项。我们的研究则有所不同，它着眼于分析硬约束下的NTK情况，在这种情况下，单一的残差NTK矩阵Kr就能掌控训练动态，无需进行权重调整。关于硬约束PINNs的研究可以追溯到Lagaris等人Lagaris, Likas, Fotiadis, 1998；Lagaris, Likas, Papageorgiou, 2000，他们提出了构建能够自动满足边界条件的试函数的方法。McFall和Mahan McFall和Mahan（2009）则发展出了更为系统的公式化表达，而Liu等人Liu等人（2022）则将该方法扩展到了几何结构较为复杂的场景中。近期的研究成果还包括针对多材料问题的专用物理神经网络Xie等人（2024），以及用于不规则几何形状的自动边界拟合框架Xie等人（2023）。这些研究都集中在如何为特定几何结构构建试函数这一构建性问题上。而我们的研究则着眼于另一个互补的分析问题，即所选择的边界函数是如何影响NTK谱和训练动态的，从而为合理的结构设计提供理论指导。还有些方法在不改变解决方案表示形式的情况下，通过改进损失函数来提升PINNs的训练效果。这些方法包括梯度增强型PINNs（gPINNs）Yu等人（2022）、自适应损失加权McClenny和Braga-Neto（2023）以及基于残差的自适应采样Wu等人（2023）。物理信息核函数神经网络Li等人（2024）则提供了一种另一种思路，它们将物理约束直接嵌入到基于核的架构中。Toscano等人Toscano等人（2025）则对物理信息机器学习领域的这些及其他发展进行了全面综述。我们对解决方案表示形式的谱分析则补充了这些基于损失函数和架构层面的优化方法。除了线性偏微分方程之外，PINNs还被广泛应用于各种非线性问题中。Deresse和Dufera Deresse和Dufera（2025）为二维非线性正弦-戈登方程提出了PINNs求解公式，而Deresse等人Deresse等人（2025b）则通过自适应损失加权方法将这一方法扩展到了正弦-戈登方程的反问题求解中。具有不同类型边界条件的非线性电报方程也得到了研究Deresse和Bekela（2025），此外，还有针对多维度克莱因-戈登方程的深度神经网络算法被开发出来Deresse等人（2025a）。这些研究都采用了带有复合损失函数的软约束形式，体现了PINNs方法在非扩散型方程领域的广泛应用潜力。在本研究中，我们通过局部弗雷歇线性化方法（第2.7节）将NTK分析框架扩展到了非线性偏微分方程上，并在一维粘性伯格斯方程上对该框架进行了验证（第3.5节）。本文系统地建立了HC-PINNs的NTK理论框架，其主要贡献如下：1. 空间调制机制：推导出了Kt=BKnB这一分析关系，表明B实际上是一种乘性门控机制，能够在局部范围内调节NTK的特性。这一机制实现了将边界信息直接编码到核结构中。2. 谱分析框架：建立了针对残差NTK矩阵Kr的谱分析框架，并确定reff作为衡量训练难度的主要谱指标。该分析方法还可通过局部弗雷歇线性化方法扩展到非线性偏微分方程上（第2.7节）。3. 理论与实践的差距分析：通过系统的有限宽度及优化器实验，量化了理想化的NTK理论与实际使用Adam/L-BFGS优化器进行训练之间的差异。研究表明，即便在特征学习之后，初始化阶段的reff仍然具有预测价值，同时本文还给出了相关的机制解释。4. 自动边界函数设计：提出了一种谱优化算法（算法1），该算法能够根据初始化阶段的reff来选择合适的边界函数，从而实现了从理论分析到实际方法的衔接。5. 多维度及不同问题类型的验证：通过全面的实验，该框架在1D/2D/3D线性扩散问题、一维非线性伯格斯方程以及典型的软约束基准测试中都得到了验证。可靠的统计结果进一步支持了本文的定性结论。本文的其余部分结构如下：第2节介绍理论框架，第3节则探讨这些理论预测在实际中的应用情况，首先介绍实验方案以及有限宽度/优化器研究，随后讨论线性扩散基准测试、非线性伯格斯方程的扩展应用、自动边界函数设计的演示，最后对比典型的软约束基准模型。第4节总结了主要研究结果并指出了未来的研究方向。

HC-PINN考虑以下具有狄利克雷边界条件的恰当定义的偏微分方程：L[u(r→)]=f(r→)，r→∈Ω，u(r→)=g(r→)，r→∈?Ω，其中L[·]为微分算子，f(r→)和g(r→)为已知函数，Ω为计算域，?Ω为Ω的边界，u为未知的解函数，r→为坐标向量。在本研究中，时间变量t被视为额外的坐标分量，因此r→同时包含了空间坐标和时间坐标。在HC-PINN框架下，解的形式为

实验设置为了系统研究边界函数B的构造方式对NTK的谱性质以及训练动态的影响，我们建立了一个标准化的实验框架。除非后续章节另有说明，所有数值实验都将采用以下默认设置。所有实验均以全连接神经网络（MLP）作为核心结构。默认架构包含两层隐藏层，每层有500个神经元，采用双曲函数。结论：本研究表明，在HC-PINNs中，边界函数B起到了对神经切线核的乘法空间调制作用，从而构建了一个将边界函数设计与训练过程联系起来的谱框架。核心理论结果为链式关系Kn → Kt → Kr：切线核遵循Kt=BKnB的规律，而残差核则通过dR/dt=?2ηNrKrR→来控制收敛性。通过这一分析，Kr的有效秩reff可作为一种可靠的初始化阶段诊断指标。

关于写作过程中生成式人工智能及人工智能辅助技术的声明：在撰写本手稿时，作者们使用了基于大型语言模型的写作助手，仅用于英语语言润色、句子层面的改写以及提升可读性。科学问题、理论推导、数值实验、数据分析、结果解读及结论部分均由作者亲自完成并验证。在使用该语言润色工具后，作者们对手稿进行了仔细审查和编辑，并对其内容负全责。

未标注引用文献的图表D.35C
RediT作者贡献声明：
谢宇辰：写作——审阅与编辑、写作——初稿撰写、可视化、方法论、资金获取、形式分析、数据整理、概念构思。
迟鸿航：写作——审阅与编辑、验证、方法论、数据整理、概念构思。
权浩鹏：写作——初稿撰写、可视化、形式分析、数据整理。
王亚辉：写作——审阅与编辑、软件使用、资源准备、资金获取。
王伟：写作——审阅与编辑、验证、监督工作。

利益冲突声明：作者们声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。

致谢：本研究得到了中国博士后科学基金（编号2025M780876）、核电安全技术及设备国家重点实验室开放基金（编号SKL-2024-WT-19）、广东省基础与应用基础研究基金（编号2025A1515011855）以及中山大学重点培育平台项目（编号45000-12251016）的支持。
谢宇辰|迟鸿航|权浩鹏|王亚辉|王伟|马宇