物理信息神经网络与神经算子用于偏微分方程：架构、训练病理与方法选择综述

《Neural Networks》：Physics-Informed Neural Networks and Neural Operators for PDEs: A Review of Architectures, Training Pathologies, and Method Selection

　　

分类法（taxonomy）将表示层次（representation level）与训练范式（training paradigm）相分离。本综述将物理信息神经网络（PINN）的失效模式与偏微分方程（PDE）复杂度相关联。对神经算子（neural operators）与物理信息求解器（physics-informed solvers）进行了比较。证据综合（evidence synthesis）结合了60篇筛选研究（screened studies）与155篇背景文献（contextual papers）。带有匹配迭代（matched-iteration）与匹配时间（matched-time）预算的开放基准（open benchmark）为上述方法选择指导提供了支持。

1. 引言（Introduction）
该综述指出现有调查存在缺乏集成求解器–算子视角、缺少统一方法学景观、基准与评估协议标准化不足、失效模式讨论分散以及缺乏跨论文元分析等结构性缺陷。为此，作者提出二维分类法，将表示层次与训练范式分离，建立PDE复杂度矩阵，并给出标准化评估协议与跨研究综合。同时，该综述系统比较了经典数值方法、神经算子及新兴范式，并提供了概念验证统一基准。

2. 历史基础与早期神经PDE求解器（Historical Foundations and Early Neural PDE Solvers）
该部分追溯了1990–2000年间的开创性工作，包括Lee和Kang（1990）的神经算法、Dissanayake和Phan-Thien（1994）的配点框架以及Lagaris等人（1998）的硬约束试验解构造。Chen和Chen（1995）的算子通用逼近定理为后来的DeepONet提供了理论基础。2017–2019年的复兴主要得益于自动微分（AD）、GPU计算和深度网络的工程化进展，而非概念性突破。

3. 背景（Background）
该部分介绍了PDE的基本结构、初边值条件以及函数空间约束视角。将PDE视为对容许函数空间的约束，为理解PINN的软惩罚目标提供了数学基础。同时阐述了神经网络近似与自动微分（AD）在计算高阶导数中的作用，并定义了由残差、边界、初始和数据项组成的复合损失函数。此外，该部分还强调PINN可统一处理正问题与反问题，并指出梯度病理、损失不平衡、谱偏差和多尺度刚度等训练挑战。

4. PINN与算子学习的数学基础（Mathematical Foundations of PINNs and Operator Learning）
该部分建立了统一数学框架，涵盖强形式与弱/变分形式。强形式使用自动微分计算点态残差，但会加剧梯度病理和谱偏差。弱形式通过测试函数积分降低导数阶数，提高稳定性但引入额外计算开销。多尺度与谱视角解释了神经网络的谱偏差，并通过神经正切核（NTK）分析优化动力学，指出高波数模式的特征值衰减导致优化刚度。此外，该部分还介绍了算子学习的函数空间视角以及物理信息神经算子（PINO）作为混合框架的损失构造。

5. 统一分类法：二维分类（Unified Taxonomy: A Two-Dimensional Classification）
该综述提出沿表示层次（解级与算子级）和训练范式（数据驱动与物理信息）两个正交轴对方法进行分类，形成四个象限：解级物理信息（Q-I）、算子级物理信息（Q-II）、解级数据驱动（Q-III）和算子级数据驱动（Q-IV）。该分类澄清了PINN与神经算子并非互斥，而是同一设计空间中的不同位置。同时引入PDE复杂度矩阵，通过非线性和多尺度谱复杂度两个维度刻画问题难度，并为方法选择提供启发式指导。该部分还讨论了跨领域技术，如优化与采样、谱表示、约束强化、基于能量的目标及不确定性量化。

6. 解级方法（Solution-Level Methods）
该部分系统总结了经典PINN及各类扩展。经典PINN通过强形式残差最小化实现网格无关的物理约束，但存在梯度病理、谱偏差和局部表达能力不足等瓶颈。域分解方法（如XPINN、cPINN、并行PINN）通过子域划分和界面耦合改善复杂几何与多尺度问题；弱/变分形式（如VPINN、hp-VPINN）通过积分降低导数阶数；优化与采样策略包括自适应损失平衡、残差自适应细化（RAR）和优化器调度；多尺度与谱表示通过傅里叶特征、SIREN和小波基缓解低频偏置；数据-物理融合支持多保真学习、贝叶斯PINN和反问题求解；约束强化包括软惩罚、硬编码和增广拉格朗日方法（ALM）。最后给出了从问题诊断到方法选择的设计指南。

7. 算子级方法（Operator-Level Methods: Architectures and Theory）
该部分介绍了算子学习的理论基础，包括Chen和Chen（1995）的通用逼近定理及与Volterra级数的联系。详细阐述了DeepONet的分支-主干结构、傅里叶神经算子（FNO）及其变体（如U-FNO、Factorized FNO、Spherical FNO）、图神经算子（GNO）、几何感知算子（如GINO、Transolver）以及U-NO、GNOT、WNO等其他架构。还讨论了多算子预训练和基础算子学习，并指出神经算子面临的数据需求大、分布外泛化差、物理约束弱、训练成本高和分辨率迁移受限等局限性。

8. 基准与比较评估（Benchmarks and Comparative Evaluation）
该部分建立了统一的评估框架，将模型分为解级和算子级两类。推荐了涵盖泊松、达西、热传导、Burgers、Helmholtz、Allen–Cahn和Navier–Stokes等方程的渐进式基准套件。评估指标包括相对L₂和H₁误差、物理一致性指标、算子级误差及效率指标。标准化协议强调外部测试网格、等预算比较（FLOP归一化、时间归一化、参数归一化）和多种子报告。概念验证基准在Burgers、Darcy和Helmholtz问题上比较了PINN变体、FNO、DeepONet和PINO，结果显示经典求解器在单实例正问题上仍占优，而神经算子适合多查询摊销场景，且傅里叶特征可有效缓解谱偏差。

9. 与经典数值方法的比较（Comparison with Classical Numerical Methods）
该部分对比了PINN和神经算子与有限元法（FEM）、谱方法、间断伽辽金（DG）等经典数值方法。经典方法在光滑解的正问题上具有成熟误差分析和守恒性，精度高；神经方法在反问题、高维问题（d≥10）、复杂几何的网格无关处理、实时多查询推理和跨族迁移方面具有优势。混合方法如求解器在环、ML加速求解器和学习离散化结合了两者优点。成本-精度指导给出了盈亏平衡查询数量的大致估计公式。

10. 挑战、局限和开放问题（Challenges, Limitations, and Open Problems）
该部分总结了三类失效情景：优化主导失效、表示主导失效和分布主导失效。具体挑战包括梯度病理与优化刚度、谱偏差与多尺度分辨、采样敏感性与可重复性、神经算子的物理约束缺失、复杂几何处理、高维可扩展性以及计算效率与部署问题。作者指出，补救措施具有机制特异性，并呼吁开发新的优化框架、混合算子–PINN理论以及社区级标准化基准。

11. 跨研究综合（Cross-Study Synthesis: Cross-Paradigm Comparison）
该部分基于PRISMA筛选的60项核心研究和155篇背景文献进行了定性综合。通过锚定基准（如PINNacle和PINO研究）提取相对L₂误差，按PDE复杂度区域和方法族给出量级带宽。结果表明，经典PINN在光滑问题上表现良好，但在多尺度和湍流区域退化；域分解和弱形式变体通常优于vanilla PINN；物理信息算子（PINO）在高复杂度区域表现有竞争力但证据基础较薄。此外，还进行了偏倚风险评估，发现仅47%的研究报告多种子，37%报告计算预算，强调标准化的重要性。

12. 应用领域（Application Domains）
该部分概述了四个主要应用领域。流体力学中，PINN用于反问题（如从稀疏测量重建流场），神经算子用于参数化研究和湍流代理建模。固体力学中，PINN处理线性和非线性弹性、断裂力学，硬约束方法用于复杂边界条件，算子方法适合设计空间扫描。生物医学工程中，PINN因反问题结构、物理先验和单患者查询的特点而占主导。天气与气候建模则强烈偏向神经算子，如FourCastNet、GraphCast和Aurora，用于实时全球推理和集合预报。

13. 新兴范式与未来方向（Emerging Paradigms and Future Directions）
该部分讨论了五个前沿方向：神经ODE（Neural ODE）建模连续时间动力学；物理信息Transformer利用全局注意力处理长程空间耦合，但需解决二次计算复杂度；扩散模型用于概率性PDE求解和长时程预报；基础模型（如ClimaX、Poseidon）通过跨PDE族预训练实现少样本迁移，但物理一致性仍待验证；以及大规模不确定性量化（UQ），包括贝叶斯PINN、集成方法和保形预测。

14. 结论与展望（Conclusion and Outlook）
该综述总结了六项主要贡献：二维分类法、历史与理论基础、PDE复杂度矩阵、标准化评估协议、PRISMA指导的跨研究综合以及与经典方法的比较。关键发现表明，解级物理信息方法在数据稀疏和光滑问题上有效，但在复杂PDE中受限于梯度病理和谱偏差；算子级方法提供族级泛化和快速推理，数据驱动算子缺乏物理保证，而PINO等混合方法在残差准确时表现优越。未来方向包括物理信息Transformer、基础式预训练、扩展不确定性量化和几何感知算子。作者建议采用标准基准、开源实现、预算与种子报告以及经典求解器对比。