物理信息驱动与算子学习中的谱偏差：分析及缓解指南

《COMPUTER METHODS IN APPLIED MECHANICS AND ENGINEERING》：Spectral bias in physics-informed and operator learning: Analysis and mitigation guidelines

　　

西亚瓦什·霍达卡拉米|维韦克·奥门|纳扎宁·艾哈迈迪·达里亚凯纳里|马克西姆·贝肯坎普|乔治·埃姆·卡尼亚迪亚基斯

摘要

利用神经网络以及科尔莫戈洛夫-阿诺德网络（KANs）来解决偏微分方程（PDEs），其中包括物理信息神经网络（PINNs）、物理信息KANs（PIKANs）和神经算子，这类方法存在谱偏问题，即解的低频分量比高频模式的学习速度要快得多。虽然谱偏通常被视为神经架构固有的表征限制，但它与优化过程以及基于物理的损失函数的相互作用机制仍不甚明了。在本研究中，我们对物理信息框架和算子学习框架中的谱偏问题进行了系统分析，重点研究了网络架构、激活函数、损失函数设计以及优化策略之间的相互作用。我们通过频率分辨误差指标、巴伦范数诊断方法以及高阶统计量来量化谱偏，从而实现对椭圆型、双曲型和色散型PDEs的统一分析。通过多种基准测试问题，包括科特维格-德弗里斯方程、波动方程和稳态扩散-反应方程、湍流重建以及地震动力学问题，我们证明了谱偏不仅是一种表征问题，还具有本质上的动态特性。特别是，二阶优化方法能够显著改变谱学习顺序，从而使所有类型的PDEs都能更早且更准确地恢复高频模式。对于神经算子而言，我们还发现谱偏取决于神经算子的架构，并且可以通过具有谱意识的损失函数来有效缓解这一问题，而不会增加推理成本。