《Neurocomputing》：Curvature-aware dynamic precision approach for physics-informed neural networks
编辑推荐：
物理信息神经网络（Physics-informed neural networks, PINNs）已成为一种有前景的框架，通过将物理定律直接嵌入神经网络训练中来模拟偏微分方程（Partial Differential Equations, PDEs）。然而，近
物理信息神经网络（Physics-informed neural networks, PINNs）已成为一种有前景的框架，通过将物理定律直接嵌入神经网络训练中来模拟偏微分方程（Partial Differential Equations, PDEs）。然而，近期研究表明，PINN优化对数值精度敏感。现有实现通常使用单精度（FP32），计算效率高但容易出现失败模式，或使用双精度（FP64），鲁棒性好但成本高昂。这导致计算效率与数值精度之间的权衡。为在保持预测精度的同时降低双精度训练的计算成本，研究人员提出了一种曲率感知的精度控制器，在训练过程中自适应调整数值精度，而非将其视为固定的实现选择。该方法复用从有限记忆BFGS（L-BFGS）优化器获取的曲率信息来构建精度控制器，在低精度足够时维持FP32，在训练动态表明数值敏感或精度受限停滞时提升至FP64。研究人员在四个一维PINN失败模式基准、耦合的二维Navier–Stokes系统和Timoshenko梁系统、一个高维热方程以及一个辐照驱动的常微分方程示例上评估了所提方法。研究人员还进一步在不同神经网络架构和额外优化器上测试了所提方法。在评估的问题中，该方法通常能达到与全FP64训练相当的精度，同时减少训练时间，并提供比固定FP32更可靠的收敛。在四个失败模式基准上，该方法达到平均最终FP64 rRMSE目标，达到目标时间的加速比在[范围]至[范围]之间。所得结果表明，PINN优化中的精度敏感性与训练阶段相关，在数值关键阶段有选择地应用更高精度可以在保持接近全FP64训练精度的同时降低计算成本。
**论文解读：曲率感知动态精度控制提升物理信息神经网络训练效率**
**一、研究背景与问题**
偏微分方程（Partial Differential Equations, PDEs）在流体力学、热传导、波动传播、生态动力学和生物模式形成等众多科学领域中是基础建模工具。物理信息神经网络（Physics-informed neural networks, PINNs）通过将控制方程、初始条件和边界条件直接嵌入训练损失中，提供了一种模拟PDEs的有前景的框架，尤其适用于正问题求解。然而，PINN训练面临多重挑战：多个损失分量（PDE残差、边界条件、初始条件）被整合在单一损失函数中，形成复杂的多目标优化景观，各分量尺度和收敛速率不同，导致病态优化动态。此外，通过自动微分和反向传播计算神经网络输出的导数，特别是涉及高阶微分算子时，进一步加剧了数值敏感性。因此，PINNs可能出现失败模式，即训练损失（尤其是PDE残差损失）看似收敛，而预测解与真实PDE解相差甚远。
L-BFGS优化器因其内存效率和适合大规模神经网络训练而常用于PINN训练，但其对数值精度特别敏感，因为它使用有限的参数和梯度更新历史构建曲率信息。研究表明，部分PINN失败模式与L-BFGS优化因数值精度不足而过早终止有关。双精度（FP64）提供了更稳定的数值环境，可缓解精度相关的失败，但全FP64训练在现代硬件上计算成本高昂，与低精度格式存在显著性能差距。现有混合精度训练方法主要针对FP16-FP32执行机制，未提供基于训练阶段的FP32-FP64完整模型和优化器状态转换。因此，亟需一种能根据训练动态自适应调整精度的方法，以平衡计算成本与预测精度。
**二、研究内容与主要技术方法**
研究人员提出了一种曲率感知的动态精度控制器，该控制器复用L-BFGS优化器历史中存储的曲率信息，作为在线信号动态切换FP32与FP64精度。具体而言，利用L-BFGS迭代中保存的参数差和梯度差构成的曲率对，计算局部方向曲率的瑞利商（Rayleigh quotient），定义条件数代理（conditioning proxy）为有效曲率对的最大与最小瑞利商之比。通过对数变换和指数移动平均平滑该信号，并计算其斜率。控制器在平滑代理低于阈值且斜率较小时保持FP32，当曲率跨度增大、斜率快速上升或FP32下参数更新极小时切换至FP64。该策略无需显式构造Hessian矩阵或额外反向传播，开销可忽略。研究在多个基准上评估：四个一维PINN失败模式方程（对流、反应、波动、Allen–Cahn），二维耦合PDE系统（2D Navier–Stokes顶盖驱动腔流（NS2d-C）和Timoshenko梁），50维热方程，以及辐照驱动的植物生长常微分方程（ODE）。样本来源遵循既有基准设置，如PINNacle基准和Wang等人方法，使用NVIDIA A100 GPU（部分在V100验证）。评估包含标准MLP、PINNsFormer、PINNMamba和KAN等架构，并测试了SSBroyden2优化器。
**三、主要研究结果**
* **与固定精度对比**：在四个失败模式基准上，动态精度方法相对FP64显著改善了速度-精度权衡。对于Reaction和Wave方程，由于曲率信号平滑且较小，控制器可较长时间保持FP32，获得较大加速；Convection和Allen–Cahn方程则因持续高曲率阶段更频繁切换至FP64，加速有限但保持FP64级精度。纯FP32训练速度更快但常不收敛，误差大一到两个数量级。时间到目标分析显示，动态方法在大多数运行中达到FP64级rRMSE目标，加速比在[范围]至[范围]之间（对流约11.5倍、反应约3.4倍、波动约3.9倍、Allen–Cahn约5.4倍，具体见原文表3）。
* **架构效应与泛化**：在高级架构（PINNsFormer、PINNMamba、KAN）上，纯FP32训练在某些方程上可降低误差，但跨随机种子稳定性不佳。将动态精度应用于这些架构可进一步加速训练，且收益大于仅用MLP，因为高级架构产生的曲率轨迹更平滑。更宽更浅的MLP配置在三个基准上获得更大改进。
* **曲率信号与训练动态**：曲率代理在训练过程中呈非单调轨迹，证实数值敏感性具有阶段依赖性。示例轨迹显示，FP32在低曲率阶段可能比FP64更快收敛，但在高曲率阶段则进度缓慢，动态控制器能利用这一差异。
* **与其他加速方法比较**：与混合精度SciML策略、自适应权重和采样方法、以及SSBroyden2优化器相比，动态精度方法获得了最准确和稳定的结果，解决了Convection失败模式，而其他方法未能达到同等精度。
* **高维与耦合PDE测试**：在50D热方程和两个耦合PDE系统上，动态精度达到FP64目标精度，且在NS2d-C上加速约7.5倍，Beam上约3.1倍，50D-Heat上约1.4倍。FP32在耦合系统上无法达到目标，而动态方法在多数运行中成功。
* **实际应用案例**：在辐照驱动的植物生长ODE上，动态精度达到接近FP64的精度，同时减少平均训练时间，而FP32误差变化大，存在不稳定性。
**四、讨论与结论**
讨论部分指出，所提控制器并非替代自动混合精度或量化的方法，而是补充。其依赖L-BFGS历史中的曲率信号，属于低秩近似，可能无法完全捕捉高度非凸或病态区域的局部几何。未来工作可结合其他信号（如梯度幅度、动态范围）、自适应阈值、多级精度等。结论明确：提出的曲率感知动态精度方法在保持接近全FP64精度的同时降低计算成本，在四个失败模式基准上达到FP64级rRMSE目标，加速比达[范围]至[范围]；该方法适用于多种网络架构和优化器，且收益在曲率轨迹更平滑时更大，是一种实用的PINN训练效率提升手段。
