MARL-PINN：基于多智能体强化学习方法的物理信息神经网络求解Eikonal方程

《Artificial Intelligence in Geosciences》：MARL-PINN: Solving the Eikonal equation with multi-agent reinforcement learning method for physics-informed neural networks

　　

地震波初至旅行时是地震信息中的关键数据，能够有效描述地下速度结构。Eikonal方程（Eikonal方程）是一种非线性偏微分方程，用于模拟地震波在非均匀三维速度环境中的传播，刻画地震波初至旅行时。近期研究表明，物理信息神经网络（Physics-Informed Neural Networks, PINN）已成功求解特定偏微分方程。然而，当应用于Eikonal方程时，PINN表现出随传播距离增加的误差累积。这一局限性影响了其准确模拟长距离地震波旅行时的能力，凸显了改进方法以提升地震数据解释精度的需求。为解决这一局限性以及PINN对损失函数权重的敏感性，研究人员提出了一种新颖的多智能体强化学习（Multi-Agent Reinforcement Learning, MARL）增强的PINN方法，用于求解Eikonal方程。该方法引入两个智能体，在训练过程中动态调整损失权重（具体为偏微分方程损失和边界条件损失的权重）。每个智能体采用深度Q网络（Deep Q-Network, DQN）算法更新其策略，旨在最小化整体损失。研究人员在三维速度模型上严格测试了该方法的鲁棒性和泛化能力。与传统地质速度模型的对比评估表明，该方法相比标准PINN方法实现了更高的精度，同时有效缓解了随距源点距离增加而观察到的误差累积。

**研究背景与问题**
地震波初至旅行时是地震勘探和地球物理研究中表征地下介质属性的关键数据，广泛应用于层析成像、偏移成像和速度分析等。Eikonal方程作为描述地震波高频传播的非线性偏微分方程，是计算初至旅行时的核心模型。传统数值方法（如有限差分法、快速扫描法）依赖网格离散化，在强速度对比或复杂三维模型中易出现数值不稳定或计算成本过高的问题。近年来，物理信息神经网络（Physics-Informed Neural Networks, PINN）通过将物理方程嵌入损失函数，实现了无网格求解，但在Eikonal方程求解中表现出误差随传播距离累积的严重缺陷，且对损失函数权重设置高度敏感。为克服这些限制，研究人员提出了基于多智能体强化学习（Multi-Agent Reinforcement Learning, MARL）增强的PINN框架（MARL-PINN），旨在提升长距离旅行时计算的精度和鲁棒性。该研究发表在《Artificial Intelligence in Geosciences》。

**主要技术方法**
研究人员采用的关键技术包括：1）**物理信息神经网络（PINN）**：将Eikonal方程残差纳入损失函数，通过自动微分计算空间梯度，实现无网格求解；2）**分解策略**：将旅行时场T(x)分解为已知距离函数T₀(x)和未知平滑因子τ(x)，以缓解源点奇异性；3）**多智能体强化学习（MARL）**：两个独立智能体分别控制PDE损失权重α和边界条件损失权重β，每个智能体采用**深度Q网络（DQN）**算法，基于历史损失梯度状态和tanh平滑的奖励函数更新策略；4）**数据集构建**：在连续介质域内随机采样源-接收点对，采用分层采样策略（40%近源、30%中距、30%全域）以保证样本分布均匀。速度模型包括合成模型和Marmousi2模型（基于安哥拉海岸地质构造的二维剖面）。所有实验共享相同的网络架构和超参数（4个隐藏层，每层128个神经元，tanh激活函数，Adam优化器，初始学习率1×10^-3，训练3000个epoch）。

**研究结果**
**5.1 基本速度模型实验**：在均匀、线性变化、异常体、正弦扰动四种三维速度模型上，分别测试了1 km、10 km、20 km三种计算域。通过对比PINN和MARL-PINN的旅行时场和误差分布，发现MARL-PINN在所有模型上的整体损失均低于标准PINN（例如均匀模型20 km域：8.53×10^-7 vs 5.31×10^-7），且误差随距离的增长率（RMSE/km）平均降低约74%，有效抑制了远场误差累积。

**5.2 工业速度模型实验**
- **E. 倾斜横向各向同性（TTI）模型**：测试了不同Thomsen参数（ε=0.1~0.3，δ=-0.05~0.2）组合，MARL-PINN的最终损失（×10^-5）为0.78~1.45，相比标准PINN（2.12~3.56）降低约60%~70%，验证了方法对不同各向异性强度的适应性。
- **F. Marmousi2模型**：在3.5×17.5 km二维剖面上三个源位置进行测试，MARL-PINN损失（×10^-3）为1.25~1.62，低于标准PINN（3.42~4.21），表明在复杂速度场中的良好泛化能力。

**5.3 稳定性分析**：比较训练损失曲线，MARL-PINN不仅获得更低的最终损失，且收敛更稳定，振荡幅度显著减小。例如20 km均匀模型，MARL-PINN的损失方差为2.14×10^-8，而标准PINN为5.67×10^-7。

**5.4 权重调整轨迹分析**：以异常体速度模型为例，分析了α和β在训练过程中的演化。α先升后降，在约300个epoch后达到峰值后缓慢下降，最终稳定在0.3左右；β持续下降，约1500个epoch后进入平台期，收敛至0.2左右。表明智能体自适应调整权重，优先满足物理约束，然后优化局部特征。

**5.5 对比实验**：与Eikonet和PINNeik两种先进PINN求解器比较，在四种基本速度模型（10 km域）上，MARL-PINN均取得最低最终损失（例如均匀模型：4.98×10^-7 vs 3.56×10^-7和4.12×10^-7）和最低误差增长斜率（例如均匀模型：0.38×10^-3 vs 0.55×10^-3和0.68×10^-3），显著优于对比方法。

**5.6 消融实验**
- **5.6.1 智能体数量消融**：比较单智能体、双智能体（本文方法）和三智能体配置。双智能体在最终损失（1.89×10^-7）、损失方差（1.56×10^-8）和收敛epoch（680）上均最优，单智能体耦合干扰大，三智能体冗余导致不稳定。
- **5.6.2 状态与奖励函数设计消融**：验证了历史窗口大小（5,7）、状态特征（原始损失值）和奖励函数（tanh平滑）为最优组合，分别优于其他窗口、梯度平均值或方差、线性或二元奖励。
- **5.6.3 采样策略消融**：分层采样在远场（>5 km）的误差增长斜率最低（例如10~15 km区间：1.45×10^-3），优于随机距离采样（1.95×10^-3）和随机位置采样（1.76×10^-3）。

**总结与结论**
论文讨论部分隐含在消融和对比实验中，证实了多智能体动态权重调整机制的有效性，以及分解策略、分层采样等设计选择的合理性。研究结论翻译如下：本研究解决了PINN在求解Eikonal方程用于地震初至波旅行时建模中的关键局限性，即随传播距离增加的误差累积和对损失函数权重的敏感性。研究人员引入了一种新颖的多智能体强化学习增强的PINN框架。该方法采用两个利用DQN的智能体，在训练过程中动态且智能地优化偏微分方程损失和边界条件损失的权重。在复杂三维非均匀速度模型和工业速度模型上的严格测试证明了该方法的鲁棒性和泛化能力。与标准PINN实现的对比评估证实，MARL-PINN框架实现了显著更高的求解精度。