用于积分-微分方程的随机神经网络及其在中子传输中的应用

《Computer Physics Communications》：Randomized neural networks for integro-differential equations with application to neutron transport

　　

摘要

积分微分方程在众多应用领域中都有出现，包括传输、动力学理论、辐射传输以及多物理场建模等。在这些场景中，非局部积分算子会将不同相空间中的解相互关联。这类非局部性往往会在确定性离散化过程中引入密集的耦合结构，从而增加计算成本和内存占用；而基于物理的神经网络则可能面临高昂的非凸优化成本以及对超参数选择的高度敏感性。在本研究中，我们提出了一种用于线性积分微分方程的配置随机化神经网络框架。该框架的神经网络试验空间与网格无关，无需依赖元素连接性或与网格相关的基函数。由于RaNN近似通过全局支持的随机特征具有内在的密集性，非局部积分算子不会进一步降低矩阵的稀疏性，同时仍可以用相对较少的可训练自由度来表示近似解。通过随机固定隐藏层参数，仅求解线性输出权重，训练过程可转化为输出系数上的凸最小二乘问题，从而实现稳定高效的优化。作为典型应用，我们将该框架应用于稳态中子传输方程——这是一种具有散射积分和多种边界条件的多维线性积分微分模型。在所报告的测试环境中进行的数值实验表明，与选定的PINN基准方法相比，RaNN方法能够在保持较高精度的同时降低优化成本，显示出其作为非局部线性算子数值模拟的强大且高效替代方案的潜力。

引言

积分微分方程在科学和工程领域的许多方面中都起着核心作用，用于描述非局部相互作用。典型的应用包括动力学传输和辐射传输（[1]、[2]），在这些过程中，散射或碰撞算子会将不同方向、能量或其他相空间变量下的解相互关联。从计算角度而言，主要难点在于积分项本身具有非局部性。即便微分算子允许采用稀疏离散化方式，离散化的积分算子通常也会在辅助变量（如角度或群组）中引入密集耦合，这会大幅增加计算和内存开销。此外，复杂的边界条件以及多区域材料结构还会进一步加剧这些挑战。

基于神经网络的求解方法则通过网格无关的试验空间提供了另一种解决方案。这类方法用神经网络函数来表示近似解，而非依赖网格相关的局部多项式基函数，不过残差评估和数值积分仍可能需要借助特定的采样点或求积点集。基于物理的神经网络（PINNs，[3]）则将控制方程和边界条件嵌入损失函数中，通过非线性优化来训练网络参数以获得近似解。然而，对于具有强非局部耦合的积分微分方程，标准的PINN训练会导出非凸优化问题，其求解过程容易陷入局部最小值，往往需要大量的超参数调整和庞大的计算资源才能获得令人满意的精度（[4]）。关于PINNs在积分微分方程中的应用，可参考[5]、[6]等文献。此外，还有许多其他基于神经网络的方法被提出用于求解微分方程（[7]、[8]、[9]、[10]）。在所列的参考文献中，直接应用于积分微分方程的案例相对较少，例如可参考[11]。

在本研究中，我们提出了随机化神经网络（RaNNs，[12]、[13]）作为一种通用的线性积分微分方程求解方法。其核心思想是随机固定非线性参数（隐藏层权重和偏置），仅训练线性输出层。这样一来，学习问题就被转化为线性最小二乘问题，由此能够：（i）得到输出系数上经验最小二乘目标的全局最小值；（ii）相较于完全可训练网络的基于梯度的训练方法，显著降低训练成本；（iii）与积分微分模型中的线性算子自然契合。微分算子可以通过对固定基函数进行解析求导来精确计算，而积分算子则可通过在配置点上应用标准数值求积规则来实现，从而方便地构建最小二乘矩阵。对于异质或多材料域，该框架还可扩展为通过界面条件相互连接的局部随机化神经网络（LRaNNs，[14]）（[15]）。由于RaNN离散化通过全局支持的随机特征具有内在的密集性，非局部积分项不会像在许多传统离散化方法中那样进一步降低矩阵的稀疏性；同时，仍能用相对较少的可训练自由度获得较高的精度。

为具体展示这一方法，我们将RaNNs应用于稳态中子传输方程（NTE）——这是一种具有非局部散射算子及实际边界条件的多维线性积分微分方程。本文以NTE作为案例，说明RaNNs如何高效处理非局部积分项，以及如何在多材料场景下通过局部网络实现跨界面耦合。在反应堆物理应用中，现有的大多数神经网络方法都集中在避免使用积分散射算子的扩散模型上（[16]、[17]），只有少数研究直接针对含有积分项的传输方程展开研究（[18]、[19]、[20]）；有关反应堆物理中神经网络应用的更多内容，也可参考[21]。

传统的确定性求解方法则是通过为微分部分和积分部分分别选择合适的离散化方法来解决这类问题，比如在空间上采用有限差分/单元法，或在方向上采用离散坐标法（[22]）、球谐函数法等。虽然这些方法效果不错，但由于积分项的存在，其耦合块往往会出现稀疏性下降的问题。尽管这些耦合块并非完全密集，但密度依然会显著上升，当需要高角度分辨率或大量群组时，就会带来高昂的线性代数计算成本。蒙特卡洛等随机方法虽然能为复杂几何结构和物理场景提供灵活性，但在需要高精度时收敛速度较慢（[23]）。关于中子传输及其相关方法的更多背景信息，可参考[24]、[25]。

本文的其余部分结构如下：第2节介绍了用于线性积分微分方程的RaNN框架，包括最小二乘形式、积分项的数值求积、局部耦合以及加速策略。第3节将该框架应用于中子传输方程及其多群组形式作为示范模型。第4节汇报了数值实验结果，第5节则对全文进行总结并展望未来发展方向。

章节要点

用于积分微分方程的随机化神经网络

随机化神经网络（RaNNs）是指在部分参数中引入随机性的神经网络方法。其核心机制是随机固定某些非线性参数（隐藏神经元中的权重和偏置），仅训练线性输出层的权重，从而降低计算成本并提高训练效率。在本研究中，我们主要关注单隐藏层的RaNN结构；多层架构的扩展方案可在[26]中找到。

如图1所示，

稳态中子传输方程

为了在典型的多维非局部模型上验证上述RaNN框架，我们选择了稳态中子传输方程（NTE）作为研究对象。这是一种描述反应堆物理中中子角通量的线性积分微分方程。

数值实验

在本节中，我们将对前述的中子传输问题应用RaNN框架进行测试。所有实验均在MATLAB环境中完成。本文提出的方法实现以及所给出的数值示例均可在以下地址获取：https://github.com/XJTU-AI4SciComp-Lab/rann-neutron-transport-paper-code。为确保结果可复现，我们使用“rng(1)”固定随机数生成器。最小二乘问题则通过“linsolve”函数结合QR方法进行求解。

总结

本研究提出了随机化神经网络作为一种通用的线性积分微分方程求解工具，并以稳态中子传输方程这一典型的多维非局部模型为例展示了该框架的应用效果。其核心思路是通过随机固定隐藏层参数，仅训练线性输出权重，从而将神经网络训练问题转化为输出系数上的线性最小二乘问题。这种形式能够得到经验目标函数的全局最小值。

CRediT作者贡献声明

Haoning Dang：撰写——审稿与编辑，撰写——初稿，可视化，软件，方法论，研究，形式分析，数据整理。Fei Wang：撰写——审稿与编辑，撰写——初稿，指导，资源协调，项目管理，方法论，研究，资金获取，形式分析，概念构思。Yifan Chen：可视化，验证，软件，数据整理。Zhouyu Liu：撰写——审稿与编辑，验证，指导，方法论，资金支持

利益冲突声明

作者们声明存在以下可能被视为潜在利益冲突的财务利益/个人关系：

Fei Wang、Zhouyu Liu、Dong Liu和Hongchun Wu与中国国家自然科学基金会有资金资助关系。其他作者则声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。

Haoning Dang|Fei Wang|Yifan Chen|Zhouyu Liu|Dong Liu|Hongchun Wu

中国陕西省西安市西安交通大学数学与统计学院，邮编710049