BF-APNN：一种用于加速辐射传输方程求解的低内存方法

《Neurocomputing》：BF-APNN: A low-memory method for accelerating the solution of radiative transfer equations

　　谢希哲|陈文固|李伟明|宋鹏|王涵中国北京100088，应用物理与计算数学研究所摘要辐射传输方程具有高维性和多尺度特性，这使得传统数值方法在计算上十分耗资源。现有的深度学习方法在低维或线性辐射传输方程中表现良好，但在高维或非线性辐射传输方程面前仍面临诸多挑战。为克服这些难题，我们提出了基函数渐近保持神经网络（BF-APNN），该框架继承了辐射传输渐近保持神经网络（RT-APNN）的优势，同时提升了求解速度。通过基于微观-宏观分解得到的基函数展开，BF-APNN有效降低了训练过程中高维积分计算带来的负担。数值实验表明，对于包含非线性、不连续性及多尺度行为的复杂辐射传输方程场景，BF-APNN相比RT-APNN能显著减少训练时间和内存占用，同时保持较高的求解精度。此外，BF-APNN在处理复杂高维辐射传输问题时表现出更优的性能，显示出其作为辐射传输计算强大工具的潜力。引言辐射传输方程描述了光子在介质中的传输、散射和能量交换过程，是描述光与物质相互作用的基本数学框架。它在天体物理学和惯性约束聚变等传统领域中起着核心作用[2]、[4]、[20]、[42]、[52]，在生物医学工程领域也有广泛应用，比如光学成像和放射治疗[66]。然而，由于其耦合的积分微分形式通常无法得到解析解，再加上高维性、非线性耦合以及介质不透明度引发的多尺度效应，给数值求解方法带来了巨大挑战[6]、[41]、[47]。在光学厚度较大的介质中，光子表现为扩散行为，而在其他情况下则遵循传输动力学规律。由于难以确定耦合边界并建立合适的边界条件，将辐射扩散模型与传输模型相结合颇具难度。在光学厚度大的区域应用传输模型时，所需的空间网格尺寸需与光子的平均自由程相当，这会大幅增加计算成本。为解决这一问题，人们采用了渐近保持方案，该方案能够在克努森数趋近于零时自动恢复到扩散极限，从而无需考虑平均自由程即可进行空间离散化[49]，因此渐近保持方案被广泛用于辐射传输方程的数值求解。辐射传输方程的数值方法可大致分为确定性方法和随机性方法两类。离散坐标法利用求积规则对角度变量进行离散化，但由于离散点数量有限，会出现射线效应[1]、[26]、[44]。球谐函数法则利用球谐函数的旋转不变性来减轻射线效应，但作为一种截断谱方法，它可能会产生负的辐射能量密度以及非物理性的振荡现象[53]。将确定性方法与渐近保持方案结合使用，可以有效解决多尺度问题，并取得诸多优异结果[10]、[11]、[31]、[32]、[36]、[37]、[49]、[50]、[59]、[61]、[62]。不过，确定性方法在离散化后处理高维问题时会产生较高的计算成本，且在处理复杂几何结构时也难以保持精度。对于随机性方法，最常用的方法是隐式蒙特卡洛方法[8]、[9]。由于这类方法不受维度灾难的影响，因此成为求解高维辐射传输方程的主要技术手段[5]、[16]、[38]、[45]、[46]、[48]。但其存在统计噪声且收敛速度较慢的问题，在光学厚度较大的区域尤为明显，因为在该类区域中，单个时间步内需要追踪多条光子路径，这会进一步增加计算成本[6]。近期有研究尝试运用深度学习技术来解决这些难题。物理信息神经网络将偏微分方程嵌入训练过程，为高维偏微分方程提供了无网格求解方案[12]、[13]、[43]、[54]、[63]。S. Mishra等人率先将物理信息神经网络应用于辐射传输方程的求解，在某些稳态和瞬态线性问题中取得了显著成果[40]。然而，普通的物理信息神经网络在处理多尺度问题时存在困难，这是因为当克努森数趋近于零时，损失函数会退化，导致网络收敛到错误的平凡解。为解决这一问题，渐近保持神经网络通过微观-宏观分解将物理信息神经网络与渐近保持方案相结合，实现了从传输状态到扩散状态的平滑过渡[3]、[21]、[22]、[30]、[34]。尽管渐近保持神经网络在低维线性辐射传输方程中展现出潜力，但由于其需要多个网络来表示物理量，这增加了训练的复杂性、内存需求，同时也带来了额外的训练时间开销。近期，为弥补渐近保持神经网络在辐射传输计算方面的不足，人们提出了RT-APNN[58]。它采用了一种新的微观-宏观网络架构，通过隐藏层的串联将多个网络整合为一个整体，减少了所需参数的数量，显著提升了训练速度。此外，RT-APNN还结合了预训练和马尔可夫链蒙特卡洛技术[17]、[64]，成功解决了许多非线性辐射传输方程问题。不过，RT-APNN在训练过程中需要反复进行代价高昂的数值积分运算，对于低维问题来说这尚可接受，但在处理高维问题时，其核心瓶颈就显现出来了：低阶求积方法会引入过大的误差，而高阶求积方法则会导致极高的计算成本。在本研究中，我们提出了基函数渐近保持神经网络，该网络在RT-APNN的微观-宏观网络架构基础上发展而来。通过使用一组满足守恒性质的基函数来展开微观部分，BF-APNN将积分项视为网络的输出，从而在避免数值积分误差和高计算成本的同时实现精确计算，同时还降低了内存占用。图1.0.1展示了RT-APNN的局限性，以及BF-APNN如何规避积分瓶颈。本文的结构如下：第2节介绍辐射传输方程模型以及微观-宏观分解方法；第3节阐述BF-APNN的方法论，包括网络架构、损失函数构建以及基函数选择；第4节报告了用于评估精度和效率的数值实验结果；第5节对全文进行总结并指出未来研究方向。片段内容灰色辐射传输方程在局部热力学平衡假设和灰色近似的前提下，考虑到各向同性散射并忽略外部光源，辐射传输方程可表示为：其中表示辐射强度，空间变量为，角度方向为（-维单位球面），时间为。材料温度为，表示材料的吸收系数，表示散射系数，是无量纲的克努森数[25]、[39]基函数渐近保持神经网络（BF-APNN）辐射传输方程系统中各变量之间的耦合关系给高效建模带来了挑战。为解决这一问题，RT-APNN采用串联技术整合多个神经网络，从而无需单独构建多个网络。然而，更新网络参数需要反复计算损失函数中的积分项，这会带来巨大的计算开销。在RT-APNN的基础上，BF-APNN在角度方向引入了基函数展开，以此避免数值计算问题。数值实验本研究开展了四项数值实验，以评估所提出的BF-APNN方法的性能。该微观-宏观网络架构采用了高斯误差线性单元激活函数[19]。训练过程分为两个阶段：第一阶段使用学习率为0.001的Adam优化器[23]，第二阶段则采用L-BFGS优化算法[33]。负责生成温度分量的网络由个残差块组成。结论辐射传输方程的数值求解对于天体物理学和惯性约束聚变等领域至关重要。本文提出了基函数渐近保持神经网络，该网络通过在微观部分g上引入选定基函数的线性组合，对RT-APNN进行了扩展。这种设计避免了在训练过程中对高维积分进行数值计算，从而显著提升了计算效率并降低了内存占用。CRediT作者贡献说明谢希哲：写作——审稿与编辑，写作——初稿撰写，可视化，验证，方法论，研究设计，概念构思。陈文固：写作——审稿与编辑，写作——初稿撰写，验证，指导，方法论，资金获取。李伟明：写作——审稿与编辑，写作——初稿撰写，指导，方法论，资金获取，概念构思。宋鹏：写作——审稿与编辑，写作——初稿撰写，验证，指导。利益冲突声明作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。谢希哲于2021年获得湘潭大学数学学士学位，目前在北京应用物理与计算数学研究所攻读博士学位，他的研究兴趣包括压缩感知、机器学习以及动力学方程求解。