基于迁移学习优化的逆谱积分神经网络，用于具有空间与温度依赖参数的非线性瞬态热传导问题

《Engineering Analysis with Boundary Elements》：Transfer learning-enhanced inverse spectral integration neural networks for nonlinear transient heat conduction with spatial- and temperature-dependent parameters

　　摘要：本研究提出了一种基于迁移学习增强的逆谱积分神经网络框架（TL-ISINNs），用于解决具有空间和温度依赖参数的二维及三维非线性瞬态热传导问题。逆谱积分神经网络（ISINNs）利用逆谱积分变换，通过每个时间步内线性缩放的高斯求积节点上的温度预测值来构建时间导数的稳定近似值。这种谱积分方法将初始条件隐式地纳入公式中，从而无需显式的时间微分运算符即可得到简化的损失函数。为进一步提升计算效率，本文引入了时间推进参数传递策略，即利用前一个时间间隔学到的网络参数初始化后续阶段，仅更新输出层或靠近输出层的几层隐藏层。该方法减少了冗余训练，加快了收敛速度，同时保持了精度。通过四个数值算例对所提方法进行了评估，结果表明，与传统的物理信息神经网络相比，ISINNs在处理较大时间步长的问题时具有更高的精度、效率和稳定性。此外，TL-ISINNs在保持与COMSOL Multiphysics所得有限元解高度一致的同时，进一步降低了收敛迭代次数和计算成本。

引言：随着航空航天工程和高端先进设备的快速发展，具有空间变化和温度依赖热物理特性的材料被越来越多地应用于热防护系统及多功能结构中[[1], [2], [3]]。这类材料的瞬态热传导行为对结构安全和服务性能起着关键作用[4]。经典的傅里叶定律为热传导分析提供了理论基础，但它是在热物理特性恒定的假设下建立的[5]。当导热系数、密度或比热容随空间位置和/或温度变化时，控制热传导的方程就会变成空间非均匀和非线性的。由此产生的强参数耦合和高阶导数项会导致温度场的复杂时空演化[6,7]，尤其是在瞬态热载荷作用下。这些特性给数值稳定性和计算效率带来了巨大挑战[8]。

用于热传导分析的经典数值方法拥有完善的理论基础，在实际应用中表现出高精度，典型的方法包括有限元法[FEM][9,10]、有限差分法[FDM][11]、边界元法[BEM][12,13]以及各种无网格方法[[14], [15], [16]]。然而，当应用于强非线性热传导问题时，这些方法可能会因控制方程或材料属性中的显著非线性而遇到困难。要准确处理这类非线性效应，往往需要更精细的空间和时间离散化以及迭代型非线性求解器，这会增加计算成本并降低效率。

近年来，由于深度神经网络具备强大的非线性函数逼近能力[19,20]，它们被越来越广泛地应用于各类工程问题中[17,18]。得益于其无网格特性和灵活的函数表示能力，基于深度神经网络的方法在求解偏微分方程以及由偏微分方程描述的各种正问题和反问题方面也展现出巨大潜力[21]。沿着这一方向，人们开发出了多种框架，如深度能量法[DEM][22]、深度互补能量法[DCEM][23]、傅里叶神经算子[FNO][24]、变分神经算子[VINO][25]。此外，人们还探索了将经典数值方法与深度学习相结合的混合方法，例如边界积分神经网络[BINNs][26]、带有神经网络求解器的径向点插值法[RPIM-NNS][27]，以及用于水声传播的有限元法与物理信息核函数神经网络的组合[FEM-PIKFNN][28]。另外，受柯尔莫哥洛夫-阿诺德表示定理启发的柯尔莫哥洛夫-阿诺德网络[KAN][29,30]也为函数和算子的表示提供了一种基于结构的替代方案。这些方法的核心思想都是利用训练好的神经网络来逼近偏微分方程的解。在基于神经网络的偏微分方程求解器中，物理信息神经网络[PINNs][[[31], [32], [33], [34]]]及其变体因其能够在正问题和反问题上灵活应用而备受关注[35,36]。通过将控制方程残差、边界条件和初始条件嵌入损失函数，PINNs能在训练过程中强制满足物理约束，因此在具有空间变化材料属性的非线性问题中具有显著优势。

在热传导分析中，PINNs已被成功应用于多域传热、功能梯度材料的三维瞬态分析以及非线性导热系数的识别[[37], [38], [39], [40]]。为进一步提升PINNs解决复杂偏微分方程的能力，人们开发了多种高级框架。保守型PINNs（cPINNs）将计算域分解为多个子域，并明确要求子域界面处守恒通量的连续性[36]，因此特别适用于涉及不连续材料属性的多材料热传导问题。扩展型PINNs（XPINNs）则进一步推广了这种域分解策略，允许灵活的时空划分以及不同子域中独立的神经网络表示[35]。这种形式对于具有复杂几何形状、局部解特征、多尺度特性以及多物理场相互作用的问题尤为有利。同时，人们还引入了自适应损失加权[41]和可训练激活函数[42]等技术，以提高训练效率和收敛性。

尽管取得了这些进展，基于PINNs的方法在长时间瞬态模拟方面仍面临挑战。现有方法大多依赖自动微分来计算时间导数，而这并未充分利用连续时间间隔内的内在物理关联。因此，特别是在高维动态问题中，可能会出现训练不稳定、误差累积以及精度下降等问题。从时间离散化的角度来看，Qu及其同事提出了基于谱时间积分概念的谱积分神经网络（SINNs），并将其成功应用于各种动态问题中[[43], [44], [45]]。与传统依赖自动微分计算时间导数的PINNs不同，SINNs使得瞬态模拟中的时间步长可以大幅增加，从而提升了计算效率和稳定性。

本研究提出了一种基于迁移学习增强的逆谱积分神经网络框架（TL-ISINNs），用于数值分析具有空间和/或温度依赖材料属性的非线性瞬态热传导问题。其核心思想是通过逆谱积分变换来重构时间导数，即把时间导数表示为每个时间步内高斯求积节点上温度预测值的加权线性组合。这种表述方式 inherently满足了初始条件，因此无需在损失函数中显式体现初始条件，也不需要使用时间微分运算符。与先近似导数相关量再通过正向谱积分恢复温度场的传统SINNs相比，所提出的ISINNs可直接预测配置节点上的温度值，再通过逆积分矩阵重构对应的时间导数。这样就避免了从时间导数到温度的额外正向重建过程，使得预测得到的温度可以直接用于控制方程、边界条件以及温度依赖的材料属性计算中。因此，ISINNs既保留了SINNs的高精度和大时间步长优势，又具备了更直接、更简化的计算流程。此外，该框架还融入了专为时间推进方案设计的参数传递策略[[46], [47], [48]]。具体而言，利用前一个时间间隔获得的网络参数来初始化下一个时间间隔的模型，仅更新输出层或其附近的隐藏层。这种方法能够保留之前学到的物理特征，有效减少冗余训练，从而在不影响数值稳定的前提下提升计算效率。

总体而言，所提出的TL-ISINNs框架为处理具有空间和/或温度依赖材料属性的非线性瞬态热传导问题提供了一种高效且可靠的解决方案。本研究的主要贡献如下：1）开发了一种ISINNs框架，能够以稳定高效的方式近似时间导数，从而实现具有变参数特性的瞬态热传导问题的高精度大时间步长及长时间模拟；2）数值比较表明，ISINNs在处理复杂的非线性瞬态热传导问题时优于传统PINNs；3）提出了适用于时间推进计算的参数传递策略，仅需更新输出层或其邻近的隐藏层，大幅降低了重复训练成本，提高了计算效率；4）所提方法与COMSOL Multiphysics得到的有限元结果高度一致，证明了其精度和工程实用性。

本文的其余部分结构如下：第2节介绍问题建模；第3节阐述ISINNs方法及参数传递策略；第4节给出数值算例及对比分析；最后第5节对全文进行总结。

问题描述：我们考虑在有界二维和三维空间域Ω∈Rd（d=2,3）上定义的瞬态热传导问题，其中d=2时空间坐标为x = (x, y)，d=3时为x = (x, y, z)。边界Γ = ?Ω被划分为ΓD和ΓN两部分，分别施加狄利克雷边界条件和诺伊曼边界条件，且满足Γ = ΓD ∪ ΓN，ΓD ∩ ΓN = ?。热过程随时间t ≥ 0不断发展变化。在域Ω内，温度场T(x, t)受瞬态热传导规律支配。

谱积分的逆变换：在瞬态热传导问题中，温度场T(x, t)存在等价的积分表达形式，即T(x,t)=T0(x)+∫0t?T(x,τ)?τdτ，其中T0(x) = T(x, 0)表示给定的初始温度分布。为了进行数值计算，将时间域[t0,tfinal]（其中t0 = 0）划分为m个时间步长为Δt=tfinal?t0/m的均匀子区间。相应地，第i个时间区间定义为[ti ? 1, ti]（ti = ti ? 1 + Δt，i = 1, 2, ..., m）。在每个时间区间内……

数值实验：为评估所提出的TL-ISINNs框架在处理具有空间和/或温度依赖材料参数的瞬态热传导问题时的数值性能，本文选取了一个二维基准算例和三个三维仿真算例。计算精度通过相对误差（Re）和全局相对误差（Ge）指标进行定量评估。上述误差指标的定义如下：Re=|T(x,t)?T?(x,t)||T(x,t)|，Ge=∑q=1N[T?(xq,t)?T(xq)…

结论：本研究系统研究了结合参数传递策略的ISINNs方法在解决具有空间和/或温度依赖材料参数的非线性瞬态热传导问题中的应用。在复杂热条件下，从数值稳定性、计算效率以及工程适用性等方面对该方法进行了评估。通过采用逆谱积分变换，该方法能够在每个时间步内的线性缩放高斯节点上直接获得温度值。

CRediT作者贡献说明：宋子杰：撰写——初稿、方法论；曲文珍：撰写——审阅与编辑、方法论、资金获取、概念构思；邱琳：方法论、概念构思。宋子杰|曲文珍|邱琳，中国山东省青岛市青岛大学数学与统计学院，邮编266071。