物理信息柯尔莫哥洛夫–阿诺德网络（PIKANs）用于从红外测量中抗噪重建沸腾热流密度

《COMPUTER METHODS IN APPLIED MECHANICS AND ENGINEERING》：Physics-informed Kolmogorov–Arnold networks (PIKANs) for noise-robust reconstruction of boiling heat flux from infrared measurements

　　

# 摘要

从受污染的边界数据中恢复噪声放大的反演量，是物理信息学习中面向实际应用的一个反复出现的问题。具体而言，测量场中的微小扰动会通过重建目标所需的空间导数而被放大，因此传统的离散化求解器会将其转化为大的非物理振荡。我们通过局部时间分辨的核态沸腾热通量重建来研究这一问题——该量无法直接测量，必须通过求解具有尖锐且快速演化的液-气界面梯度的非稳态三维热传导问题，从红外表面温度推断得出。我们表明，单独依靠网络架构或优化器均无法克服将抹平这些界面尺度特征的频谱偏差，两者必须联合处理。我们的方法将切比雪夫物理信息柯尔莫哥洛夫-阿诺德网络（PIKAN）主干、准二阶（SOAP）优化器以及一种温度退火残差重采样方案相结合，该方案在残差较高的界面区域集中配置节点。直接在实验红外测量数据（作为边界条件施加）上训练的网络，在解析高频气泡特征和高通量分布尾部方面，明显优于同等规模和训练预算的四ier特征PINN。具体而言，它能在选择性过滤测量噪声的同时保留物理上有意义的高频特征，抑制了污染有限体积重建的非物理振荡，从而从含噪实验数据中产生更符合物理规律的热通量估计。

# 引言

物理信息神经网络（PINNs）已成为一类强大的科学机器学习工具，将数据驱动的深度学习与支配物理定律相结合。PINNs将偏微分方程（PDEs）、边界条件和初始条件直接嵌入神经网络的训练目标中。自Raissi等人[1]提出以来，PINNs已被广泛应用于流体力学、固体力学和生物力学等多种领域中的正向或反演问题求解[2]。

尽管PINNs在经典科学和工程问题上已展现出相当大的成功，但其在真实工程系统和高维问题中的应用仍面临挑战。许多由PDEs支配的现象涉及广泛分离的空间和时间尺度、高频特征、尖锐梯度或多尺度非线性相互作用。这类问题的实例常见于湍流、激波形成、多相界面和振荡波场。经典神经网络（通常定义为多层感知器，MLPs）众所周知对低波数存在频谱偏差[3]。因此，它们倾向于在训练早期学习目标解的低频或光滑分量，而高频分量则显著滞后，甚至完全无法学习到。虽然MLPs的频谱偏差已被广泛认可，但同样的问题也存在于其他神经网络中，包括卷积神经网络（CNNs）和Transformer[4]、[5]。PINNs通常依赖MLP主干，因此表现出频谱偏差，并倾向于过早收敛到解的过度光滑近似，即使配备了足够的训练数据和充足的配置点。这一现象可以解释为什么在刚性问题或混沌系统中训练PINNs变得困难。

训练PINNs的另一个难点在于损失函数与神经网络频谱特性之间的相互作用。PINN目标通常由多个项组成，包括初始和边界条件、支配PDEs以及（如可得）数据损失。PINNs的成功优化需要仔细选择这些项的加权策略。神经网络的固有频谱偏差进一步加剧了这一问题，导致高度非凸的优化景观，可能促使PINNs收敛到平凡且过度光滑的解。研究人员提出了自适应全局和局部加权方法来促进优化。Anagnostopoulos等人[6]提出了基于残差的注意力（RBA）局部加权方法，利用损失残差为训练点高效计算自适应权重，帮助优化器关注高误差区域。Wang等人[7]提出了基于损失项梯度最大和均值统计的自适应全局权重。损失项平衡的难度与非凸优化，结合神经网络的频谱偏差，使得PINNs在处理高频特征和多时空尺度问题方面的应用受到限制。解决这些问题对于使PINNs能够应用于更复杂和非稳态系统（如湍流和多相问题）至关重要。包括Fourier特征嵌入[8]和多尺度深度神经网络[9]在内的若干策略已被证明可以改善神经网络在求解多种PDE时的预测能力。然而，这些方法在高维PINNs和实验噪声数据中的应用尚未得到探索。近期关于二阶优化方法应用的进展表明，其在对抗频谱偏差以及PINNs训练中对损失加权策略选择的鲁棒性方面显著更高[4]、[10]。然而，深度学习中的二阶优化器由于在高维问题训练期间计算Hessian逆矩阵的估计成本高昂，其应用仅限于低维问题。另一方面，如SOAP[11]等准二阶优化器以更计算高效的方式近似二阶信息，使其在处理高维问题时具有可行性[2]。

除优化方案外，表示模型也在PINNs的成功训练中发挥作用。神经网络架构和激活函数的选择已被证明对缓解频谱偏差具有有意义的影响[10]。最近，柯尔莫哥洛夫-阿诺德网络（KANs）作为一种新的神经网络架构被提出[12]，其灵感源自柯尔莫哥洛夫-阿诺德表示定理，该定理指出任何多元连续函数都可以表示为单变量函数和加法运算的有限叠加。近期研究表明，与MLPs相比，KANs表现出降低的频谱偏差，并能更好地学习多尺度和高频函数[13]、[14]、[15]、[16]，使其成为科学机器学习中MLPs的有前景的替代方案。与具有显著频谱偏差的标准MLPs不同，KAN架构（特别是使用正交切比雪夫基的那些）表现出显著降低的频谱偏差和增强的高频模式捕捉能力。这使得物理信息KANs（PIKANs）在作为神经代理PDE求解器时，能够准确建模尖锐梯度和快速动力学。

在本研究中，我们利用PIKANs[13]、[17]来解决一个三维非稳态热传导问题，其沸腾边界条件直接从高分辨率池沸腾实验测量中获得。具体而言，沸腾过程中的时空表面温度通过红外（IR）热成像测量。由于核态沸腾的混沌和随机特性，气泡迅速连续地在表面成核、生长、合并和脱离，表现出不规则且演化的温度场。这些气泡随机出现在不同位置，并可能与附近气泡动态相互作用，导致空间和时间内局部且高频的温度变化。为了准确估计时空沸腾热通量，必须在求解三维非稳态热问题时准确分辨边界处液-气界面上的气泡动力学和热梯度。由于边界数据通过实验测量获得，模型还必须对噪声鲁棒，同时保留与物理气泡动力学相关的高频和精细尺度特征。鉴于前述神经网络的频谱偏差，这构成了重大挑战，意味着它们难以捕捉如此尖锐的梯度或快速变化的结构。因此，对于分辨气泡界面和局部变化热通量至关重要的高频信息可能被严重过度平滑。另一方面，实验数据中固有的噪声为通常应用于此问题的传统数值求解器带来了显著挑战。即使边界条件中的少量噪声，在计算热传导方程所需的空间和时间导数时也会传播并被显著放大。由于热传导受二阶空间导数支配，含噪边界值会导致计算梯度中的大振荡，从而产生虚假且非物理的热通量估计。

我们通过开发以切比雪夫多项式作为单变量函数的PIKAN，解决了具有实验测量沸腾边界条件的时变三维热传导问题。我们展示了在训练PIKAN以捕捉高频气泡动力学时使用准二阶优化器和自适应重采样方案的重要性。我们比较了使用不同优化器训练的PINNs和PIKANs，强调了网络架构和优化方案的重要性。

本文从详细的问题定义、实验数据集介绍和物理信息网络方法描述开始（第2节）。在第3节中，我们展示了物理信息网络与完整数值模拟的比较。在第4节中，我们展示了求解三维稳态和非稳态热问题的预测结果以及对实验噪声的鲁棒性。所有训练和架构细节包含在第5节中，随后在第6节中对方法和结果进行总结。

# 片段摘要

## 问题表述

设计了一个实验装置，利用同步高速红外（IR）和内部反射光学成像来研究池沸腾传热。实验装置和测量技术的详细描述见我们此前的工作[18]、[19]。此处简要概述实验细节。一块1 mm厚、25.4 mm × 25.4 mm的蓝宝石基底，中心涂覆一层薄的氧化铟锡（ITO）层，作为可见光透明的

## 与数值模拟的比较

首先将PINN解与数值模拟结果进行验证，结果如图2所示。数值模拟基于有限体积法（FVM），使用Ansys Fluent求解，通过实现用户自定义函数施加实验测量的温度边界条件。首先使用第一步表面温度分布进行稳态三维热传导模拟，以获得初始温度分布估计。

## 稳态结果

首先求解稳态热方程，并将所得温度场作为初始条件来求解瞬态模拟。图3展示了使用Adam或SOAP优化器训练的PINN和PIKAN在加热区域上的稳态温度和热通量预测。预测的三维温度场用于估计加热表面的热通量，这可进一步用于估计时空沸腾热通量。虽然PINNs预测的热通量

## PINN/PIKAN架构和训练细节

PINN和PIKAN模型保持相同的参数量数和训练时间。对于PINN和PIKAN，参数量均约为361,000。PINN架构由八层组成，宽度为242个神经元，利用自适应Swish激活函数，因其性能优于固定激活函数[21]。类似地，我们提出的PIKAN架构具有八层，采用七阶切比雪夫多项式。为确保公平比较，层宽

## 总结

在本研究中，我们开发了一个使用准二阶优化器训练的PIKAN，用于求解受实验测量沸腾边界条件的非稳态三维热传导问题。施加的边界条件包含由于快速气泡成核、生长和脱离产生的时空高频特征，以及固有的测量噪声，使该问题对传统PINNs尤为具有挑战性。

由于神经网络固有的频谱偏差

## CRediT作者贡献声明

Siavash Khodakarami：撰写—审稿与编辑，撰写—原稿，可视化，验证，软件，方法学，调查，形式分析，数据整理，概念构思。Parimala Vardhan Vydyula：撰写—审稿与编辑，撰写—原稿，验证，调查，形式分析，数据整理。Aniruddha Bora：撰写—原稿，调查，形式分析，概念构思。Justin A. Weibel：撰写—审稿与编辑，撰写—原稿，

## 利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：George Em Karniadakis报告获得海军研究办公室的财务支持。如有其他作者，他们声明没有已知的竞争性财务利益或个人关系可能影响本文所报告的工作。

## 致谢

本工作由海军研究办公室（ONR）多学科大学研究倡议（MURI）资助项目N000142412545（METHODS——机器学习赋能两相流计量、模型和优化设计项目）提供支持。作者感谢布朗大学计算与可视化中心（CCV）提供的计算资源和服务。

Siavash Khodakarami | Parimala Vardhan Vydyula | Aniruddha Bora | Justin A. Weibel | George Em Karniadakis