基于物理信息的神经网络与松弛交替学习在图像修复中的应用

《Neural Networks》：Physics-Informed Neural Networks with Relaxed Alternating Learning for Image Inpainting

　　摘要：当图像的损坏区域延伸至边界时，重建缺失的图像内容变得极为困难，因为部分边界数据无法获取，这使得原有的偏微分方程转化为病态的椭圆型柯西问题。传统的图像修复方法，无论是基于偏微分方程的还是基于数据的，通常都假定拥有完整的边界信息，因此在面对此类情况时效果大打折扣。在本研究中，我们提出了一种新的混合框架，将迭代正则化的数学严谨性与物理信息神经网络的无网格灵活性相结合。该框架的核心思想包括三方面：首先，通过一种改进的Kozlov–Maz’ya–Fomin交替迭代方法，将病态的柯西问题分解为一系列良定的混合边值问题，该方法能够在不可达边界上交替应用狄利克雷条件和诺伊曼条件；其次，每个子问题都由一个专门的轻量级物理信息神经网络来解决，其损失函数包含了非线性边缘增强扩散算子，从而确保物理一致性，同时实现各向异性梯度保持，且无需生成网格或组装矩阵；最后，通过贝叶斯超参数优化层自动选择松弛因子、损失项权重以及网络容量，从而避免繁琐的手动调整，确保在各种图像修复场景下都能实现稳定收敛。实验结果表明，与传统的偏微分方程求解方法以及现有的先进深度图像修复模型相比，所提出的方法在PSNR指标上取得了显著提升，尤其是在存在大面积或靠近边界的损坏区域时效果更为突出。这些结果体现了将基于物理的建模方法与深度学习相结合，在实现原理清晰、可靠且完全自动化的图像修复方面的巨大潜力。

引言：图像修复，也被称为图像补全或去遮挡，是指利用周围区域的信息来重建图像中缺失、受损或损坏的部分。尽管这一概念已经存在多年，但随着图像处理技术的快速发展以及数字编辑工具功能的日益强大，它近年来受到了更多关注。图像修复的主要目标是生成在视觉上合理且在语义上连贯的修复结果，使其与现有的图像内容相一致。这项本质上具有跨学科性质的任务处于计算机视觉、数学建模、数值分析以及人工智能领域的交叉点上。它不仅带来了技术上的挑战，还具有广泛的实际应用前景，包括数字摄影增强、艺术作品修复、医学图像重建、视频编辑、遥感以及增强现实等。因此，自动图像修复已发展成为图像处理领域中一个重要且充满活力的研究方向。

从历史上看，图像修复最初是由艺术家和文物保护专家在艺术修复工作中手动完成的。随着Bertalmio等人开创性工作的出现，这一领域发生了重大变革。他们提出了基于偏微分方程的框架，用于模拟等值线在图像损坏区域的传播过程。此后，出现了多种计算驱动的图像修复方法，这些方法通常被分为基于示例的修复方法、变分方法、纹理合成技术、基于偏微分方程的公式化方法，以及结合多种原理的混合模型等。此外，还有诸如Wang等人提出的基于和谐度评分的修复方法，该方法通过引入迭代细化技术，确保在需要保持边缘和纹理连续性的复杂图像区域中实现无缝修复。

从数学角度来看，根据图像损坏区域相对于图像边界的 ??，图像修复可以被建模为直接问题或逆问题。在传统情况下，即修复区域完全被包围时，可以有效地构建并解决良定的狄利克雷或诺伊曼边值问题。然而，当缺失区域与图像边界相交时，由于边界数据不完整，传统模型就无法正常工作。这种情况会导致出现逆向的椭圆型柯西问题，而从哈达玛意义上看，这类问题是病态的，这给稳定且精确的图像重建带来了极大挑战。

基于这一基础分类，我们现在将对各种代表性的图像修复方法进行简要概述，重点介绍它们的方法论假设、计算策略以及实际应用中的优点和局限性。每类方法都反映了不同的建模理念和操作机制，这些对于在知识驱动或特定应用场景中选择合适的图像修复技术至关重要。基于示例的技术通过识别并复制已知图像内容中的相似区域来重建缺失部分。这类方法通过计算区域相似性并优先保证结构一致性来传递纹理和边缘信息，它们在具有重复图案的图像中效果较好，但在纹理复杂或不规则的情况下，由于缺乏合适的示例区域，可能会遇到困难。纹理合成方法则试图通过从已知纹理中统计采样来复制精细的纹理模式，这种方法在以随机或均匀纹理为主的场景中具有优势，但由于缺乏几何或语义感知能力，因此在需要保持物体轮廓连续性或边缘对齐的结构化环境中效果有限。随机图像修复模型则将任务视为从可能的修复结果的后验分布中采样，这类方法在不确定或变化较大的环境中具有很强的鲁棒性，并且能够泛化到不同类型的图像上，但它们往往计算成本较高，且需要仔细调整，这可能影响其可扩展性和实时应用能力。基于小波的方法则利用多尺度分解在变换域中进行图像修复，充分利用了小波的稀疏性和局部化特性。传统的总变分小波修复方法和基于帧的小波技术非常适合用于保持边缘和抑制噪声，而近年来的WaveFill模型则将这些理念延伸到了深度生成架构中，从而能够更好地合成整体结构和精细纹理。不过，基于小波的方法在处理大面积缺失区域或语义丰富的内容时可能会遇到困难，因为这些内容难以用基函数准确表示。基于偏微分方程的方法则为图像修复提供了一种具有物理和数学依据的解决方案，它通过由梯度或曲率驱动的扩散过程来模拟图像信息的流动。自Bertalmio等人首次提出这一框架以来，该领域出现了许多改进，包括变分公式、相场模型以及受梯度流启发的模型等。这些方法在恢复结构连续性和保持几何特征方面表现出色，即使在柯西问题这样的病态环境中也是如此。由于它们在数值分析和微分方程方面有坚实的理论基础，因此既具有可解释性，又具备稳定性，非常适合用于需要基于知识且要求分析严密的应用场景。

鉴于这些优势，本研究重点探讨基于偏微分方程的图像修复模型。我们的目标是探索如何利用这些模型的数学基础，开发出更加准确和可靠的图像重建技术，尤其是在数据严重丢失或存在边界交互的情况下。在后续章节中，我们将更详细地研究一些典型的偏微分方程公式，阐述它们的变分结构、良定性以及在实际图像修复中的应用意义。基于偏微分方程的图像修复的基本理念是通过模拟由偏微分方程控制的扩散或传输过程，将现有的图像信息传播到缺失区域。这一过程通常通过如下形式的演化偏微分方程来建模：?tu?R(x,u,Du,?,Dku)=0,inD,u=f,on?D，其中R是一个k阶微分算子，D则表示受损的子区域。R的具体形式通常受到物理类比的启发，如线性与非线性扩散、流体动力学或相场模型等，这些类比使得插值过程能够尊重图像的结构性和几何特征。早期基于二阶各向同性扩散的方法虽然计算效率高且理论成熟，但它们往往会导致边缘过度平滑，且无法在较大范围的缺失区域内保持连接性。这些局限性促使人们开发出了更高阶和各向异性的扩散模型，这类模型通过引入曲率信息和方向性线索，能够更好地保持几何结构，并在复杂的图像修复区域中传递特征。这类模型通常允许施加导数形式的边界条件，从而提高其在处理病态或存在大间隙场景时的能力，进而提升修复质量。尽管偏微分方程本身并非图像的物理定律，但其各项在经典物理学中都有直接的对应物，正是这些类比推动了该模型的发展：1. 各向同性扩散对应于热传导。最简单的图像修复模型是在已知边界条件的受损区域D中求解拉普拉斯方程Δu=0，这在数学上等同于求解具有已知边界温度的均匀板中的稳态温度问题。其结果是对边界数据进行最平滑（调和）的插值，非常适合修复小的划痕，但无法保持边缘特征。2. 各向异性扩散对应于在非均匀介质中的热传导。EED项ν?·[gα(|?u|2)?u]描述了导电性随局部梯度变化的扩散过程：在平坦（均匀）区域，导电性较高，图像会被平滑处理；而在边缘附近（梯度较大）处，导电性降至cα???1，从而有效阻止边缘处的扩散。其物理类比是在热导率随空间变化的材料中的热传导，例如在界面处具有绝缘层的复合材料。3. 相干传输对应于沿流线的流体平流。术语η(?⊥u·?Δu)负责沿图像的等值线传递信息，就像流体沿其流线传递被动标量一样。这一机制是由Bertalmío等人首次提出的，他们明确地将该过程与二维不可压缩纳维-斯托克斯方程进行了类比：图像强度相当于涡度，而等值线方向则相当于速度场。相干传输对于在较大间隙中保持线性结构（如边缘、山脊）的连续性至关重要。4. 组合模型对应于在非均匀介质中的平流-扩散过程。完整的运算符Φ(u)=η(?⊥u·?Δu)+ν?·[gα?u]因此类似于具有非线性、依赖梯度的扩散系数的稳态平流-扩散方程。这类方程在许多计算物理领域中都很常见，比如多孔介质中的污染物传输、流动流体中的热传递以及半导体器件建模等。表1总结了这些对应关系。在整个研究中，我们所提出的KMF–PINN框架是基于强形式（配置法）的物理信息神经网络框架，该框架在训练损失中逐点强制执行偏微分方程残差和边界条件。对于椭圆型问题，另一种往往更具优势的策略是变分（能量基）公式化方法，在这种方法中，损失函数被定义为总势能（或相关的泛函），其最小化解恰好对应于偏微分方程的弱解。与强形式（配置法）物理信息神经网络框架相比，另一种具有重要影响力的方法是变分或能量基公式化方法，在这种方法中，网络损失被定义为总势能，或者更一般地说，是某个变分泛函，其驻点恰好对应于控制偏微分方程的弱解。Samaniego等人在计算力学领域率先提出了这一理念，他们表明，对于大多数椭圆型问题，最小化势能能够带来更稳定的训练过程和更准确的解决方案，这主要是因为能量损失仅需要网络输出的一阶导数，而强形式残差通常涉及二阶或更高阶的导数。这种导数阶数的降低有助于避免强形式物理信息神经网络在处理刚性或多尺度问题时常常出现的梯度异常问题，如谱偏差和不平衡的反向传播梯度等问题。在此基础上，Wang等人提出了基于守恒能量的神经网络（CENN），该方法将计算域划分为多个子域，并强制实现元素间的能量连续性，从而使变分框架能够处理单一全局网络难以应对的异质材料、复杂几何形状以及强烈的局部梯度问题。此后，CENN方法又得到了进一步的发展。王等人（2025c）用Kolmogorov–Arnold网络替代了传统的多层感知机结构，证明了该架构在处理正向和逆向偏微分方程问题时具有更强的逼近能力与可解释性；同一组作者王等人（2025b）还提出了迁移学习策略，包括全量微调、轻量级微调以及低秩适配技术（LoRA），用以在问题参数如几何形状、载荷、材料常数发生变化时加快重新训练速度，而这类情况在诸如此处所提出的迭代算法的外循环中很常见。关于这些进展及相关研究的综述可见王、白、林、王、Anitescu、孙、Eshaghi、顾、冯、庄等人以及王、庄、Rabczuk、刘在2025d年的著作。尽管变分PINN形式在理论上很有吸引力，但它要求所研究的偏微分方程存在能量泛函，而本研究所分析的EED算子的扩散部分自然满足这一条件（通过扩散率gα的原始函数Gα来实现，见公式(4)），但相干传输项η(?⊥u·?Δu)却不满足这一要求，因为它不是自伴的，因而也不属于变分形式。Samaniego等人（2020）尝试将传输项视为添加到能量损失中的惩罚项，但这会引入一个额外的超参数——惩罚权重，在边界数据本身就不完整的逆问题（柯西问题）中，该参数的调整可能十分困难。正因如此，再加上强形式公式无需封闭形式的能量原始函数，即可对偏微分方程的所有项一视同仁，因此我们在KMF交替框架中将强形式PINN作为默认求解器。不过我们注意到，若能对以扩散为主导的子问题进行变分重构，或许能提升KMF算法的收敛速度并增强训练稳定性，我们将王等人（2025b）提出的两种公式之间的系统比较，以及在外层迭代中交替使用这两种公式的混合策略，视为未来研究的有希望的方向。

设Ω?Rd，其中d∈{2, 3}，表示图像域，D?Ω则表示缺失或受损区域。我们的目标是通过利用互补域Ω?D中的已知信息，重建区域D内的缺失图像数据。当边界?D完全包含在Ω内时，可以像传统公式Chan和Shen（2001）以及Shen和Chan（2002）中所做的那样，对?D施加狄利克雷条件。然而在许多现实场景中，?D∩?Ω≠?，这意味着这部分边界上没有可用数据。这种情况会导致出现柯西问题，由于缺乏足够的边界数据，这类问题本质上就是病态的，Toros等人（2024）也指出了这一点。我们提出了一种混合偏微分方程模型，结合了相干传输与各向异性扩散的优点，其表达式为：?tu=η?⊥u·?Δu︸平滑度传输+ν?·(gα(|?u|)?u)︸各向异性扩散，其中η、ν>0为权重参数，gα则是梯度幅度的递减函数，同时还受到正则化参数α的调节。•项?⊥u·?Δu用于描述沿等值线方向的平滑度传输，它通过将曲率向图像边缘方向传递来提升结构连贯性，从而有助于保持边缘和纹理等几何特征。•第二项则描述各向异性扩散，gα(‖?u‖)能够有选择地降低高梯度附近的扩散程度，从而保留边缘，同时在平坦区域促进平滑处理。为了解决边界数据不完整的修复问题的病态性，我们将稳态版本重构为一个椭圆型柯西问题：{η(?⊥u·?Δu)+ν?·(gα(|?u|2)?u)=0在D区域内，u在Γc上等于f，[η(Δu)?⊥u+νgα(|?u|2)?u]·n=ψ在Γc上，其中Γc??D是边界的可访问部分，n为外法向量。边界的不可访问部分既没有狄利克雷条件也没有诺伊曼条件，这使得该问题在哈达玛意义上属于严重病态问题，Γc上可用数据的小幅扰动都可能导致D区域内解的巨大偏差。为稳定这种重建过程，我们采用了正则化策略，将柯西问题转化为一系列良定的混合边界值问题，Berdawood等人（2023）、Bergam等人（2019）、Hadri等人（2024）、Nachaoui、Aboud、Nachaoui在2021a年以及Nachaoui、Nachaoui、Chakib、Hilal在2021b年都提出了此类方法。这类思路在科学和工程领域的逆问题中十分常见，Arridge等人（2019）、Kabanikhin（2008）、Kocyigit等人（2015）、Ribes和Schmitt（2008）、Yaman等人（2013）都有过相关研究，应用领域涵盖地球物理学、热成像以及生物医学领域，Chung和Gazzola（2024）、McCann等人（2017）、Ye等人（2019）也有所涉及。在这些问题中，由于物理或几何约束，边界信息不完整是一个常见难题，需要专门的解析和数值方法才能确保稳定且准确的恢复结果。为了解决公式(2)中定义的病态椭圆柯西问题，我们提出了一种新的混合策略，将Kozlov–Maz’ya–Fomin类型的交替迭代算法Kozlov等人（1991）、Nachaoui、Nachaoui、Chakib、Hilal在2021b年以及Nachaoui、Afraites、Laghrib在2021c年的方法与物理信息神经网络Raissi等人（2019）相结合。其核心思想是将KMF分解产生的每个良定子问题都用PINN求解来替代，从而获得一种无需网格、具备自适应能力的完整逆问题求解器。自从Raissi等人（2019）提出这一开创性工作后，PINN便成为了一种功能强大的工具，它通过将控制微分算子及边界条件直接纳入训练损失函数，用于近似求解偏微分方程。由于其无需网格且能够处理复杂几何结构，PINN已在流体力学Jin等人（2021）、Raissi等人（2020）、固体力学Haghighat和Juanes（2021）以及传热领域Cai等人（2021）等方面得到了成功应用。对于那些边界数据不完整、存在噪声或部分无法获取的逆问题而言，PINN更具优势，因为同样的损失函数就能同时整合稀疏观测数据并强制满足物理约束，Smyl等人（2025）、Zhang和Deng（2025）、Zhao等人（2025）都做过相关研究。在逆问题应用中，常见的有椭圆方程中的系数识别Mishra和Molinaro（2023）、源项重建Ahmadi等人（2025）以及电阻抗断层成像Smyl等人（2025）。在图像处理领域，基于深度学习的图像修复方法已经取得了出色的视觉效果，生成对抗网络Goodfellow等人（2014）、变分自编码器Peng等人（2021）以及扩散模型Lugmayr等人（2022）都能从大量图像数据中学习到数据驱动的先验知识，并能在缺失区域生成看似合理的内容。不过这些方法本质上都需要大量数据，且仅适用于特定领域（如人脸、自然场景），也无法为重建结果提供基于物理的保证。尤其它们无法确保修复后的图像满足特定的偏微分方程，而这在修复任务源自物理模型时至关重要，比如用于增强边缘的扩散算法。另一类研究则采用基于偏微分方程的（模型驱动的）图像修复方法，通过求解相应的扩散方程来填充缺失区域。传统的偏微分方程修复算子包括谐波插值Shen和Chan（2002）以及上文提到的其他偏微分方程方法，其中EED算子因其能够将清晰边缘和精细结构传递到修复区域而备受重视，尤其适合用于有损图像压缩Gao等人（2023）以及类似卡通风格的图像重建Bildhauer等人（2021）。然而，从部分边界数据反推解决方案的逆EED修复问题，几乎一直只能通过基于网格的数值方法（有限元、有限差分）来解决，Nachaoui、Nachaoui、Chakib、Hilal在2021b年以及Nachaoui、Afraites、Laghrib在2021c年都有相关研究，这使得无需网格的深度学习求解方法的潜力至今尚未得到充分探索。虽然相关文献数量不多，但正在逐渐增多，有一些研究开始探讨在偏微分方程驱动的图像重建领域应用PINN技术，Song等人（2024）使用隐式神经表示来求解变分修复模型，而Mukherjee等人（2023）则将学习到的正则化方法与偏微分方程约束相结合，用于解决一般的逆成像问题。最近，Shahzad等人以及Ahmed等人（2025）将标准PINN应用于基于线性扩散的图像恢复任务，并在简单几何结构上取得了不错的效果。尽管有了这些进展，但仍存在几处关键缺陷：1.非线性算子。目前大多数PINN修复方法都采用线性扩散算子（拉普拉斯算子、双调和算子），而将其扩展到非线性、各向异性的算子，如EED算子——其扩散张量取决于解的梯度——则会带来极大的训练难度，比如非凸的损失函数结构以及边缘附近的剧烈梯度变化，这些问题至今尚未得到系统性的解决。2.柯西（逆）边界条件。标准的PINN公式假设边界上的所有数据都是已知的，而在柯西问题中，数据仅在Γc上给出，而Γi上则没有任何信息。如果仅用不完整的边界数据来训练单个PINN，就会导致严重的病态性问题以及多解现象，Mishra和Molinaro（2023）就指出了这一点。3.正则化策略。以往基于PINN的逆问题求解器通常依靠网络架构或提前停止机制来实现隐式正则化，Raissi等人（2019）就是如此，而非采用具有明确数学依据、并能证明收敛性的迭代正则化方案。4.收敛性理论。据我们所知，目前文献中还不存在针对非线性椭圆柯西问题上的基于PINN的迭代方案的收敛性分析。本研究通过专门为图像修复中出现的非线性椭圆柯西问题设计的变分PINN框架，解决了上述四个缺陷。表2总结了我们的方法与现有方法的对比情况。主要贡献包括：1.KMF–PINN耦合。我们将经典的KMF交替算法Kozlov等人（1991）嵌入到PINN训练循环中（算法2）。在每一轮外层迭代中，最初的病态柯西问题会被分解为两个良定的混合边界值问题：一个在Γi上施加诺伊曼条件（网络1），另一个在Γi上施加狄利克雷条件（网络2）。每个子问题都由专门的PINN来求解（算法1），其损失函数能够自然地体现偏微分方程残差、边界不匹配以及非线性的EED算子效应。这种耦合方式无需生成网格或对域进行离散化，同时还能保留KMF迭代所具有的数学正则化特性。2.非线性EED扩散。经过正则化的扩散系数gα(‖?u‖)能够确保正向算子的均匀椭圆性（见公式(4)），进而保证每个子问题的可强迫性以及各个PINN训练任务的良定性。EED算子的非线性特征与神经网络近似之间的相互作用通过自动微分来处理，从而避免了边缘附近的有限差分误差。3.松弛不动点收敛性。我们证明了（命题1），算法2中的通量更新规则对于任意介于(0, 2)之间的松弛参数γ而言，都构成了一种收缩型不动点迭代，其几何收敛速率满足ρ(Tγ)<1。PINN的近似误差仅以附加扰动的形式出现（见第3.4节的备注），只要每个子问题都能被训练到足够高的精度，就能保证收敛到精确解的邻近区域。4.无网格逆向修复。与KMF方法的有限元实现方式Nachaoui等人（2021c）不同，我们的方法无需网格、无需基函数，也无需矩阵组装。配点可以自适应地选取（例如集中在边缘附近），这使得该方法特别适合处理不规则的修复掩模以及高分辨率图像。总之，所提出的方法可被视为一种用于非线性椭圆柯西问题的变分PINN框架。正则化的EED算子gα(‖?u‖)在偏微分方程层面提供了可强迫性及梯度控制功能；KMF分解则在算法层面实现了迭代正则化；而PINN近似器则在计算层面带来了无需网格的灵活性。由交替方案带来的不动点结构在适度规则性假设下具备几何收敛性（命题1），这一结论也得到了关于EED型方程的最新研究Bildhauer等人（2021）以及扰动不动点理论Ortega和Rheinboldt（2000）的理论支持。模型、算法与近似器这三者之间的相互作用，正是本项工作最重要的方法学贡献。本文的其余结构如下：第2节介绍图像修复问题，涵盖直接修复场景以及逆向柯西问题两种情况；第3节阐述所提出的混合框架，该框架整合了物理信息神经网络、松弛交替策略以及贝叶斯超参数优化技术；第4节通过数值实验展示该方法在复杂修复场景下的性能；第5节总结全文，指出关键研究成果以及未来研究的方向。

问题设定
在图像修复领域，修复任务通常取决于受损区域D?Ω的位置，其中Ω?R2表示整个图像域。如图1所示，根据修复区域D与图像域边界?Ω之间的相互作用关系，通常可以将问题分为两种典型情形。

方法论
在介绍用于解决这两种修复场景的方法之前，我们先简要概述一下物理信息神经网络的相关知识。

数值结果
本节通过一系列数值实验，验证所提出的物理信息修复框架的效能。我们评估了该框架在处理那些受损区域D与图像边界相交，即?D∩?Ω≠?的图像时的能力，也就是恢复图像中缺失结构的能力。这类情况带来了额外的挑战，因为传统的图像修复技术往往依赖于完整的边界信息这一假设。结论与展望在本文中，我们提出了一种新的图像修复方法，该方法将基于物理原理的神经网络与基于传输的修正型偏微分方程相结合，同时融入了相干传输和各向异性扩散机制。通过将非线性偏微分方程约束纳入训练过程，该框架在有效重建缺失或受损区域的同时，还能保证物理真实性，尤其是在边界数据部分不可用的情况下。所提出的简化交替策略CRediT作者贡献说明穆罕默德·纳塞雷丁·托罗斯：撰写——初稿、可视化、研究。穆拉德·纳查乌伊：撰写——审阅与编辑、验证、监督、方法论、研究、形式分析、概念设计。阿明·拉格里布：撰写——审阅与编辑、可视化、验证、监督、方法论、研究、形式分析、概念设计。穆斯塔法·乔赫里：撰写——审阅与编辑、监督、概念设计。利益冲突声明作者们声明没有利益冲突。致谢我们非常感谢匿名审稿人提出的宝贵修改意见和深刻建议，这些都有助于大幅提升本文的质量。穆罕默德·纳塞雷丁·托罗斯|穆拉德·纳查乌伊|阿明·拉格里布|穆斯塔法·乔赫里