面向高保真图像修复的移位窗口变换器与卷积神经网络双路径协作

《Engineering Applications of Artificial Intelligence》：Dual-path collaboration of shifted-window transformer and convolutional neural network for high-fidelity image inpainting

　　

摘要
人工智能，特别是深度学习，推动了图像修复的重大进步，然而，由于全局上下文建模有限和局部纹理恢复不足，修复具有复杂结构和大面积缺失区域的图像仍然具有挑战性。为了应对这些挑战，我们提出了一种混合图像修复框架，通过并行双路径协作架构集成移位窗口 Transformer 注意力和卷积神经网络。不同于传统的串行或两阶段融合策略，我们的设计在每一层级共同嵌入移位窗口自注意力和双分支多尺度卷积，并由多尺度残差模块连接。在全局建模路径中，分层移位窗口自注意力将特征图划分为不重叠的窗口，并应用逐层窗口移位以捕获长程依赖并保留结构连贯性。在局部增强路径中，在每个 Transformer 阶段插入双分支卷积模块，利用卷积的局部感受野来恢复细粒度纹理。随后，具有残差聚合的多尺度特征融合模块结合了编码器 - 解码器层之间的结构和语义表示。在四个基准数据集上进行了大量实验，定量和定性结果验证了所提出的框架相比当前主流图像修复方法的优越性。此外，我们实现的人工智能模型泛化到面部编辑和物体移除等实际应用，展示了其鲁棒性和通用性。至关重要的是，不同于现有的混合方法，我们的并行双路径架构在单一统一框架内独特地实现了全局结构连贯性和局部纹理保真度，为高保真、语义连贯的图像修复奠定了原则性基础。

引言
人工智能、数据驱动建模和优化领域的最近进展扩大了计算分析在广泛领域中的应用。机器学习已支持积雪覆盖估算（Kuter, 2021），而运筹学已应用于卫星数据处理（Kuter et al., 2017）和反射率反演（Kuter et al., 2015）。深度学习已用于建模与记忆相关的控制过程（Savku, 2023），并已为相关决策问题开发了随机最优控制框架（Savku, 2025）。其他数据驱动应用包括基于 MRI 的阿尔茨海默病诊断（Cevik et al., 2017）、逆心电图重建（Onak et al., 2019）、通过基于凸优化的异常识别进行帕金森病检测（Taylan et al., 2021）以及电力系统故障检测（Mohanty et al., 2023）。数据驱动方法也已应用于住宅天然气需求预测（?zmen et al., 2018），并已为不确定性下的决策制定了数值随机控制方法（Y?lmaz et al., 2026）。

尽管这些模态和决策场景存在异质性，但它们共享一个共同挑战：从复杂、不完整或噪声数据中提取可靠结构。这一挑战在图像修复中尤为突出，图像修复是一项基本的计算机视觉任务，旨在重建缺失或受损的图像区域，使得填充的内容既在视觉上逼真，又在语义上与周围上下文一致（Quan et al., 2024, Suma and Kusuma Kumari, 2024）。其工程应用广泛，包括文化遗产修复、物体移除和面部编辑。核心困难在于同时保持全局结构连贯性和恢复细粒度局部纹理，特别是在具有复杂结构或大面积缺失区域的图像中。未能实现这种平衡通常会导致可见的伪影、模糊的细节或孔洞边界处的语义不连续。

受深度学习进展的推动，当前的图像修复方法主要分类为传统方法和基于深度学习的方法（Zhang et al., 2023, Xiang et al., 2023）。传统图像修复方法可进一步细分为基于扩散和基于样本的方法（Elharrouss et al., 2024）。基于扩散或偏微分方程（PDE）的方法利用受损区域的边缘信息来引导将已知区域的结构细节传播到缺失区域，从而确保平滑扩散。Bertalmio 等人（2000）率先系统地构建了基于 PDE 的图像修复模型。通过沿等亮度方向传播图像结构，他们的方法能够合理地重建小的缺失区域。Sridevi 和 Kumar（2019）推进了这一系列工作，提出了一种分数阶非线性扩散模型，该模型动态调整扩散强度和方向，在边缘保留和纹理恢复之间实现了更好的平衡，并在几个基准测试中优于整数阶模型。相比之下，基于样本的方法通过根据相似性度量识别和转移已知区域中最相似的补丁来重建缺失内容。Jin 和 Ye（2015）采用了一种低秩 Hankel 矩阵补全策略，将相似补丁分组为结构化矩阵并在低秩约束下优化修复。Guo 等人（2018）引入了一种低秩逼近框架，该框架构建补丁矩阵并采用截断奇异值分解（SVD）进行闭式解，辅以两阶段机制进行单独的结构和纹理优化。

尽管具有坚实的理论基础，传统方法主要依赖低级特征，这包含几个固有缺陷，如计算成本高、捕获高级语义的能力有限、容易产生模糊输出，以及实际效果仅限于具有简单结构或均匀纹理的图像。

基于深度学习的图像修复方法广泛分为卷积神经网络（CNN）（LeCun et al., 2010）、生成对抗网络（GAN）（Goodfellow et al., 2014）和基于注意力机制的方法。基于 CNN 的方法通常采用包含卷积层、激活函数和上采样操作的编码器 - 解码器框架。编码器通过下采样分层提取多尺度语义特征，而解码器通过上采样重建细粒度细节以恢复原始分辨率。一个代表性模型是渐进反向注意力网络（PRA-Net），它在编码器 - 解码器框架内增强了修复定位（Li et al., 2025b）。在编码阶段，高分辨率网络（HRNet）结合多尺度特征提取生成了粗略的全局预测。解码阶段随后采用反向注意力机制迭代细化修复区域的边界。尽管有效，基于 CNN 的方法受限于其有限的感受野，使其更适合涉及简单结构和规则纹理的任务，如划痕去除或小面积填充。当面对大规模缺失内容，特别是涉及复杂结构和精细细节时，这些方法往往难以产生上下文连贯且视觉逼真的结果。

相比之下，基于 GAN 的方法利用对抗框架，其中生成器合成逼真且上下文连贯的内容，而判别器区分真实图像和生成图像。例如，Shi 等人（2025）开发了自先验引导生成对抗网络（SG-GAN），该网络集成了交叉注意力机制以增强上下文感知和纹理生成质量。尽管对抗训练提高了视觉保真度，但这些方法经常表现出局部连贯性偏差，优先考虑纹理合理性而非全局结构。这种偏差可能导致语义不一致，如面部特征扭曲，特别是在大面积缺失区域。随后，为了利用 CNN 和 GAN 的互补优势，Pathak 等人（2016）开创了上下文编码器框架，该框架将基于 CNN 的编码器 - 解码器生成器与对抗训练相结合以提升感知真实性。这种混合 CNN-GAN 模型启发了一系列后续进展。Iizuka 等人（2017）通过全局和局部判别器改进了这一方法，以在整图级别和补丁级别执行一致性。尽管有这些改进，许多方法仍未充分利用图像内在先验，经常导致颜色差异和纹理模糊。为了应对高保真修复的多方面需求，近期研究专注于通过专门机制增强 CNN 或 GAN 主干，例如部分卷积（Liu et al., 2018）、结构约束（Nazeri et al., 2019）、纹理引导（Wu et al., 2022）和并行结构 - 纹理建模（R. Li et al., 2025, Guo et al., 2021）。然而，当处理复杂结构或大面积缺失区域时，它们大多难以保持全局连贯性，经常产生模糊或语义不一致的结果。

更具体地说，为了应对这些局限性，引入了基于注意力的机制以增强全局上下文建模。通过自适应地重新加权图像上的空间特征，它们使网络能够捕获长程上下文依赖，从而确保语义连贯的修复。源于自然语言处理的 Transformer 架构在建模长程依赖方面表现出了显著的有效性（Vaswani et al., 2017）。与本质上受限于局部感受野的 CNN 不同，Transformer 利用自注意力对序列元素之间的全局交互进行建模。这一能力已成功扩展到计算机视觉，最著名的是 Dosovitskiy 等人（2020）引入的视觉 Transformer（ViT），它在从图像分类到图像修复的任务中建立了新的基准。通过利用自注意力整合所有图像区域的信息，基于 Transformer 的图像修复方法在保持局部细节的同时实现对全局结构的全面理解。因此，它们生成的重建结果具有增强的结构合理性和视觉真实性，在复杂的修复场景中表现出特别强的实力。

Deng 等人（2021）提出了上下文 Transformer 网络（CTN），通过用堆叠的 Transformer 块替代传统卷积并将多头注意力机制扩展到上下文推理来增强标准 Transformer。尽管有这些进展，自注意力相对于序列长度的二次计算复杂性仍然是高分辨率图像的主要瓶颈（Qin et al., 2022）。为了缓解这一问题，Liu 等人（2021）构建了 Swin Transformer，它将图像划分为不重叠的局部窗口并在每个窗口内独立计算自注意力。由于每个窗口的令牌数量保持固定，整体计算复杂度与图像大小呈线性比例，相比全局自注意力提供了巨大的效率提升。与此同时，其他高效注意力变体也应运而生。Lingle（2023）设计了一种基于向量量化的自注意力，压缩了键向量，将内存消耗和时间复杂度降低到线性阶。同样，Deng 等人（2022）开发了一种线性注意力模型，采用 softmax 函数的泰勒级数近似，实现了分辨率线性扩展。这些发展促进了可扩展且强大的基于 Transformer 的模型在高分辨率图像修复任务中的构建。

受现有方法根本局限性的启发，我们设计了一种统一架构，用于对高保真修复进行全局结构和局部纹理的联合建模，同时保持高分辨率图像的计算可行性。在本文中，我们引入了 Swin-CCNet：一种移位窗口 Transformer（Swin Transformer）和卷积神经网络（CNN）协作网络。Swin-CCNet 建立了一个混合特征提取框架，通过以下机制协同统一分层全局和局部特征表示。一方面，模型利用 Transformer 的自注意力机制捕获图像跨度的长程依赖，克服了传统 CNN 的有限感受野，并增强了大规模缺失区域的结构连贯性。另一方面，Swin Transformer 中基于窗口的分层自注意力允许在局部窗口内高效建模长程交互。通过移位窗口和多级窗口合并，模型逐步扩展感受野同时保留精细的空间细节。为进一步增强局部特征提取，基于双分支 CNN 的局部增强模块嵌入在 Swin Transformer 的多个分层阶段。这种设计促进了全局注意力和局部卷积之间的协同协作，支持多尺度语义学习并改善高频纹理和精细细节的恢复。此外，在编码器和解码器之间引入了一个基于残差的多尺度特征融合模块。它保留来自浅层（如轮廓和场景布局）的低频结构信息，有效地通过残差连接整合高级语义表示与空间细节。这确保了稳健的特征传播并减轻了上采样期间的信息损失，产生更准确和一致的修复结果。在四个基准数据集上的大量评估表明，我们提出的方法在定量指标和定性真实性方面始终达到最先进的性能。主要贡献总结如下。

(1) Swin-CCNet 架构：一种新颖的 U 形图像修复框架，在双路径协作框架内统一了 Swin Transformer 和 CNN，其中基于窗口的自注意力和卷积特征细化在每个尺度上并发运行。这种设计克服了全局上下文感知和局部细节保留之间的权衡，实现了结构连贯和纹理保真表示的端到端学习。

(2) 多尺度局部特征增强块（MLFEB）：一种轻量级的、分阶段的双分支 CNN 模块，嵌入在每个 Swin Transformer 阶段内。当 Transformer 编码器通过移位窗口和跨层合并捕获长程依赖时，并行的 CNN 分支利用强大的局部感受野来恢复高频纹理并锐化边缘细节。这种互补交互有效缓解了 Transformer 在细粒度纹理生成方面的已知弱点，从而增强了修复区域的视觉真实性。

(3) 多尺度残差特征桥接模块（MRFBM）：一种跨尺度融合机制，利用分层残差连接来保持从浅层到深层的结构连续性。

通过专用的残差路径选择性路由低级空间约束和高级语义引导，MRFBM 强制实现了几何一致性和视觉合理的恢复，这对于大缺失区域尤为关键。(4)最先进性能与泛化能力：实验表明，Swin-CCNet 在定量指标和视觉质量方面均持续超越最先进的方法。消融研究验证了 Swin-CCNet 中每个组件的必要性。该模型还表现出对现实世界应用的强泛化能力，确认了其在不同场景下的鲁棒性和实用可行性。

章节摘录

图像修复

自 Bertalmio 等人（2000）在 2000 年引入 Bertalmio-Sapiro-Caselles-Ballester (BSCB) 修复方法以来，图像修复领域在数字图像处理和计算机视觉中经历了快速发展。当前的修复方法可大致分为传统方法和基于深度学习的方法。传统方法进一步分为基于扩散的方法和基于示例的方法。其中，BSCB 模型代表了一个开创性的

所提出的方法

本节详细介绍了我们所提出的架构，该架构包含五个组件，包括编码器、SwinTrans-MLFEM 模块、解码器、基于多尺度残差的特征桥接模块 (MRFBM) 以及联合损失函数设计。

数据集和评估指标

我们在四个涵盖不同场景的具有挑战性的数据集上评估了所提出的方法：CelebFaces 属性高质量 (CelebA-HQ) (Karras 等人，2017)（30,000 张高质量面部图像）、巴黎街景 (Paris Street View) (Doersch 等人，2015)（15,000 张城市场景）、Places2 (Zhou 等人，2017)（20,000 张涵盖四个类别的自然场景）和敦煌石窟 (Dunhuang Grottoes) (Yu 等人，2019)（961 张带有配对掩码的文化遗产图像）。所有图像均调整大小为 256 × 256 像素。为了模拟图像损坏，

结论与未来工作

在本文中，我们提出了 Swin-CCNet，这是一种 U 形混合架构，通过统一层次化全局结构建模和多尺度局部纹理合成来推进图像修复。与先前顺序级联或松散融合 Transformer 和 CNN 组件的混合设计不同，Swin-CCNet 实施了严格的架构协同设计：在每一个编码器 - 解码器层级，移动窗口自注意力捕获长程结构依赖关系，双分支卷积细化

CRediT 作者贡献声明

Runing Li: 写作 – 原稿起草。Jiangyan Dai: 写作 – 审阅与编辑，方法论，资金获取，概念化。Qibing Qin: 写作 – 审阅与编辑。Chengduan Wang: 监督。Zhenxiang Chen: 验证。Shanshan Wang: 验证。

竞争利益声明

作者声明，他们没有任何已知的竞争经济利益或个人关系，这些可能看起来影响了本论文报告中工作的客观性。

致谢

这项工作得到了国家自然科学基金（编号：62006174, 62302338）和山东省自然科学基金（编号：ZR2022QF046, ZR2021MF 085）的支持。

Runing Li|Jiangyan Dai|Qibing Qin|Chengduan Wang|Zhenxiang Chen|Shanshan Wang

济南大学信息科学与工程学院，中国济南，250000