集成壁画图像修复：双向 Mamba 融合与双通道自适应融合

《Computer Vision and Image Understanding》：Integrated mural image inpainting: Bidirectional Mamba fusion and dual-channel adaptive fusion

　　

• 提出MC-GAN用于壁画修复，结合双向Mamba与双通道融合。
• 设计宽范围对角线扫描机制，以增强空间建模能力。
• 为Mamba和CNN设计门控自适应机制。
• 在敦煌挑战数据集及基准数据集上取得优异性能，并实现效率的平衡。
• 实现对真实破损壁画的修复。

引言
壁画艺术是人类文明的物质载体。敦煌壁画等珍贵文物不仅记录了历史变迁，还蕴含着古代艺术的审美精髓和文化内涵。然而，由于自然因素和人为活动的影响，许多壁画出现了褪色、剥落和开裂现象（Lu et al., 2022, Zhang et al., 2022）。因此，壁画的数字化保护，包括敦煌壁画，已成为一个热门话题。

在壁画的数字化修复中，早期的传统方法主要分为基于PDE的方法（Bertalmio et al., 2003）和基于纹理的综合技术（Efros and Leung, 1999, Criminisi et al., 2004），但这些方法通常只能修复小而规则的缺陷。近年来，深度学习技术的进步极大地推动了图像修复技术的发展（Xu et al., 2023, Yang and Ruhaiyem, 2024, Elharrouss et al., 2025）。基于卷积神经网络（CNN）的方法可以通过卷积有效地恢复局部细节（Pathak et al., 2016, Iizuka et al., 2017, Yu et al., 2018, Liu et al., 2018a, Nazeri et al., 2019a, Ren et al., 2019），但受限于局部感受野，它们难以处理长距离依赖关系，阻碍了全局重建。注意力驱动的方法通过自注意力捕获全局上下文（Vaswani et al., 2017, Dosovitskiy et al., 2020, Liu et al., 2021, Liang et al., 2021, Wan et al., 2021, Li et al., 2022, Wang et al., 2022, Chen et al., 2022, Chen et al., 2023），但它们往往容易产生伪影，且其二次复杂度带来了相当大的计算开销。扩散模型（Ho et al., 2020, Rombach et al., 2022, Lugmayr et al., 2022）和基于Mamba的方法（Gu and Dao, 2023, Guo et al., 2024a, Shi et al., 2024, Guo et al., 2024b, Hu et al., 2024, Zhu et al., 2024, Y. Liu et al., 2024, Li et al., 2025, Zhang et al., 2024, Liu et al., 2025, Ibrahim et al., 2025）分别通过扩散生成和高效的序列建模提供了强大的生成潜力，但扩散模型需要大量的资源消耗，而Mamba的一维（1D）线性建模机制破坏了二维（2D）像素空间邻接的连续性。此外，这些模型中的复杂机制通常会引入显著的计算成本。

这些局限性源于对建模能力和计算效率之间相互冲突的需求。基于CNN的方法能有效恢复局部纹理，但缺乏全局上下文，导致大面积缺失区域的结构性不连贯。Transformer通过自注意力实现全局一致性，但受到二次复杂度的制约，对高分辨率图像造成了瓶颈。Mamba通过其选择性状态空间建模架构，在线性时间序列建模和全局感受野方面具有优势。然而，其固有的1D顺序扫描机制在处理2D视觉数据时，容易产生线性偏移图像，破坏了相邻像素的连续性（相邻像素指与扫描路径正交的像素）。受一体化图像修复的Mamba-CNN双流融合框架M2Restore（Wang et al., 2025）的启发，将Mamba的全局建模与CNN的局部特征提取进行互补融合，为兼顾效率和质量的图像修复提供了一个有前景的解决方案。综上所述，本文聚焦于以下两个挑战。

第一个挑战是Mamba对视觉任务的适应性。尽管Mamba实现了线性时间的序列建模（Gu and Dao, 2023），但其原始的1D因果扫描机制是为顺序数据设计的，当应用于2D图像时，不可避免地造成"局部像素遗忘"：将空间特征扁平化破坏了像素邻接关系并削弱了局部细节学习（Guo et al., 2024a, Hu et al., 2024）。现有的改进扫描方法，如锯齿形扫描（Hu et al., 2024）和S形扫描（Li et al., 2025），在一定程度上缓解了这一问题，但无法同时捕获水平、垂直和对角线特征。对于图案和轮廓复杂的壁画图像，标准Mamba缺乏足够的空间感知能力来建模这些斜向结构，使其难以在捕获多方向空间相关性的同时保持像素邻接连续性。

第二个挑战是平衡全局语义一致性与局部细节保真度。基于CNN的方法擅长局部细节恢复；然而，其有限的感受野阻碍了全局语义推理，导致大面积缺失区域的结构性不连贯（Pathak et al., 2016, Iizuka et al., 2017, Yu et al., 2018, Liu et al., 2018a）。注意力驱动的方法能有效捕获全局模式以实现上下文合理性，但它们往往无法保持精细纹理的一致性，导致修复区域出现伪影（Wan et al., 2021, Li et al., 2022, Wang et al., 2022, Chen et al., 2022, Chen et al., 2023）。扩散模型能生成高质量结果，但需要大量迭代采样：RePaint（Lugmayr et al., 2022）在RTX 3090上处理每张256×256图像需要361.03秒（Q. Liu et al., 2024），使其在资源受限的场景中不具实用性。全局语义连贯性与局部纹理保真度之间的权衡凸显了现代修复系统中需要一种平衡融合机制。

为应对这些挑战，本文提出了MC-GAN，一种结合双向Mamba和双通道自适应融合的生成对抗网络。我们的生成器和判别器架构引入了两项关键创新。首先，我们提出了一种双向Mamba扫描方法，以增强Mamba的像素级连续空间感知能力并提升其全局建模能力。其次，我们提出了双通道自适应融合模块，通过上下文协作优化全局语义一致性和局部细节保真度。我们采用了五层卷积判别器，并使用结合重建损失、感知损失、风格损失和对抗损失的混合损失函数对其进行优化，以实现稳定训练。

本文的核心创新和贡献如下：

1. 设计了一种具有新颖宽范围对角线扫描（WDS）机制的Mamba增强模块（MEB）。通过对主对角线和副对角线进行双向互补扫描，并动态门控融合双路径特征，有效缓解了标准Mamba在2D空间中相邻像素连续性不足的问题，以及缺乏空间感知导致生成图像出现平移伪影的问题，实现了壁画图像的高效全局空间建模。

2. 提出了双通道门控自适应融合模块。该模块构建了平行的双通道结构：一个通道使用MEB进行全局语义建模，另一个通道引入上下文模块从未受损区域提取像素级先验以抑制过生成。进一步设计了轻量级多尺度特征融合模块，以实现全局Mamba特征和局部上下文特征的自适应加权融合，并采用深度可分离卷积以减少网络参数，在修复质量和计算效率之间取得了良好的平衡。

本文的后续结构安排如下：第2节回顾图像修复领域的相关工作；第3节详细阐述所提方法的总体架构及各模块的详细设计；第4节提供所提方法与最先进方法的全面定性和定量比较，证明其在实际应用中的有效性，并包含消融实验以进一步验证其性能；第5节总结本文的研究成果和未来的工作方向。

各节摘要

基于CNN的方法
图像修复旨在对图像中缺失或受损的区域进行语义填充（Iizuka et al., 2017, Yu et al., 2018, Nazeri et al., 2019a）。早期的CNN工作通过编码器-解码器架构（Pathak et al., 2016）和全局-局部判别器（Iizuka et al., 2017）开创了端到端修复的先河，但存在输出模糊的问题。后续的进展引入了具有上下文注意力的门控卷积（Yu et al., 2018）、用于不规则掩码的部分卷积（Liu et al., 2018a），以及——

初步准备
状态空间模型（SSM）通常被视为线性时不变（LTI）系统，通过隐式潜在状态h(t)∈??将一维输入序列x(t)∈?映射到响应输出y(t)∈?：
h'(t) = Ah(t) + Bx(t)
y(t) = Ch(t)
其中A∈????，B∈???1，C∈?1??分别为状态转移矩阵、输入矩阵和输出矩阵。

为了在现代计算设备上实现高效的线性递归，结构化SSM采用零阶保持（ZOH）（Gu et al., 2022）和离散化规则将连续——

实验结果与分析
本节系统地介绍了研究的关键方面和实验结果。具体而言，4.1节数据集和评估指标、4.2节实现细节、4.3节比较方法分别描述了数据集、评估指标、实现细节和比较方法。4.4节展示了所提方法与基线方法之间的定性和定量比较结果。4.5节对每个网络——

结论
本文提出了MC-GAN，一种Mamba增强壁画修复网络，通过宽范围对角线扫描（WDS）捕获长距离依赖关系，同时利用上下文模块（CB）捕获未受损区域的上下文依赖关系。最终，通过轻量级多尺度特征融合模块（LMSFFB）采用自适应门控机制对双通道特征进行高保真重建。在敦煌挑战等四个数据集上的定性和定量分析——

作者贡献声明
方舟舟：撰写——原稿，方法论。董志宏：撰写——审阅与编辑，概念化。曹鹏：概念化。庞梦新：概念化。

利益冲突声明
作者声明不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。

致谢
本工作得到了信息与通信工程一级学科博士学位点应用与建设（编号：21090126005）和北京印刷学院校级科研项目（编号：Eb202404）的资助。

方舟舟于2023年获得中国北京印刷学院工学学士学位。目前他正在北京印刷学院信息工程学院攻读电子信息硕士学位。他的研究兴趣包括计算机视觉。

方舟舟 | 董志宏 | 曹鹏 | 庞梦新