渐进式草图补全与草图调制扩散融合用于古代壁画修复

《Pattern Recognition》：Progressive sketch completion meets sketch-modulated diffusion for ancient mural restoration

　　

• •
  面向壁画修复的两阶段草图引导扩散方法。
• •
  由粗到细的草图补全实现稳健的结构引导。
• •
  草图调制扩散方法保障结构一致性和语义一致性。
• •
  真实损伤掩膜模拟以实现稳健的壁画修复。

引言

壁画是中国古代建筑艺术的重要组成部分，承载着宗教信仰、历史叙事和社会风俗，为研究古代文明提供了珍贵的信息。从唐代的宏大壮丽，到宋代的精雕细琢，再到明代的优雅从容，不同时期的壁画反映了各自时代独特的审美理想与创造力。然而，历经数百年的环境侵蚀与人为活动，这些文化遗产遭受了严重退化。许多不可复制的壁画出现了开裂、剥落、褪色等病害（图1(a)）[1]，对文化遗产保护与考古研究构成了严峻威胁。因此，保护性修复迫在眉睫。数字修复以最小化、可逆且非接触的方式保存艺术品，同时提高了古代壁画保存的效率。

尽管在自然场景[2]和人脸[3]、[4]图像修复方面取得了显著进展，现有方法在壁画修复中泛化能力较差。壁画属于结构主导型艺术品，具有复杂布局、丰富色彩和精细装饰图案，整体构图与结构语义对一致性修复至关重要。然而，传统非学习方法[5]和标准卷积方法[6]、[7]往往缺乏此类建模能力。此外，现有修复流程中使用的通用掩膜无法捕捉真实壁画的非规则退化模式。这些局限性要求我们探索兼顾视觉合理性与语义保真度的结构感知修复策略。

近期研究探索了草图或边缘引导的壁画修复方法，以引入结构先验。Wang等[8]针对唐卡壁画[9]、[10]、[11]修复提出了多尺度自适应部分卷积和笔画状掩膜；Li等[12]针对敦煌壁画提出了草图引导的渐进式框架，展示了边缘信息在合理修复中的作用（图1(c)）。其他研究[13]、[14]、[15]进一步证实了结构线索的重要性。然而，大多数方法使用边缘检测器[16]获取草图，在严重退化情况下结构图本身不完整，边缘检测结果不可靠，如图1(b)所示。此外，这些线索通常被简单地作为额外输入通道注入，限制了其抽象结构表示的利用。尽管Xu等[17]最近采用了边缘引导扩散方法用于裂缝修复，但边缘图仍然只是简单地与受损壁画拼接，有效结构融合尚未得到充分探索。

这些研究表明，草图引导方法在壁画修复中具有广阔前景。然而，现有方法仍面临三大挑战。第一，大多数方法严重依赖边缘检测算子，难以在实际修复场景中从受损壁画中准确提取和补全草图。第二，草图引导修复仍处于探索阶段，现有方法大多仅将草图视为额外输入通道。由于草图是高度抽象的表示，神经网络难以在像素空间有效解释和利用此类信息。第三，现有损伤掩膜生成方法无法真实反映壁画退化的实际形态，导致实验评估与实际修复条件之间存在差距。

为应对上述挑战，我们提出了MuralPaint——一种草图引导的扩散壁画修复框架。为处理不完整的结构引导，我们首先提出渐进式草图推理网络（PSIN），通过粗略修复、精细修正和基于AFFC的全局细化完成受损草图，获得可靠的结构先验。随后，我们设计了草图调制扩散模型。引入部分草图编码器（PSE）将草图编码到特征空间并提取有意义的结构表示，再通过特征调制将这些表示整合到U-Net中间激活中，实现结构感知修复。此外，我们提出了一种可参数化的损伤掩膜生成算法，模拟常见的壁画退化类型，包括斑点侵蚀、裂缝和表面剥落，以支持更真实的训练与评估。通过显式结构建模与特征级草图调制，MuralPaint实现了更连贯、更忠实的壁画修复。我们的主要贡献总结如下：

(1) 我们提出了MuralPaint，一种面向古代壁画修复的新型两阶段草图引导扩散框架，显式解决了真实受损壁画中草图不完整的问题。MuralPaint首先推断破损的结构草图，然后利用补全后的草图引导图案修复，从而增强结构连贯性与语义保真度。

(2) 我们提出渐进式草图推理网络（PSIN），通过三阶段由粗到细的流程恢复不完整草图，包括粗略结构补全、笔画与不连续处的局部精修，以及通过自适应快速傅里叶卷积（AFFC）进行的全局细化。通过联合建模局部细节与全局结构，PSIN生成的完整草图可作为下游壁画修复的可靠先验。

(3) 我们设计了一种具有可参数化损伤掩膜生成策略的草图调制扩散模型，其中草图被编码为层次化结构特征，并通过多源特征调制整合到扩散过程中，实现具有全局一致性的结构感知修复。

章节摘要

边缘引导图像修复

结构先验已被广泛用于修复大面积缺失区域。EdgeConnect[18]利用图像边缘进行补全，而Xiong等[14]使用前景轮廓作为结构线索。Dong等[19]基于注意力驱动的Transformer引入了结构恢复分支，逐步恢复整体结构。Guo等[20]提出了一种耦合框架，实现结构约束纹理合成与纹理引导结构重建的联合优化。受这些工作的启发

方法

如图2所示，我们的框架由两部分组成：渐进式草图推理网络（PSIN）和草图调制扩散模型（SDM）。PSIN以由粗到细的方式执行草图补全，逐步恢复主要结构、精修局部笔画，并通过自适应快速傅里叶卷积（AFFC）聚合全局拓扑。补全后的草图随后由部分草图编码器（PSE）通过门控机制编码为层次化特征嵌入

数据集与评估指标

由于长期地质退化和人为活动，保存完好且适合扩散模型训练的壁画极为有限。我们从两本实物出版物《敦煌壁画修复集》和《初见敦煌》中构建了数据集，包含高质量壁画及其对应草图。为与基于参考图的修复方法[28]进行公平比较，每幅壁画均配有一幅风格或主题一致的参考图像。最终

结论与未来工作

本研究的核心目标是开发一种面向实际考古场景的结构感知壁画修复框架，解决严重壁画退化导致的草图退化和结构信息丢失问题。为此，我们提出了MuralPaint——一种集成渐进式草图推理与草图调制扩散的两阶段框架，在整个修复过程中显式引入结构先验。通过首先恢复连贯可靠的

作者贡献声明

余哲：写作——审阅与编辑，写作——初稿撰写。余文航：软件。瞿建国：构思。张若伊：验证。王俊：监督指导。余振华：可视化。彭金叶：资源提供。

利益冲突声明

作者声明不存在可能影响本文所述工作的已知竞争性经济利益或个人关系。

致谢

本工作得到了国家自然科学基金（编号：62471390）；国家重点研发计划（编号：2024YFF0907600）；陕西省重点研发计划（编号：2024GH-ZDXM-44）；陕西省博士后研究资助（编号：234012300004）的支持。

余哲|余文航|瞿建国|张若伊|王俊|余振华|彭金叶