敦煌壁画修复的多阶段渐进式推理方法

《Digital Signal Processing》：Multi-stage Progressive Reasoning for Dunhuang Murals Inpainting

敦煌壁画修复中，针对传统图像填补方法在结构细节平衡上的不足，提出多阶段渐进推理网络（MPR-Net）。该网络通过结构特征推理网络（SFR）全局分析框架，结合纹理特征推理网络（TFR）局部重建细节，并采用多尺度特征聚合模块（MFA）优化跨尺度特征融合，有效提升严重退化壁画修复的准确性和视觉一致性。

　　

刘文杰|史玉清|杜世强|刘宝凯|李家成|王建华

教育部语言与文化计算重点实验室，中国国家信息技术研究院，西北民族大学，兰州，甘肃，730030，中国

摘要

敦煌壁画被联合国教科文组织列为世界文化遗产（WCH），是无可替代的文化财富，但长期受到严重侵蚀。现有的修复方法虽然在某种程度上有效，却常常无法在壁画的整体结构和细节之间取得平衡，导致修复后的部分显得模糊或视觉上不协调。为了解决这些问题，我们提出了一个多阶段渐进式推理网络（MPR-Net）。该网络借鉴了传统的手工修复技术，由两个专用子网络组成：结构特征推理网络（SFR），专注于基础结构的恢复；以及纹理特征推理网络（TFR），用于细化复杂的纹理细节。通过多尺度特征聚合模块（MFA），我们的模型确保了不同尺度特征的无缝融合，从而提高了修复过程的准确性和丰富性。与其他最先进的方法相比，所提出方法在图像修复方面的有效性得到了定量和定性的验证。

引言

敦煌壁画因其卓越的历史、艺术和文化价值，被认为是世界文化遗产中最重要的古代壁画艺术典范之一。它们的损坏归因于自然因素，如辐射、沙尘、湿度和极端温度，这些因素导致了壁画的损坏和原有质量的丧失。图1展示了不同类型的受损壁画。过去，人们采用手工修复技术填补壁画中的缺失区域，但这存在几个缺点：首先，这种方法存在风险，可能会损坏壁画表面；其次，耗时且需要高超的技艺；最后，成本高昂且不可逆。因此，文化遗产保护界现在更加谨慎地使用手工修复技术，并正在探索其他方法，如数字修复，利用计算机软件来重现缺失部分。在这一领域，王等人[1]开发了一种用于修复古代壁画中破损人脸的语义学习修复框架。杨等人[2]采用数据融合方法，结合Dempster-Shafer理论改进了Criminisi修复算法的优先级函数，并研究了敦煌壁画中颜色变化和人为损坏的修复问题。李等人[3]提出了先结构后纹理的修复策略，通过人机交互实现数字修复。Jaidilert等人[4]提出了一种计算机辅助修复框架，结合了划痕检测程序和基于修复程序的模型优化。曹等人[5]基于Criminisi算法开发了自适应样本块和局部搜索（ASB-LS）算法，用于修复宋朝开化寺壁画的剥落问题。刘等人[6]设计了一种新型边缘检测器，结合自注意力机制和卷积技术生成敦煌壁画的线描图。

近年来，基于深度学习的图像修复技术取得了显著进展，被应用于虚拟壁画修复领域。为应对这一领域的复杂挑战，人们开发了多种创新方法。例如，王等人[7]提出了一种用于Thanka壁画修复的方法，采用多尺度自适应部分卷积和笔触模拟技术。同样，曹等人[8]引入了一种基于一致性增强的生成对抗网络，用于修复五台山壁画。此外，陈等人[9]提出了一种称为PCSW的图像修复方法，通过部分卷积和滑动窗口方案修复数字敦煌壁画。这些研究反映了为解决壁画修复特定问题而探索的各种深度学习解决方案。

另一方面，Schmidt等人[10]结合超分辨率和去模糊技术恢复了褪色的洞穴壁画。对于敦煌莫高窟，王等人[11]开发了一种基于线描图的修复方法。余等人[12]使用端到端网络和部分卷积技术修复洞穴壁画，采用两种掩膜类型来模拟常见的损坏模式。Ciortan等人[13]借鉴艺术家的工作方式，提出了一个多阶段框架，遵循“先线条、再调色板、最后阴影”的步骤，使用多种掩膜表示不同的损坏类型。王等人[14]提出了一种结构引导技术，平衡全局和局部特征以修复榆林和莫高窟的壁画。这些方法展示了深度学习在壁画修复领域的多样性和进步性，能够应对不同类型的损坏和修复需求。

基于深度学习的壁画修复方法取得了令人鼓舞的结果；然而，在面对严重损坏的情况时，尤其是在包含复杂语义结构和丰富纹理的区域，这些方法仍显不足。挑战主要体现在以下几个方面：

1)

对边缘结构的依赖：

传统的手绘壁画在着色前会先绘制轮廓。边缘结构对颜色块和纹理的依赖性非常重要，有效的修复方法应能对此进行建模。

2)

大规模损坏壁画的语义连续性：

对于大面积损坏的壁画，受损区域的核心内容缺乏足够的约束信息，可能导致语义不连贯和修复效果下降。

3)

多尺度壁画特征的应用：

许多现有方法未能充分利用壁画图像的多尺度特征，这常常导致输出模糊和伪影，因为特征描述不足。

4)

实际考虑和训练掩膜对齐：

训练过程中使用的掩膜往往无法准确捕捉历史壁画中的真实损坏模式，限制了这些方法的实际应用性。

应对这些挑战需要仔细考虑壁画的艺术特性和历史背景，以及与之相匹配的修复策略。与自然照片不同，手绘壁画本质上是二维的，没有明显的深度关系，而是由清晰的全局结构轮廓和局部纹理模式定义的，可靠的结构线索对于忠实恢复纹理细节至关重要。大多数现有方法采用单阶段架构，以相对统一的方式处理结构和纹理信息。在这项工作中，我们提出了一个多阶段壁画修复框架，明确区分并协调这些特征。该框架包括两个主要阶段：第一阶段对壁画进行全局结构分析，第二阶段利用恢复的结构指导局部纹理重建。为了进一步支持不同空间尺度上的特征融合，模型中加入了MFA模块。尽管这种设计增加了网络的复杂性，但显著提高了重建的准确性和视觉真实性。这使得模型能够实现更精确的壁画修复，输出更加连贯，并在处理大面积和严重损坏的区域时具有更好的鲁棒性。模型在Paris StreetView和CelebA-HQ等数据集上的强大可扩展性进一步证明了MFA的有效性。

此外，为了体现我们模型的实际应用性，我们开发了敦煌壁画数据集，并附带了真实掩膜数据集。这些真实掩膜来自受损壁画的破损区域，使我们的模型能够更准确地处理实际损坏情况。图2展示了我们方法和手工修复在真实损坏壁画中的效果。然而，由于缺乏受损壁画的真实数据，我们方法与手工修复之间的定量比较并不可行。此外，修复结果往往因修复人员的技能和个人风格而大相径庭，这使得建立统一的评估基准变得困难。从视觉上看，我们的方法接近于耗时的手工修复效果。这表明我们的方法可以作为实际壁画保护中的辅助工具。未来，我们计划与专业修复人员合作，寻找更好的方法来比较结果，并测试我们的方法在实际修复环境中的表现。

总结来说，本文的主要创新和贡献如下：

1)

我们提出了一个两阶段特征推理模块。第一阶段，SFR网络利用全局感受野恢复缺失的结构特征；第二阶段，TFR网络在局部感受野的引导下专注于细粒度壁画细节。

2)

提出了引导滤波器融合（GFF）模块，以捕捉结构和纹理特征之间的关系。该模块包含一个自适应合并操作符，用于平衡这些特征的重要性。

3)

MFA模块使用扩张卷积在不同尺度上聚合关键的语义信息。

本文分为五个部分。引言部分介绍了壁画的历史意义、修复需求和主要挑战；相关工作部分回顾了与我们的方法相关的图像修复研究；方法部分描述了每个模块的设计和作用；实验部分报告了比较测试并分析了结果；最后一部分总结了我们的贡献并指出了未来工作的方向。

相关研究

图像修复旨在用保留全局结构和局部纹理的内容填充图像中的缺失或损坏区域。壁画修复将这一理念应用于历史艺术品的恢复。在现有修复技术的基础上，我们设计了模型，以保持壁画的结构连贯性和纹理细节。

提出的方法

MPR-Net的设计灵感来自LG-Net [21]的推理机制，该机制指出全局感受野倾向于捕捉整体结构特征，而忽略细粒度纹理。相反，更局部的感受野可以有效弥补这一局限。基于这一结论，模型设计了基于循环架构的全局到局部感受野，如图3所示。在本节中，两阶段特征推理模块由

实验

首先，我们提供了实验细节、数据集和比较结果。然后，对敦煌壁画和两个基准进行了广泛的定量和定性评估实验。接下来，进行了消融实验以评估我们的模块和模型。

结论

本文提出了一种用于壁画修复的多阶段渐进式推理网络。该模型的SFR和TFR网络能够有针对性地推断壁画的结构和纹理特征，自适应合并操作符用于在建立两者依赖关系时平衡这些特征的重要性。此外，MFA模块设计用于有效利用不同尺度上的融合特征。

作者声明

刘文杰：概念化、软件开发、初稿撰写；史玉清：数据整理；杜世强：方法论、监督、撰写及审稿编辑；刘宝凯：软件开发、验证；李家成：可视化；王建华：调查

利益冲突声明

作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。