通过边缘匹配模块增强型3D单目重建用于再现类文化遗产

《Journal on Computing and Cultural Heritage》：Enhanced 3D Monocular Reconstruction of Relief-Type Cultural Heritage via an Edge-Matching Module

数字三维重建中，针对低曲率边缘细节重建不足的问题，提出边缘匹配模块与多任务学习框架结合的创新方法，通过约束边缘区域深度估计实现高精度浮雕修复，并在四个不同文化遗产遗址测试中验证其有效性和泛化能力。

　　

摘要

世界各地的历史遗迹中常常存在受损的浮雕，因此迫切需要高效的数字3D重建方法来进行必要的修复工作。通过使用单目深度估计技术，可以利用一张包含损伤前信息的旧照片来恢复浮雕中缺失的部分。然而，由于深度值的压缩，重建那些位于低曲率边缘处的复杂细节颇具挑战性。为了解决这个问题，我们提出了一种新的边缘匹配模块，该模块能够在边缘区域限制深度估计任务，并在多任务学习框架中与深度估计一起进行训练。这一模块使网络能够专注于受损浮雕区域的三维结构细节，从而实现更加精细的3D重建效果。我们在四个文化遗产遗址上评估了该方法的有效性和零样本泛化性能。这些遗址在损伤程度、风格特征以及用于推理的旧照片的年代和质量方面存在差异。此外，为了提高所提出模型的泛化能力，我们还引入了一种补丁投票算法，该算法使网络能够处理不同尺度的旧照片，从而略微提升了浮雕重建的准确性。