基于高斯溅射技术的数字孪生实现民用建筑的三维损伤可视化

《Engineering Structures》：Three-dimensional damage visualization of civil structures via Gaussian Splatting-enabled digital twins

　　摘要：近期在民用基础设施检测方面的进展凸显出在数字孪生体上实现精确三维损伤可视化的必要性，这比传统的基于二维图像的损伤识别方法更为重要。与传统的摄影测量三维重建技术相比，诸如神经辐射场和高斯溅射这样的现代方法在场景表现、渲染质量以及处理无特征区域方面更具优势。其中，高斯溅射因其效率较高而脱颖而出，它通过离散的各向异性三维高斯函数来表示辐射场，这与神经辐射场的连续隐式模型不同。本研究提出了一种基于高斯溅射的数字孪生方法，用于实现有效的三维损伤可视化。该方法的主要贡献包括：1）利用基于高斯溅射的三维重建技术来可视化二维损伤分割结果，同时减少分割误差；2）开发一种多尺度重建策略，以在效率与损伤细节之间取得平衡；3）能够随着时间推移及时更新数字孪生体以反映损伤变化。该方法在用于地震后检测的开源合成数据集上进行了验证，并与通过Agisoft Metashape实现的摄影测量方法以及经典的神经辐射场变体Nerfacto进行了比较，此外还在实际桥梁的无人机检测数据集上进行了进一步验证。实验结果表明，所提出的方法为民用基础设施数字孪生体中的全面三维损伤可视化提供了可行的解决方案。

引言：检测在确保民用基础设施的安全性与使用寿命方面起着关键作用。地震或飓风过后进行的灾后检测[1]、[2]、[3]对于快速评估结构完整性、识别潜在危险并指导紧急维修至关重要。而常规检测[4]、[5]、[6]则有助于及早发现逐渐出现的磨损情况，从而及时进行维护，避免重大故障发生。近年来，关于结构检测的研究越来越多地聚焦于如何利用计算机视觉技术与机器学习算法从二维图像中检测和分割损伤[7]、[8]。例如，Mondal等人[9]使用基于区域的卷积神经网络Faster-RCNN，识别了地震受损的钢筋混凝土建筑中的四种不同类型的损伤，即表面裂缝、剥落、钢筋暴露的严重损伤以及钢筋严重变形的情况。Yao等人[10]则采用DeepLabV3加神经网络的方法，对高层建筑中的裂缝进行像素级识别。Huang等人[11]基于Mask R-CNN开发了改进框架，用于在自然背景条件下优化各类桥梁构件的多类损伤检测。Li等人[12]提出了基于卷积神经网络和视觉变换器的混合U型模型，用于大坝裂缝的语义分割。然而，如果没有上下文信息[13]、[14]，比如损伤所在的具体位置，就很难准确理解损伤对单个结构整体状况的影响。

在数字孪生体上实现精确的三维损伤可视化对于准确评估已识别结构损伤的影响具有重要意义[2]、[15]。为了实现有效的三维损伤可视化，数字孪生体需要具备若干关键特性。首先，多尺度表征能力非常重要，它能够在保证计算效率的同时呈现足够的损伤细节，使数字孪生体能够在关键受损区域优先进行高精度重建，同时保持整个场景的可扩展性。其次，数字孪生体应具备错误校正功能，能够通过三维重建来修正和优化二维损伤分割结果，从而减少单视图分析所带来的不准确性。最后，数字孪生体还需要具备易于更新的特性，以便随时整合新的损伤数据，确保模型始终真实、准确地反映实际结构的状况。

目前，三维损伤可视化的一种常见方法分为两步：先使用摄影测量技术重建三维场景，再将从二维图像中获取的损伤信息投影到重建后的模型上[16]。传统的摄影测量三维重建流程，以SfM-MVS-mesh-texturing工作流为代表，通常包括四个连续的阶段[17]：（1）通过结构从运动算法进行稀疏重建，该算法通过特征对应匹配来估算相机参数并生成稀疏点云；（2）利用多视图立体视觉技术生成密集点云，该技术借助多视图的几何和光度约束来增强稀疏重建的结果；（3）通过泊松面重建生成表面网格，从密集点云中创建出封闭的三角形网格；（4）对网格进行纹理处理，将RGB颜色信息映射到几何网格上，从而生成逼真的三维模型。这种基于图像的三维重建技术在“照片旅游”[18]和“一日建成罗马”[19]等具有里程碑意义的论文发表之后得到了广泛应用。因此，市场上也出现了许多用于三维场景重建的商业软件，如RealityScan[20]、Agisoft Metashape[21]和Pix4D[22]。在结构检测领域，三维重建技术也在不断发展，其应用案例包括[23]、[24]、[25]等。将损伤信息投影到网格上通常是通过光线投射实现的，即从二维图像中的受损像素出发，沿着相机的光轴方向追踪，直至与三维模型相交。如果重建后的三维模型表面是平面的，那么就可以通过平面同胚变换简化投影过程，这种变换能够在二维图像平面与平面三维表面之间建立直接的映射关系。相关研究包括Liu等人[26]，他们将检测到的裂缝投影到混凝土反应墙和混凝土翼板的平面表面上；Chaiyasarn等人[27]则将裂缝投影到混凝土桥墩结构的三维模型的平面表面上。而对于非平面受损表面的处理，Liu等人[28]将无人机检测到的裂缝投影到弯曲桥墩的三维重建模型上，Zhao等人[29]则在通过YOLOv5在二维图像中识别出混凝土大坝的损伤后，将其投影到对应的三维模型上。

然而，这类“先进行摄影测量三维重建，再进行光线投射损伤投影”的方法存在诸多局限。首先，它们过度依赖特征点对应关系[17]，因此在没有特征或特征重复的区域无法正常工作。其次，当多张图像都拍到了相同的损伤时，就难以确定应该采用哪张图像的损伤标注——这一问题会因重叠图像中存在的损伤识别错误而变得更加复杂。尤其需要注意的是，“多数投票”策略在当前研究场景中几乎不可行：一个损伤区域通常会被十几张甚至更多的图像捕捉到，要为所有这些图像的损伤标注进行投票显然是不现实的。在实际操作中，通常会根据既定标准选择最合适的视图图像进行投影，比如那些能够最大程度覆盖受损结构部件且遮挡最少的图像[14]。第三，用于损伤投影的光线投射过程本质上属于碰撞检测问题[28]，它会产生较大的计算负担，同时还要求相机的外参具有极高的精确度。最后，较差的新视图合成能力使得在新的检测过程中，当出现新的视角时，难以方便地跟踪损伤变化。总体而言，这些限制因素影响了三维损伤可视化的准确性、灵活性和适应性。

现代替代性的三维重建技术，如神经辐射场和高斯溅射，与传统摄影测量三维重建有着显著区别，因为它们依靠神经网络或参数化模型来进行训练，以此学习场景的表征方式，而非仅仅依靠几何算法来进行特征匹配和表面重建。神经辐射场利用多层感知器隐式地将三维场景建模为连续的五维辐射函数，该函数能够根据空间位置和观察方向来确定体积密度以及与观察角度相关的RGB颜色。这使得它能够生成具有精细纹理和复杂视角依赖性光照效果的逼真新视图。不过，由于依赖连续表示方式，神经辐射场的训练效率较低。虽然后来的一些改进版本如EfficientNeRF[32]、Instant-NGP[33]、Zip-NeRF[34]和TensoRF[35]提升了计算效率，但它们仍然保留了神经辐射场的连续隐式表示模式，而这本身就限制了对几何结构的直接操作。相比之下，高斯溅射则通过一组由位置、协方差、颜色和不透明度参数化定义的三维高斯分布来明确表示场景。这种明确的表示方式使得训练过程能够更快收敛，同时也便于对几何元素进行直接操作，因此特别适合那些需要精确三维损伤可视化的应用场景。通过在重建精度、几何可操控性和训练成本之间取得平衡，高斯溅射为那些既需要高精度三维建模又需要高效数据处理的场景提供了实用的解决方案。

在本研究中，我们开发了一种基于高斯溅射的新型数字孪生方法，旨在实现三维损伤可视化，从而克服传统方法的局限性。尽管现有的高斯溅射变体——如MonoSplat[36]（基于基础模型实现从单目深度数据进行的通用重建）、FlexGS[37]（只需一次训练即可实现多场景的通用应用）以及EndoGaussian[38]（支持实时动态重建）——已经拓展了高斯溅射的应用范围，但本研究仍采用了传统的高斯溅射流程。该方法的优势体现在多个方面。首先，与传统的“先进行摄影测量三维重建，再进行光线投射损伤投影”的两步流程不同，所提出的方法将损伤可视化直接集成到基于高斯溅射的三维重建流程中，它将二维损伤分割结果作为真实值纳入损失函数中。具体做法是将从三维高斯溅射模型生成的图像与真实的分割掩码进行对比，从而使模型在多视图一致性优化过程中学习到损伤的分布情况。通过强制实现多视图一致性，这种方法有效减少了单视图分析中常见的分割误差。其次，该方法采用分层式的基于高斯溅射的重建策略，首先利用低分辨率图像生成粗略的模型，从而快速获得结构的整体概貌，进而节省计算资源。对于那些可能存在或已经确认存在损伤的区域，则使用高分辨率图像进行有针对性的微调或重新训练，以实现高精度的重建。这样一来，既能准确捕捉到关键的损伤特征，又能避免不必要的全局优化。第三，得益于高斯溅射所具备的新视图合成能力，该方法能够方便地更新三维模型，以反映损伤的发展情况。具体而言，只需将新采集的图像与历史高斯溅射模型在相同视角下生成的图像进行对比，就能识别出新出现的损伤。随后，再将新检测到的损伤通过有针对性的微调或重新训练整合到三维模型中，并通过特殊的标注将其与原有的损伤区分开来。通过这种方式，所提出的方法不仅能够确保三维模型始终与实际结构的变动保持一致，还能清晰地体现不同损伤阶段的差异——而且无需重新进行耗资源的全量重建过程。

上述三个方面的贡献表明，所提出的基于高斯溅射的方法是一种适用于民用基础设施三维损伤可视化的可行数字孪生解决方案。该方法并非试图彻底改变高斯溅射的核心流程，而是着眼于修改损失函数和训练策略等组件，使其能够更好地服务于三维损伤可视化任务。该方法的有效性已在专为地震后检测而设计的开源合成数据集上得到了验证。实验结果表明，基于高斯溅射的数字孪生方法能够准确呈现三维损伤情况，在保证计算效率的同时还能维持较高的损伤可视化精度，同时还支持无缝更新。因此，该方法为民用基础设施数字孪生体中的全面三维损伤可视化提供了一种可靠且具有可扩展性的解决方案，也为后续的结构健康评估和维护策略的制定奠定了基础。为本研究开发的Python脚本基于传统的高斯溅射框架，现已公开发布在GitHub仓库中，地址为https://github.com/shuow2/Gaussian-Splatting-enabled-digital-twins-for?3D-damage-visualization-of-civil-structures。

方法论部分：第2节介绍了该方法论，首先阐述了用于三维重建的高斯溅射框架的基本原理（2.1节）。接着介绍了如何将高斯溅射技术应用于三维损伤可视化（2.2节），说明了如何在优化过程中将损伤分割掩码纳入损失函数中，从而在具体的空间结构背景下呈现损伤分割结果。在此基础上，2.3节提出了一种分层训练策略，旨在降低计算成本。

演示部分：在本节中，我们将利用专为地震后结构检测而设计的开源合成数据集——QuakeCity数据集，来演示所提出的方法论。该数据集是基于Hoskere等人[42]、[43]提出的基于物理的图形模型生成的，它通过结合来自建筑物整体及局部有限元分析的表面损伤纹理，来创建逼真的计算机图形模型。这些图像经过渲染处理后……

实地验证部分：所提出的基于高斯溅射的三维损伤可视化方法还通过从实际桥梁检测中收集的数据集进行了进一步验证。该数据集源自Yamane等人[47]针对一座建于1959年、位于日本山梨县山区嘅钢筋混凝土梁桥所开展的研究案例。该桥的长度约为22米，宽度约为7米，整体状况良好，但也存在一些小的缺陷，未来还有进一步改进的空间。尽管所提出的基于高斯散点技术的方法能够实现可靠的3D重建和损伤可视化，但仍存在若干局限。以下简要介绍未来的研究方向。首先，目前的损伤可视化流程缺乏端到端的自动化功能，尤其是在分层重建阶段需要手动操作，包括选择与损伤相关的高斯点，以及后续的微调或重新训练。为便于在实际现场应用，需改进这一流程。

本研究提出了一种基于高斯散点技术的新型数字孪生方法，用于民用结构的3D损伤可视化。该方法的有效性已在用于地震后检测的开源合成图像数据集上得到验证，并与通过Agisoft Metashape实现的摄影测量技术以及Nerfacto这一经典的NeRF变体进行了比较。结果表明，所提出的基于高斯散点的技术通过将2D损伤分割掩模整合进来，能够准确呈现3D损伤情况。

CRediT作者贡献说明：
王硕：写作——审稿与编辑、写作——初稿、可视化、验证、软件、方法论、形式分析、概念设计。王硕：写作——审稿与编辑、写作——初稿、可视化、验证、软件、研究调查、形式分析。聂欣：写作——审稿与编辑、监督、资源提供、项目管理、资金筹措。成田康隆：写作——审稿与编辑、监督、资源提供、项目管理、方法论。

利益冲突声明：作者声明没有已知的可能影响本文所述工作的财务利益或个人关系。

致谢：作者衷心感谢中国国家自然科学基金委员会在项目编号52325802和52361165658下的支持。同时，也感谢休斯顿大学助理教授Vedhus Hoskere博士提供QuakeCity数据集的支持，东京大学副教授Pang-jo Chun博士提供用于实地验证的真实桥梁检测数据集，以及李俊华博士的帮助。

王硕|聂欣|成田康隆|托马斯·马蒂基|比莉·F·斯宾塞
中国教育部土木工程安全与耐久性重点实验室，清华大学土木工程系，北京100084，中国