从场景到孪生：面向水利工程多尺度数字孪生的细粒度空间模型即时生成

《AUTOMATION IN CONSTRUCTION》：Scene-to-Twin: Just-in-time generation of fine-grained spatial models for multiscale digital twins in hydraulic construction

　　

• •
  提出一种面向水利施工数字孪生的快速多尺度"场景到孪生"框架。
• •
  P2-refine YOLO11-seg提升了分割与跟踪性能，指导无模态补全。
• •
  基于PBR纹理的单视角三维重建实现机械设备的频繁更新。
• •
  观测约束的跨尺度融合方法已在实际水利项目中验证。

引言

数字孪生通过连接物理资产与其不断演化的数字表示来支持状态感知、基于仿真的分析以及数据驱动的决策制定 [1]。在建筑领域，数字孪生将应用目标与使能技术及数据需求相连接 [2]，并扩展数字表示以支持建模、可视化、监测和决策制定 [3]。施工数字孪生不仅仅是静态的几何复制品，而是面向应用、数据驱动的表示，集成了感知、信息结构和持续更新的现场状态。水利应用通过集成数据和模型来支持流域管理和灾害缓解 [4]，并支持动态大坝安全评估 [5]，体现了这一角色。场景重建、场景更新和数字孪生功能代表了不同层次的表示与使用。具体而言，重建创建几何和外观模型，而更新将变化的元素与现有虚拟场景同步；施工综述将这些功能置于跨越不同项目阶段的应用和实施框架中 [6,7]。数字孪生功能利用更新后的场景进行监测、解释、仿真和工程决策制定，由感知、处理和可视化技术支撑 [8]。这一区分在水利施工中尤为重要，因为大型户外作业区、恶劣的环境干扰和异构目标既需要稳定的现场级上下文，又需要及时表示机械设备状态的变化。

水利施工中的现场级重建通常依赖于地面激光扫描、无人机摄影测量及相关测量流程。地面激光扫描研究已系统考察了施工环境中实现充分覆盖和几何精度的扫描规划策略 [9]。基于无人机的竣工测量已展示了航空摄影测量高效获取大规模几何信息的能力 [10]。这些方法提供精确的几何和广泛的覆盖，仍然是对地形、结构、道路和工作平台进行周期性记录的重要工具。然而，重复的现场部署、采集规划和下游重建限制了它们在已重建的现场模型内频繁更新机械设备状态的适用性。因此，每当机械设备的位置、姿态或外观发生变化时，重建完整现场将导致运行效率低下。

基于相机的观测为设备级更新提供了补充信息源。固定监控摄像头和移动设备成本低廉、部署广泛，能够提供频繁的视频流。它们的外观线索，包括纹理、边界和上下文信息，对于监测和局部资产生成很有用。ORB-SLAM3等视觉SLAM系统展示了视觉和视觉惯性观测在相机定位和环境建图方面的潜力 [11]。运动恢复结构和多视角立体同样为从图像序列重建几何提供了重要基础。然而，这些基于相机的流程在遮挡、弱纹理或重复纹理、水面反射、光照变化、泥浆污染和移动设备条件下性能可能会退化。这些条件造成了部署效率与重建可靠性之间的权衡。

最近的单视角图像到三维方法提供了一种实用手段，用局部设备更新来补充现场级重建。例如，Wonder3D从单张图像生成多视角颜色和法线信息以支持带纹理的三维重建 [12]。当目标具有固定配置或仅需要近似可视化时，标准BIM模型和通用资产库仍然有用。语义建筑孪生研究进一步展示了如何扩展基于BIM的信息模型，以支持物理实体、数字表示和施工信息之间更丰富的交互 [13]。现有的施工数字孪生框架强调实时建筑环境监测 [14] 以及规划、调度和执行的同步 [15]。语义工作流程框架利用异构现场数据来解释施工状态 [16]，而同步管理路线图则将数字孪生应用扩展到协同施工活动 [17]。然而，这些研究并未涉及观测特定的设备资产的快速生成和配准。在活跃的水利施工现场，设备表现出依赖于观测的状态，包括姿态变化、部分遮挡、视场截断、表面污染、临时附件以及与周围地形或设备的交互。直接插入预定义模型无法完全表示这些状态。因此，单视角重建作为观测驱动的设备更新步骤，保留了当前图像中的轮廓、可见结构、外观和姿态相关线索，并支持后续的轮廓约束对齐。然而，应用这一策略涉及三个相关联的挑战：不完整的设备观测必须首先得到改善；然后必须从有限的视觉证据中生成可用的带纹理资产；最后，生成的资产必须在尺度、方向、位置和地面接触方面与现场级模型一致地配准。

为应对这些挑战，本研究提出了Scene-to-Twin，一种面向水利施工数字孪生中设备导向场景更新的多尺度框架。无人机衍生的现场级模型提供相对稳定的空间参考，而监控影像提供动态设备的当前观测。该框架连接了P2-refine实例分割、轨迹引导的无模态补全、单视角设备重建、PBR纹理生成以及观测约束的跨尺度融合。在本研究中，即时建模指的是在分钟级时间尺度上生成并集成选定设备资产，该尺度与施工监测和工程解释兼容。主要贡献如下：

• (1)
  提出了一种面向设备导向场景更新的Scene-to-Twin工作流程。它将无人机衍生的现场级模型的周期性更新与监控衍生的设备级资产的更频繁更新分离开来，从而避免了对完整施工场景的重复重建。
• (2)
  开发了一种基于监控的观测补全方法，将P2-refine四尺度分割头与多帧轨迹关联以及轨迹引导的无模态补全相结合。该方法改善了遮挡、尺度变化、杂乱和图像边界截断条件下的以对象为中心的观测，并为下游资产生成提供了更稳定的输入。
• (3)
  建立了一种观测约束的设备重建与跨尺度融合方法。补全后的设备观测被转换为带纹理的局部资产，并通过图像-场景对应关系、轮廓一致性、地面接触约束和几何正则化与现场级模型进行配准。所形成的工作流程将当前监控证据与设备级数字孪生场景更新联系起来。

章节摘要

相关工作

本节回顾了与施工环境中数字孪生和三维重建相关的先前研究。讨论围绕与所提出方法技术流程对齐的三个方面的内容展开：(i) 施工场景的数字孪生建模技术，(ii) 施工现场几何重建技术，以及 (iii) 用于局部资产建模的单视角图像到三维生成。

方法论

本节介绍面向水利施工数字孪生中设备导向场景更新的Scene-to-Twin方法论。第3.1节阐述跨尺度更新问题并总结工作流程。第3.2节描述了设备感知、轨迹引导的无模态补全、单视角重建和PBR纹理生成。第3.3节介绍了生成的设备资产与无人机衍生的现场级模型的配准与融合。

应用与案例研究结果

为评估所提出框架在实际水利施工中的实用性，利用从活跃水利施工现场收集的现场数据进行了案例研究。实验设计旨在检验所提出的工作流程是否能在典型水利施工条件下支持设备感知、单视角设备生成和多尺度场景集成，包括长距离监测、大范围空间覆盖、频繁遮挡以及……

讨论

以下讨论Scene-to-Twin框架的适用性、工程意义以及尚存的挑战。

结论

本文提出了Scene-to-Twin，一种将基于监控的感知和单视角设备生成与无人机衍生的现场级模型相连接的设备导向框架。该方法将地形和结构上下文的相对缓慢更新与动态设备资产的更频繁更新分离开来。其特定于本研究的贡献在于将P2-refine分割、轨迹引导的无模态补全、观测驱动的设备生成和约束引导的跨尺度……

数据与代码可用性

监控视频、无人机影像、现场级模型及相关标注是通过一项合作工程项目收集的。这些材料的所有权和版权与项目业主共享。作者获授权将其用于科学研究和学术发表，但不得将其作为公开数据集重新分发。因此，完整数据集不公开提供。作者为复现主要处理而开发的核心代码以及……

CRediT作者贡献声明

杨浩：撰写——初稿、方法论、概念构思。曲晓峰：撰写——审阅与编辑、方法论。吴滨平：调查、数据管理。张军：撰写——审阅与编辑、监督、资源、概念构思。梁洪阳：撰写——审阅与编辑。于鹏：调查。

资金资助

本工作得到了国家自然科学基金重点项目（项目编号 52494970）及其子项目（项目编号 52494975、52494973）、国家自然科学基金（项目编号 U24B20111）以及天津市科技计划项目资助（项目编号 24ZXZSSS00380）的支持。

利益冲突声明

作者声明不存在任何已知的竞争性经济利益或个人关系，这些利益或关系可能影响本文所报告的工作。

杨浩|曲晓峰|吴滨平|张军|梁洪阳|于鹏