语义引导与几何增强的免训练桥梁点云实例分割

《AUTOMATION IN CONSTRUCTION》：Semantic-guided and geometry-enhanced training-free instance segmentation of bridge point clouds

　　

## 摘要要点

- 一种无需任务特定训练或微调的桥梁点云实例分割免训练框架。
- 通过熵选择视角提供语义引导，并结合层次化自提示实现多视图2D到3D分割。
- 通过超点融合和基于图连接的实例分割实现几何增强。
- 在三个数据集上对14座真实桥梁的实验结果表明，该方法在语义分割和实例分割方面均具有竞争力。

## 引言

桥梁基础设施的数字化已成为现代土木工程的关键优先事项，它通过建筑信息模型（BIM）和数字孪生技术实现了高效的检查、维护和结构健康监测[1,2]。桥梁数字化的一个基本前提是桥梁点云的实例分割。实例分割为每个点分配一个语义类别和实例标识，从而能够识别和划分各个结构组件。这为下游的桥梁评估、管理和BIM重建提供了几何和语义信息。

尽管三维实例分割已在计算机视觉领域得到广泛研究，但大多数高性能方法均基于监督学习，需要大规模标注数据集进行模型训练。此类方法在数据丰富的领域（如室内场景[3,4]和自动驾驶[5,6]）中取得了令人瞩目的结果。然而，它们在桥梁点云中的直接应用仍受到限制。桥梁场景规模庞大且结构复杂。此外，实例级桥梁点云标注的制作成本高昂，且带有实例标签的公开桥梁数据集仍然稀缺。这些因素使得监督实例分割难以在实际桥梁数字化场景中部署。

近期综述[7,8]已强调了二维视觉基础模型在减少对任务特定训练依赖方面的潜力。代表性模型包括SAM[9]和SegGPT[10]，而SEEM[11]和OneFormer[12]进一步拓展了通用图像分割。受此能力启发，近期研究探索了将二维基础模型扩展到三维场景理解。CLIP[13]提供了可迁移的视觉表示以实现跨模态迁移。SAM3D[14]将Segment Anything范式扩展到三维场景，文献[15]中的方法将基础模型与神经辐射场结合以实现三维分割，SAI3D[16]则针对三维实例分割。后续研究涉及视角一致性[17]、开放词汇理解[18]和三维提示定位[19]。一个常见的流程是将三维点云渲染为多视图图像，应用二维基础模型获取分割掩膜，然后将掩膜反投影到三维空间。这一范式为三维分割提供了一条有前景的免训练路径，但也引入了新的挑战，包括视角依赖误差、跨视图掩膜不一致以及反投影后的几何连续性不完整。

在三维桥梁场景理解方面，近期研究探索了基于基础模型的点云分割。文献[20,21]中的方法采用二维到三维的提升策略，而文献[22]进一步引入了视觉提示和跨视图传播以实现桥梁语义分割。然而，这些方法仍存在关键局限性。首先，它们完全依赖图像语义推断，而忽视了三维点云的固有几何特征。因此，需要点进行级别的几何后处理以进一步提取局部几何特征、细化边界并缓解实例碎片化。其次，在二维图像渲染阶段，现有研究关注投影清晰度和分辨率，缺乏对这些渲染视图中如何全面捕获结构组件信息的讨论。最后，虽然学术界广泛使用若干公开桥梁点云数据集，但这些数据集通常缺乏公开的实例级标注。因此，现有评估几乎都建立在语义指标之上，对于实例分割性能的全面评估仍然固有地不足。

针对上述问题，本研究提出了一种语义引导和几何增强的桥梁点云实例分割免训练框架，该框架不需要任务特定训练或微调。具体来说，它使用一个轻量级的手工构建提示库（由提示图像及对应的组件掩膜组成）来引导基础模型推理。首先通过组件级视觉提示引入语义引导，指导SegGPT在选定的多视图渲染图像上生成语义掩膜。视角选择和提示增强用于保留信息丰富的桥梁组件投影并提高跨视图语义一致性。然后将所得的二维语义掩膜提升回三维，为后续桥梁组件实例分割提供语义先验。为增强几何连续性，根据局部几何相似度将桥梁点云划分为超点，使具有相似几何属性的点被分组为局部连贯的单元。提升后的二维语义掩膜在超点级别进行融合，并构建语义引导的超点图以实现实例划分。在此过程中，图连通性分析将视角依赖的二维语义掩膜转化为几何上连贯的三维组件实例。

本文并未将多视图提升、提示和基于图的划分视为孤立步骤，而是将语义引导和几何增强组织为一个统一的面向桥梁的工作流。本文的主要贡献总结如下：

(1) 桥梁点云实例分割的免训练框架。该框架不需要任务特定模型训练或微调。使用轻量级的手工构建提示库引导基础模型推理。这为难以获取大规模实例级标注的桥梁场景提供了一种实用解决方案。

(2) 从提示驱动的二维推断到三维实例分割的语义引导。基于熵的视角选择用于保留信息丰富且实例一致的二维输入，以实现多视图图像渲染。进一步设计了层次化掩膜融合自提示策略，以融合RGB图像和深度图像的语义掩膜，提高SegGPT的分割性能和跨视图一致性。然后将掩膜提升到三维作为后续桥梁组件实例分割的语义先验。

(3) 通过超点融合和基于图连接的实例分割实现几何增强。首先根据局部几何相似度将离散桥梁点云划分为超点。然后在超点级别融合提升后的二维语义掩膜。构建语义引导的超点图，并进行图连通性分析以分离桥梁组件实例。这种超点-图设计将几何一致性纳入三维实例分割，有助于减少直接点级二维到三维反投影导致的边界碎片化。

本文其余部分组织如下。第2节综述相关工作，第3节详述所提方法，第4节展示实验和综合结果。第5节讨论研究结果并指出未来研究方向。最后，第6节总结全文。

## 相关工作

既有桥梁的维护和管理已引起越来越多的关注。一个代表性的Scan-to-BIM工作流程使用非接触传感技术获取三维点云以实现桥梁数字化建模。这些技术已被应用于桥梁检查和损伤检测[23,24]、基于数字孪生的维护[25]以及结构评估和重建[26,27]。然而，准确的桥梁点云解释仍然是此过程中的关键瓶颈。

## 方法

本工作提出了一种基于SegGPT的语义引导和几何增强的桥梁实例分割免训练框架。整体流程如图1所示。给定一个三维桥梁点云P，该方法首先根据局部几何特征将其过度分割为一组超点$S_i, i=1, N_s$。为弥合模态差异，我们采用基于熵的视角选择（第3.1节）渲染一组实例一致的多视图图像$I_i, D_i \in \mathbb{R}^i, i=1, N_r$，其中$I_i$和$D_i$……

## 实验与结果

实验在三个真实桥梁点云数据集上进行，以评估所提框架的有效性和泛化能力。首先描述实验设置，然后分析分割性能、提示来源泛化性、消融实验结果和参数敏感性。

## 讨论

本文提出了一种语义引导和几何增强的桥梁点云实例分割免训练框架。该框架无需任务特定训练或微调，集成了提示引导的二维语义推断和基于超点的三维几何细化。基于熵的视角选择和层次化掩膜融合自提示提供了来自多视图渲染图像的更加一致和具有信息量的语义线索，从而为后续提供语义引导……

## 结论

本文提出了一种语义引导和几何增强的桥梁点云实例分割免训练框架。该框架使用提示引导的基于二维基础模型的推断从选定的多视图图像生成语义线索，并进一步引入超点级几何细化以获得连贯的三维组件实例。此外，为三个真实数据集中的14座桥梁标注了实例标签，为评估提供了基准……

## CRediT作者贡献声明

马晓晓：写作——审阅与编辑，写作——初稿，方法论，调查。周旭红：监督，项目管理，资金获取，概念化。刘杰鹏：验证，监督，资源，项目管理，调查，资金获取。曾燕：写作——审阅与编辑，可视化，验证，方法论，形式化分析，概念化。王树山：可视化，资源，数据整理。胡卫东：验证，数据……

## 利益冲突声明

作者声明不存在已知的竞争性经济利益或个人关系，这些利益或关系可能影响本文所述工作的客观性。

## 致谢

作者感谢国家自然科学基金（资助号52130801、52595692和U25B20211）的资助。

马晓晓 | 周旭红 | 刘杰鹏 | 曾燕 | 王树山 | 胡卫东 | 魏刚涛