《AUTOMATION IN CONSTRUCTION》:Bridging the BIM-to-scan gap: Physically grounded virtual scanning and hierarchical unsupervised domain adaptation for point cloud semantic segmentation
编辑推荐:
•无监督领域自适应技术使得无需手动标注即可实现扫描到BIM的转换。•基于物理原理的虚拟扫描能够缩小合成数据与真实数据之间的差距。•多级特征对齐技术可确保室内场景的分割更加精准。•为支持标准化研究,相关团队发布了可复现的BIM数据集。引言在建筑、工程和施工行业中,建筑信息模型已成为
- •
无监督领域自适应技术使得无需手动标注即可实现扫描到BIM的转换。
- •
基于物理原理的虚拟扫描能够缩小合成数据与真实数据之间的差距。
- •
多级特征对齐技术可确保室内场景的分割更加精准。
- •
为支持标准化研究,相关团队发布了可复现的BIM数据集。
引言
在建筑、工程和施工行业中,建筑信息模型已成为生命周期信息管理的重要工具。以往的研究从不同角度探讨了BIM的应用。例如,有研究着眼于协作式信息管理,以改善项目参与方之间的信息交流[1];还有研究致力于基于模型的项目交付方式,以此提升施工协调性与决策效率[2]。另有研究则关注生命周期数据整合,旨在确保设施管理过程中的信息连贯性[3]。在该领域中,一个重要的任务就是根据现有建筑的扫描数据创建竣工BIM模型。这类模型通过保留可靠的资产信息来为设施管理提供支持[4]、[5],还能通过记录现有状况来辅助翻新项目[6],同时为构建数字孪生体提供几何与语义基础[7]。对这些点云进行语义分割,识别出墙体、楼面和柱子等元素,是至关重要的前提,因为其精度直接决定了最终竣工模型的准确性。尽管深度学习方法在这一领域取得了显著成果,但它们通常依赖于大规模的带标注点级数据集。各类大规模基准数据集极大地推动了3D语义理解的发展。ScanNet[8]提供了带有密集语义标注的大规模室内RGB-D数据集,SemanticKITTI[9]则提供了用于点级分割的大规模室外LiDAR基准数据集,而S3DIS[10]则建立了一个广泛使用的室内场景分割基准。
为解决标注难题,利用合成数据成为一种极具前景的替代方案。建筑、工程和施工行业尤其能从这种方法中受益,因为现有的设计阶段BIM模型能够提供大量干净且标注完备的合成数据[11]。然而,这些理想化的合成点云(源领域)与现实世界的扫描数据(目标领域)之间存在显著差异,后者往往存在噪声、数据不完整以及点分布不均的问题。以往的研究表明,实现合成数据向真实数据的转换仍然面临诸多挑战。例如,Yi等人[12]指出,不同的感知机制会显著影响跨领域转换的效果;Xiao等人[13]则分析了合成数据与真实数据在密度上的差异所带来的影响;Tang等人[14]研究了遮挡导致的缺失观测值所造成的影响,而Yang等人[15]则证明,不完整的感知覆盖也会导致领域差异。
因此,当前的关键挑战在于弥合这一特定且与物理现象相关的从设计BIM模型到真实扫描数据之间的差距。为此,人们提出了无监督领域自适应技术,旨在将带标注的源数据中的知识迁移至无标注的目标扫描数据上。
目前用于3D点云的无监督领域自适应方法主要分为两类:对抗训练方法[16]和自我训练方法[17]、[18]。对抗训练方法试图学习与领域无关的特征,但往往存在训练不稳定等问题,而且由于在全球层面强制进行对齐,还可能混淆不同类别的细节[19]、[20]。自我训练方法则利用模型对目标数据的预测结果作为伪标签,虽然效果较好,但却对初始模型的质量极为敏感[21]、[22]。更重要的是,现有研究大多将这种领域差异视为特征空间中的抽象统计偏差,而忽视了这种差异背后的物理成因,尤其是激光扫描过程中的各种机制。光束发散、视线遮挡以及扫描模式等因素都会产生结构性误差,仅靠特征层面的对齐很难消除这些误差。传感器参数、遮挡情况以及点密度等方面的固有差异,都是现实世界中数据采集方式的直接体现,而目前的自适应算法并未充分考虑到这一点。
为克服这些局限,本文提出了一种将领域差异分解为两个相互关联部分的BIM到扫描数据的无监督领域自适应处理流程。第一部分是数据获取层面的差异:合成BIM点云在几何形态上是完整的,而真实扫描数据则受到可见性、遮挡以及非均匀采样等因素的影响。第二部分则是即使使用了更贴近实际的源数据后依然存在的表示层面差异。基于此,我们的框架结合了一个基于物理原理的源领域数据生成模块——虚拟扫描策略优化模块VSSO,以及一个分层自适应网络HACS-Net。VSSO通过生成类似扫描数据的带标注点云来缩小源领域的差异,而HACS-Net则通过多个解码层逐步消除剩余的跨领域差异,并借助基于一致性的自我训练方法充分利用无标注的目标扫描数据。
为推动该领域的进一步研究,本文还为所使用的S3DIS场景创建了对应的BIM模型,作为资源贡献提供给相关研究者。这一数据集层面的贡献有助于为BIM到扫描数据领域自适应研究建立更加可复现的测试环境。
本文的主要贡献如下:
- •
本文提出了一种名为VSSO的考虑覆盖范围的虚拟扫描策略,该策略能够借助几何可见性及覆盖范围信息来确定并优化扫描器的视角,从而生成带有真实遮挡模式和非均匀密度分布的带标注源点云,而非采用理想化的均匀采样方式。
- •
本文设计了专门用于BIM到扫描数据转换的HACS-Net网络。该网络的设计理念源于这样一个观察:即便使用更真实的源数据,领域差异依然会存在于多个表示层次上,因此该网络结合了基于解码器特征的分层对抗式对齐机制以及均值教师自我训练方法,而非仅依赖单层对齐。
- •
本文为所使用的S3DIS场景提供了对应的BIM模型。在此文中,高保真度的BIM模型指的是那些能够保留房间尺度几何结构、语义化的建筑元素,并具备足够的空间完整性,从而便于进行虚拟扫描和点级标签迁移的模型,但这并不意味着这类模型能与实际竣工模型完全一致。
- •
在S3DIS数据集上的实验结果表明,所提出的处理流程相较于常见的无监督领域自适应基准方法具有更好的性能,而消融实验也证明了,真实的源数据生成与分层自适应机制在缩小BIM到扫描数据之间的差异方面发挥着互补作用。
章节概要
关于BIM到扫描数据领域差异的相关研究
本节回顾了与本文相关的现有研究成果。首先介绍了扫描到BIM应用场景下的基于深度学习的点云分割方法,接着探讨了如何利用合成数据来缓解数据标注难题以及由此产生的领域差异问题。最后,还对现有的点云分割无监督领域自适应技术进行了总结,以便为本文提出的方法定位。
所提出的BIM到扫描数据转换框架
本节详细介绍了从合成BIM数据到真实扫描数据的无监督领域自适应框架。该方法从两个互补的角度来解决领域差异问题:数据层面的模拟处理以及模型层面的自适应调整,如图1所示。首先,引入VSSO模块,通过模拟真实的 数据采集过程,包括处理遮挡现象以及非均匀密度问题,从而从BIM模型中生成符合实际情况的源点云。其次,介绍HACS-Net网络作为
实验分析
为验证所提出框架的有效性,本文进行了大量实验,并将其与多种先进的点云语义分割无监督领域自适应技术进行了对比。本节详细介绍了实验设置,包括所使用的数据集、评估指标以及实现细节,随后会对实验结果进行全面分析。
讨论
本节探讨了所提出框架的意义与局限性。讨论内容涉及物理层面的源领域数据生成与表示层面自适应方法的相对重要性、BIM到扫描数据转换过程中仍存在的挑战,以及未来研究的可能方向。
结论
本文针对BIM到扫描数据处理流程中一个实际但尚未得到充分研究的课题——即语义分割领域的无监督领域自适应问题进行了探讨。通常情况下,基于经过完美标注的BIM模型生成的合成点云训练出的模型,往往由于数据采集过程中产生的物理特性带来的误差,而无法很好地应用于真实扫描数据。为无需任何目标领域标注即可弥合从设计模型到实际竣工模型之间的差异,本文提出了一种整体框架,旨在从数据层面以及
CRediT作者贡献说明
李璐平:论文撰写——初稿编写、方法设计、概念构思。关东汉:论文撰写——初稿编写、形式化分析、数据整理。苏星:形式化分析。李超:资源提供。岳洪哲:研究调研。金忠明:论文撰写——审阅与编辑、课题指导。华显生:论文撰写——审阅与编辑、课题指导。
利益冲突声明
作者声明,他们不存在任何可能影响本文研究结果的已知利益冲突或个人关系。
致谢
本项工作得到了上海市经济信息化委员会“人工智能用于科学计划”项目的资助(项目编号:2025-GZL-RGZN-BTBX-01003)。
李璐平|关东汉|苏星|李超|岳洪哲|金忠明|华显生