一种基于语义网格结构的方法,用于从3D点云中分割室内空间 作者:Tu Yunlin, Shi Wenzhong, Sun Yangjie

《ISPRS International Journal of Geo-Information》:A Semantic-Grid Structural Completion Method for Indoor Space Segmentation from 3D Point Clouds Yunlin Tu, Wenzhong Shi and Yangjie Sun

【字体: 大 中 小 】 时间:2026年05月02日 来源:ISPRS International Journal of Geo-Information 2.8

编辑推荐:

  摘要 室内空间分割对于室内导航、3D重建和建筑信息模型(BIM)至关重要。然而,由于遮挡和噪声导致的结构空洞以及区分永久性结构元素和密集非结构杂物的难度,从非结构化3D点云中可靠地分割空间仍然具有挑战性。为了解决这些问题,本文提出了一种基于语义网格的结构完成方法,用于从3D点云中

  摘要
室内空间分割对于室内导航、3D重建和建筑信息模型(BIM)至关重要。然而,由于遮挡和噪声导致的结构空洞以及区分永久性结构元素和密集非结构杂物的难度,从非结构化3D点云中可靠地分割空间仍然具有挑战性。为了解决这些问题,本文提出了一种基于语义网格的结构完成方法,用于从3D点云中进行室内空间分割。该方法首先将基于RandLA-Net的语义分割与几何相似性校正相结合,以提高结构一致性。随后,一种语义网格结构完成算法在高度约束下检测并填充结构空洞;该过程使用2D语义占用网格和3D体素网格进行双重网格结构标记,以识别缺失的观测值并生成具有继承语义标签的合成点,从而恢复场景中的结构完整性。然后应用一种基于密度的高度差过滤方法来去除非结构杂物,并清楚地区分结构元素和场景的其余部分。最后,通过基于连接性的分割和逆距离加权标签传播来划分室内空间。在包括S3DIS、UZH和Structured3D在内的公共数据集上的实验表明,所提出的方法在大多数情况下均优于现有方法,平均F1分数达到0.99,交并比(IoU)为0.98,分割误差率(SER)为0,特别是在受遮挡影响和结构复杂的室内环境中。

1. 引言
室内空间信息是地理空间数字孪生的基本组成部分,支持诸如室内导航、应急管理和设施运营等应用[1,2,3,4]。随着地面和移动激光扫描系统的广泛部署,高密度3D点云已成为室内环境表示的主要数据源。在数字孪生范式中,语义结构化和拓扑一致的室内模型对于模拟、空间分析和决策支持至关重要[5]。这些模型通常遵循诸如CityGML 3.0[6,7]之类的标准,该标准强调使用空间导向的方法来表示多尺度的室内实体,以及IndoorGML[8],后者关注室内空间之间的逻辑和拓扑关系以支持导航。因此,从原始点云数据中可靠地提取空间独立的室内单元是生成符合这些数字孪生标准的标准化模型的前提,确保稳定和可解释的室内地理空间建模。
室内环境通常被定义为由墙壁、地板和天花板等永久性结构元素界定的封闭空间[9,10]。然而,在现实世界的扫描中,遮挡、家具杂乱和有限的视野,以及点云本身的稀疏性和噪声[11],经常引入封闭不连续性和结构空洞,这破坏了边界连续性和空间独立性。此外,密集的非结构物体往往具有与结构元素相似的几何特征,使得可靠区分变得复杂。这些问题可能导致边界碎片化、过度分割或室内空间分割的拓扑不稳定性,从而限制了其在面向数字孪生的室内地理空间建模中的可靠性。
为了将室内环境划分为单独的房间空间,室内空间分割已被广泛研究[12,13]。现有方法通常遵循两种范式。面向机器人的方法将3D观测值转换为2D占用表示,并应用形态学或基于图的分割[14,15,16,17]。早期研究使用Voronoi图来识别连通区域,并将较小的组件合并为最终的房间段[18],后续改进细化了合并策略以适应具有不同空间配置的房间[19,20,21]。基于Voronoi的表示也被用来将环境划分为机器人探索和导航的功能区[17,21],并进一步与概率模型结合以捕捉空间连接关系并提高分割的鲁棒性。其他研究使用形态学运算符在占用网格中分离连通区域,并应用基于分水岭的策略来划分房间区域[16,22],后续工作引入了交互式反馈机制来细化分割结果[23]。基于图的公式也被探索,其中空间区域及其连接被表示为图,并使用层次聚类或基于切割的优化方法进行分割[15,24]。
相比之下,建筑、工程和施工(AEC)领域的方法通常直接在3D点云上操作,并利用结构先验或语义线索来推导室内空间单元,用于建模和重建[25,26,27,28,29]。几何驱动的方法通常通过表面法线、曲率和平面结构等几何描述符来识别永久性结构元素。例如,Ocmann等人[30]使用基于法线的聚类和可见性分析提取平面结构,而Mura等人[25]将点云投影到XY平面上以检测墙壁交点并将碎片化区域合并为连贯的房间分割。Shi等人[31]通过区域生长提取地板和天花板表面,并使用墙壁结构作为房间划分的边界,Wu等人[28]进一步通过使用天花板和地板约束进行了细化。Yang等人[13,29]将点云转换为2D占用网格进行粗略分割,然后通过图割优化,并将框架扩展到多层和非曼哈顿环境[32]。同时,基于语义信息的方法利用神经网络直接从点云中学习语义和几何表示[33,34,35,36],通常结合结构或形态学处理来改进房间划分;例如,Tang等人[37]和Yang等人[38]将深度学习与形态学分析相结合来检测垂直结构,而Huan等人[39]和Shao等人[40]细化语义特征或增强结构完整性以提高分割可靠性。此外,Zhang等人[41]开发了SAM-Zero3D来无监督地细化基础掩码的3D表示。这种语义一致性的增强有效地抑制了来自家具杂乱和遮挡的干扰,为室内房间划分提供了更稳定的基础。
然而,从数字孪生集成的角度来看,像IndoorGML[8]这样的标准需要从准确的单元空间边界派生的结构化连接信息。满足这一要求仍然是一个重大挑战,因为现有方法存在两个关键限制:对由遮挡引起的结构不完整性的敏感性,以及在复杂室内环境中有效区分永久性结构元素和密集非结构杂物的难度。尽管有这些进步,上述核心挑战仍然存在,因为现有方法仍然对不完整的结构观测和杂乱的室内环境敏感。特别是,在遮挡引起的结构缺失下恢复室内空间结构以及可靠地区分永久性结构组件和密集杂物的问题尚未得到充分解决。在这种情况下,通过室内空间分割产生的分割室内单元可以直接与IndoorGML中定义的CellSpace实体相关联,而从共享的结构边界推断出的邻接关系为构建相应的连接图提供了基础。此外,分配给每个分割单元的语义标签使其能够与CityGML 3.0中的标准化空间分类对齐,从而便于将分割结果集成到数字孪生框架中。
为了解决这些挑战,本研究提出了一种以语义网格结构完成为中心的室内空间分割方法。该方法不是直接分割原始观测值,而是在空间划分之前通过语义和几何细化来强化结构表示。它首先将基于深度学习的语义分割与几何相似性校正相结合,以减轻局部误分类并提高结构一致性。然后使用语义网格结构完成算法在高度约束条件下恢复封闭连续性,从而减少遮挡引起的结构空洞的影响。随后,一种基于密度的高度差过滤方法抑制非结构杂物,同时保留永久性结构元素。最后,通过基于连接性的分析和在细化后的结构表示上的标签传播来分割室内空间,从而获得更完整和准确的室内空间分割。
本研究的主要贡献总结如下:
(1) 一种以语义网格结构完成为中心的室内空间分割方法,提高了3D点云中的分割精度。
(2) 一种基于语义的网格结构完成算法,用于恢复室内环境中的结构完整性。
(3) 一种基于密度的高度差过滤方法,用于区分主要结构元素和非结构元素。
本文的其余部分组织如下。第2节详细介绍了所提出的用于室内空间分割的语义网格结构完成方法,包括工作流程、语义对齐和细化、结构空洞的完成以及最终的分割策略。第3节展示了我们的方法在九个公共数据集上的性能;该节包括实验设置、数据集描述以及定量和定性结果的全面展示,还包括消融研究和与最先进方法的比较。第4节对第3节中呈现的结果进行了深入分析和讨论,解释了方法的性能,评估了关键参数和模块的影响,并探讨了其相对于竞争方法的优势。最后,第5节总结了本文。

2. 方法论
在本节中,我们简要介绍了第2.1节中提出的方法。第2.2节、第2.3节和第2.4节讨论了关于语义对齐和细化、语义网格结构空洞完成以及基于结构完成的室内空间分割的细节。

2.1. 概述
所提出的方法旨在分割复杂的室内空间,其工作流程如图1所示。它以使用各种扫描设备获取的复杂真实世界室内场景的原始点云作为输入,并将室内场景划分为不同的房间。与许多现有方法不同,所提出的方法设计为无需辅助输入(如扫描强度、传感器姿态信息或预定义的曼哈顿世界假设)即可操作。一旦根据场景特征设置了关键参数,整个分割过程就会自动进行。室内空间分割基于语义信息、几何特征和点云中固有的空间信息的综合利用。处理方法包括三个步骤。通过迁移学习调整预训练的RandLA-Net来进行语义对齐和细化,将点分类为主要结构、次要结构和非结构组件。为了提高语义一致性,在分类过程中结合了局部几何特征(包括表面法线),从而获得一组细化的主要结构点,用于后续分析。在细化的 Semantic 表示基础上,应用结构空洞完成来补偿由遮挡或传感器盲点引起的结构空洞。点云被离散化为2D网格和3D体素,在其中借助语义和空间信息识别和完成结构空洞,从而增强场景的结构完整性。一旦结构空洞完成,就使用基于网格的过滤方法和基于密度的高度差加权来抑制噪声并去除非结构元素。最后,通过对细化后的结构表示进行基于连接性的分析和标签传播来分割室内空间,从而获得更完整和准确的室内空间分割。
2.2. 语义对齐和细化
语义信息在识别室内场景中的永久性结构元素方面起着关键作用。然而,基于深度学习的语义分割网络(如RandLA-Net)产生的原始预测往往受到遮挡、杂乱和局部噪声的影响,导致误分类或不完整的区域。为了解决这些限制,我们采用了之前工作中引入的预处理和结构元素提取模块[42],并进一步开发了一种联合语义-几何优化方法。RandLA-Net最初在带有重新映射的语义标签的数据集上进行训练,以确保与预定义的结构元素定义一致。随后,应用几何细化程序根据局部几何相似性纠正错误的语义预测。这种联合语义-几何方法提高了结构元素识别的完整性和可靠性,从而为后续的房间实例分割提供了更稳健的输入。

2.2.1. 基于结构元素定义的语义对齐
在我们之前的研究中,使用在S3DIS数据集[43]上预训练的RandLA-Net来生成初始语义标签,作为结构元素提取的前提。在这项工作中,采用了相同的语义对齐方法来增强网络对永久性建筑组件的关注。根据Nikoohemat等人[9]提出的结构元素定义,语义类别根据它们在室内场景中的功能角色进行了重新组织。主要参与室内空间分割的元素(如墙壁、门、窗户和柱子)被视为主要结构元素;其次支持室内空间分割的元素(如天花板和地板)被视为次要结构元素;所有不参与室内空间分割的类别被分类为非结构元素。实际上,S3DIS数据集的原始13个语义类别被重新映射到这三个结构组中,并使用对齐的标签重新训练RandLA-Net。图2展示了语义对齐过程的概览。图2中,13个S3DIS类别根据它们在定义室内空间中的作用被分为主要结构、次要结构和非结构三类。2.2.2 基于几何一致性的语义优化尽管语义对齐具有许多优点,但这种方法仍然受到S3DIS注释中固有歧义的限制:某些非结构对象经常出现在结构元素附近或与结构元素共面,并且具有相似的几何特征——如平面性或垂直方向——即使在重新训练并使用对齐的标签后,也容易导致持续的错误分类。为了减轻这些错误,我们引入了一个基于几何一致性的细化步骤,该步骤利用局部几何特征来纠正语义对齐预测中的错误分类。具体来说,使用表面法向量来评估点之间的几何相似性。表面法向量的估计和随后的几何一致性评估在方程(1)-(3)中进行了表述:(1)(2)(3)在方程(1)中,每个点的局部表面几何由从其K个最近邻计算得到的协方差矩阵表示,其中表示邻域的质心。在方程(2)中,对进行特征值分解以获得特征值及其对应的特征向量。与最小特征值相关联的特征向量被定义为该点的表面法向量,表示为。最后,如方程(3)所示,评估非结构点的法向量与相邻主要结构元素的法向量之间的角度关系。使用外积来表征它们的方向一致性。表示角度阈值(以弧度为单位)。如果两个法向量之间的角度偏差小于预定义的阈值,则认为非结构点在几何上与相邻的主要结构元素一致,因此相应地重新分类。这一过程在图3中进行了说明。通过这种几何校正方法,可以有效地恢复被遮挡或模糊区域中的错误分类点,从而获得更具几何一致性的完整结构元素表示。图3. 通过强制非结构点与相邻主要结构点之间的几何一致性来重新分类语义标签。2.3 基于语义网格的结构空缺完成语义信息对于识别室内点云中的结构元素至关重要。然而,由于遮挡和有限的扫描视角,结构元素在某些区域可能会显示出缺失的观测数据。这些缺失或不完整的结构数据区域在本研究中被称为结构空缺。这种不完整的结构信息会降低房间实例分割的准确性,从而导致房间划分不够精确。为了解决这个问题,采用了一种基于语义网格的方法,将语义占用信息与基于网格的几何表示相结合,从而能够在从结构几何学派生的场景适应性高度约束下检测和完成结构空缺。引入了双网格结构标记方法来提供结构元素的稳健表示。主要结构元素被离散化为2D语义占用网格和3D体素网格。结构空缺的检测以及随后生成的合成完成点的过程在方程(4)-(6)中进行了表述:(4)(5)(6)在方程(4)中,表示体素占用状态。结构空缺被标记为1,其中2D语义网格表示结构存在,但相应的3D体素中没有观测到的点。为了确保生成的点能够有效表示缺失的结构体积,生成了一个随机坐标偏移量。如方程(5)所示,这些偏移量在网格分辨率和体素高度的范围内均匀分布。最后,如方程(6)所表述的,通过将这些偏移量应用于要填充的目标体素的中心坐标来推导出合成完成点的坐标。只有当在同一网格列中更高位置存在标记为2的观测到的结构体素时,才对这些体素应用完成操作。生成的点继承了相应主要结构元素的语义标签,确保与原始分类的一致性。如图4和图5所示,所提出的方法有效地识别了点云中的结构空缺,并通过在相应位置生成点来完成这些空缺,从而恢复了场景结构元素的完整性。图4. 由于遮挡或扫描视角限制导致的室内空间中的结构空缺。图5. 使用语义信息检测和填充室内点云中的结构空缺。2.4 基于结构完成的室内空间分割在通过语义网格结构空缺完成场景结构后,应用了考虑密度的高度差过滤,因为在非结构元素(如办公隔断和橱柜)表现出与结构元素相似的几何特征的区域中仍可能发生错误分类。为了解决这个问题,我们提出了一种自适应的、考虑密度的高度差过滤方法,该方法基于这样的假设:真正的结构区域通常表现出更大的高度差和更高的点密度。具体来说,首先将场景点云投影到水平平面上,然后将其离散化为均匀分布的2D网格单元,每个单元用于统计计算其空间范围内的点数,以获得后续的密度和高度统计数据。首先计算每个网格单元的高度差,即该单元内的最大和最小高度之间的差异:(7)其中表示网格单元的高度差,和分别表示单元内的最大和最小高度。接下来,累积所有网格单元的密度加权高度差:(8)在方程(4)中,表示单元内的点密度,通过固定网格分辨率下的点数来估计;和分别是x轴和y轴上的网格单元数量。表示场景中所有网格单元的累积密度加权高度差。基于,计算加权平均高度差为:(9)其中表示场景中所有网格单元的累积点密度,表示加权平均高度差。最后,确定识别主要结构元素的自适应阈值如下:(10)其中表示用于选择主要结构元素点的高度差阈值,是一个控制过滤敏感度的经验系数。通过这种方法,可以估计主要结构元素的高度差分布,并根据和的组合排除属于非结构元素(如办公隔断和橱柜)的点。图6展示了使用考虑密度的高度差过滤识别和提取主要结构元素的详细步骤。图6. 考虑密度的高度差过滤示意图。场景被网格划分以计算局部高度差和点密度,从而得出提取主要结构的自适应阈值。室内空间分割和标签传播从提取主要结构元素开始,定义房间边界并划定每个房间的空间范围。受到Yang等人[13]的启发,室内空间分割被构建为一个标签分配问题。在这个过程中,主要和次要结构元素被映射到2D图像上,然后使用图像代数[44]中的减法运算符进行处理,以消除房间之间的连接区域,从而确保空间独立性。随后,应用8连通分量分析来检测分隔并识别像素/单元的连通簇;每个簇代表一个独立的房间,并被赋予一个唯一的标签。初始分割结果在图7和图8中展示。随后,采用标签传播方法将标签从2D图像传递到点云中的点。位于标记区域内的点直接继承相应的标签,而对于未标记区域中的点,则使用逆距离加权插值来分配房间标签,如方程(11)和(12)所定义的。(11)(12)图7. 使用图像代数中的减法运算符分离房间。(a)次要结构元素的网格分布;(b)主要结构元素的网格分布;(c)空间独立房间的结果网格分布。图8. 通过8连通分量分析进行初始室内空间分割。(a)对房间实例的网格分布进行8连通分量分析的结果;(b)为识别的连通簇分配唯一标签;(c)基于面积的过滤以消除残余的房间间连接并细化边界。未标记点集,其中表示未标记的点。方程(11)使用距离的倒数作为权重,计算与及其相邻标记点之间的欧几里得距离。由于的邻居可能属于不同的房间实例,方程(12)计算属于每个房间标签的归一化加权概率。然后将概率最高的标签分配给,如图9所示。图9. 通过逆距离加权插值进行标签传播。虚线框标记了用于概率计算的标记邻居。该方法将房间标签分配给未标记的点;例如,点1和点2根据最高的空间信息概率被分配给房间1。3. 结果 3.1 数据集和实验设置为了验证所提出方法的可行性,我们在九个不同的室内场景数据集上进行了全面的定性和定量评估。代码实现使用C++14和Python3.8开发,利用了点云库(PCL)[45]、开源计算机视觉库(OpenCV)[46]和Open3D [47]。所有实验都在配备Intel Core i9-10900K CPU(3.70 GHz)和NVIDIA RTX 3090 GPU的标准PC上进行。这种配置提供了一个一致且可复制的实验环境,适用于评估该方法在不同室内场景中的鲁棒性和泛化能力,而无需依赖专用硬件。3.1.1 数据集评估中使用的数据集包括来自S3DIS数据集area_4的部分房间和走廊的合成和真实世界扫描数据。数据集B1–B5来自UZH [25]提供的房间检测数据集。具体来说,B1、B2和B3是使用虚拟扫描仪生成的虚拟室内场景模型,而B4和B5对应于使用Faro Focus 3D激光扫描仪获取的“Cottage”和“Office 3”的真实世界扫描。数据集C1和C2来源于国际摄影测量与遥感学会(ISPRS)[48]提供的室内场景建模基准,分别是TUB2二楼和Grainger博物馆。数据集D1来自CVPR BIM挑战赛数据集。关于这些数据集的详细信息总结在表1和图10中。表1. 测试的室内场景数据集的详细信息。图10. 测试数据集。在实验之前,所有数据集都经过了基本预处理,包括对齐以确保“向上”方向与世界坐标系的Z轴相对应,以及移除了与建筑结构无关的明显异常值。这些数据集共同涵盖了从简单到复杂的各种室内布局,房间高度和墙壁几何形状各不相同,从而提供了一个全面的测试平台来评估所提出方法的有效性和鲁棒性。3.1.2 参数所提出方法的参数详细信息在表2中提供。一旦指定,该方法就可以自动运行,无需额外的手动干预。大多数参数在不同场景中保持一致,确保分割性能的稳定性。表2. 所提出方法中关键步骤的参数定义和描述。在基于结构完成的室内空间分割阶段,关键参数包括用于填充结构空缺的填充点数量、考虑密度的高度差过滤系数,以及用于检测和填充结构空缺的网格单元大小,这控制了检测过程的粒度。此外,引入了最小检测房间面积来限制分割结果,通过移除小或碎片化的区域。3.1.3 评估指标使用评估指标来评估所提出方法生成的室内空间分割结果的准确性;我们设计了一个包括五个指标的全面评估方法:交并比(IoU)、精确度、召回率、F1分数和分割错误率(SER)。这些指标从多个角度评估算法的性能,定义如下:(13) (14) (15) (16) (17) 其中,表示在预测的房间实例中正确分类的点数,这些点也属于相应的真实房间。表示在预测的房间实例中错误包含的点,而表示应该被包含但被算法遗漏的真实房间点。公式(13)定义了IoU,它通过计算正确预测的点数与所有预测点和真实点数并集的比率来量化预测房间实例和真实房间实例之间的空间重叠。公式(14)和(15)分别定义了精确度(Precision)和召回率(Recall)。精确度衡量所有预测房间点中正确预测的房间点的比例,而召回率衡量成功预测的真实房间点的比例。公式(16)定义的F1分数(F1 Score)平衡了精确度和召回率,提供了一个全面的指标来评估分割算法的整体性能。公式(17)定义了SER,它衡量分割出的室内空间数量与真实室内空间数量之间的偏差。其中,表示分割算法产生的室内空间实例的数量,表示真实室内空间的数量。该指标计算这两个值之间的绝对差异,并通过真实数量进行归一化,从而反映了估计室内空间数量时的相对误差。

3.2. 室内空间分割结果
3.2.1. 定量评估结果
所提出方法在不同数据集上的定量评估结果总结在表3和表4中,每个阶段的相应处理时间统计详细信息见表5。总体而言,该方法在室内空间分割方面表现出一致的高性能。分割结果如图11所示,预测的室内空间正确识别了房间边界,捕捉了结构细节,并与真实情况保持一致。精确度、召回率、F1分数和IoU值在所有数据集中都保持在较高水平,表明所提出的方法能够准确识别室内空间边界,同时与真实情况保持良好的空间一致性。

表3. 所提出方法在不同数据集上的定量评估结果。
表4. C2数据集在低高度区域细化前后的分割性能。
表5. 我们所提出方法每个处理阶段的详细运行时间统计。
图11. 测试数据集上的室内空间分割结果。
*:C2的结果是通过两阶段分割过程获得的。
对于C2数据集,图12a显示了包含局部低高度区域的完整场景。我们首先对整个场景进行分割,如图12b所示。这个初步结果通常是合理的,但未能分离低高度区域内的房间,多个空间被合并为一个实例。为了解决这个问题,我们对低高度区域进行了细化分割,称为C2-Part,使用了调整后的参数。图12c展示了这种细化分割的结果。表3中报告的最终C2结果来自完整的两阶段流程。所有其他数据集仅使用初始分割进行评估。

3.2.2. 消融研究结果
进行了消融研究,以评估所提出方法中语义网格结构空洞填充模块的有效性,并研究改变密度感知高度差过滤系数对分割结果的影响。语义网格结构空洞填充模块旨在通过融合语义信息、2D占用网格和3D体素网格来重建由于传感器遮挡或扫描视角限制而缺失的场景结构。在所提出的方法中,使用默认值来填充所有测试数据集中检测到的结构空洞。在消融实验中,该参数被设置为0,意味着在分割过程中不执行结构填充。考虑到不同数据集的多样化特征,并不总是需要结构填充才能获得最佳的分割性能。因此,在B2、C1和C2数据集上评估了结构填充模块的有效性。相应的定量结果总结在表6中,视觉比较显示在图13中。

表6. 检测和填充某些场景中的结构空洞后的评估指标变化。
图13. 有无语义网格结构空洞填充模块的室内空间分割结果比较。
图14展示了语义网格结构空洞填充模块对B2场景中连接区域的影响。没有该模块时,结构空洞保持未填充状态,导致连接区域碎片化,房间边界表示不完整。应用该模块后,这些结构空洞得到有效恢复,使得连接区域更加连贯,室内结构的空间完整性得到提高。

图14. 语义网格结构空洞填充模块对B2场景的影响。(a,b) 显示了使用该模块的主要结构提取和分割结果,而(c,d) 显示了不使用该模块的结果。为了分析密度感知高度差过滤系数的影响,选择了几个具有独特结构特征的场景进行评估。图15展示了可能影响过滤过程的代表性结构条件。不同系数设置下的视觉比较显示在图16中,定量评估结果总结在表7中。图15. 特殊结构场景的示例:(a) B4场景包含倾斜的天花板结构;(b) C2-Part结构中有显著的高度变化。
图16. 调整高度差过滤系数前后房间实例分割结果的比较。
表7. 在选定场景中调整高度差过滤系数后的评估指标变化。
如图所示,增加密度感知高度差过滤系数β会导致部分结构元素(如门框)的移除,从而导致欠分割和较低的精确度、召回率、F1分数和IoU值。例如,当β设置为较高值时,检测到的区域数量减少,分割错误率显著增加。相反,降低β可以保留这些结构元素,从而准确移除房间之间的连接区域,实现更好的指标值,如图17所示。这表明适当调整β对于保持正确的室内空间分割至关重要。

图17. B4对密度感知高度差过滤系数的敏感性分析。(a) 当β设置为1.0时,红色圆圈标记的门框被部分移除;(b) 影响连接区域的移除。当β降低到0.8时,门框被保留,允许正确移除房间之间的连接区域。

3.3. 对比实验结果
我们的方法与四种代表性方法在所有室内场景数据集上的定量评估结果在图18、表8和表9中全面呈现。这些方法包括:WU等人提出的基于布料模拟滤波器和规则网格分析的分割(CSF-RGA)[49]、形态学分割(Mor)、基于距离变换的分割(Dist)和基于Voronoi图的分割(Vor)。表8总结了每种方法在九个场景中的平均评估指标值,突出了每种算法在精确度、召回率、F1分数、mIoU等方面的性能。表9提供了我们提出的方法与四种比较算法之间的处理时间详细比较。图18. 我们的方法与其他四种方法在九个室内场景数据集上的评估指标细节。表8. 所有室内场景数据集的平均定量比较结果。表9. 我们的方法与其他比较方法在所有数据集上的处理时间比较。图18展示了每个数据集的详细定量评估指标。图19展示了选定场景中的定性比较,显示了所有方法的分割结果。CSF-RGA、Mor、Dist和Vor表现出不同程度的欠分割或过分割,而我们的方法在所有数据集中实现了对所有真实房间的全覆盖。

图19. 所有室内场景数据集的定性比较。与其他方法相比,我们的方法在房间实例识别和分割过程中对房间形状的变化具有更强的适应性。此外,还在Structured3D数据集上与最先进的学习基方法RoomFormer [50]和PolyRoom [51]进行了比较,总结在表10中。由于可用点云场景的大小差异很大,将它们转换为这些方法所需的固定256 × 256图像格式将不可避免地导致结构细节的损失,从而妨碍对其性能的准确评估。因此,评估仅限于Structured3D [52],以确保公平和一致的比较。RoomFormer实现了高召回率,但引入了0.05的轻微过分割,而PolyRoom由于遗漏的分区而显示出较低的召回率。相比之下,所提出的方法取得了最佳的整体性能,F1分数为0.97,IoU为0.95,同时保持了良好的精确度。相应的视觉比较显示在图20中。

表10. 我们的方法与Structured3D数据集上的学习基方法之间的平均定量比较结果。
图20. Structured3D数据集上的定性比较。
总体而言,结果表明我们的方法在所有场景中始终保持高精确度、召回率、F1分数和IoU。与其他代表性方法和最先进的学习基方法相比,所提出的方法在结构一致性和分割完整性方面表现出色。图18、图19和图20中的可视化确认了在复杂和不规则室内空间中的稳健性能。表9中的效率分析显示,语义分割是主要瓶颈,占总时间的90%以上。C2-Initial阶段的室内空间分割步骤较慢,因为需要存储单独的房间段以进行后续细化。然而,细化阶段仅增加了5.23秒,核心结构填充仍然高效。这些结果表明,所提出的方法在准确性和效率之间取得了良好的平衡,并且适用于具有数千万个点的大型室内点云。

4. 讨论和局限性
4.1. 评估结果分析
如3.2.1节所述,所提出的方法在所有评估的数据集中都实现了一致的高分割性能。表3中报告的定量结果表明,精确度、召回率、F1分数和IoU值保持在较高水平,表明算法在准确识别室内空间点与分割结果的完整性之间取得了有效的平衡。相应地,所有数据集的F1分数都保持较高,表明整体分割性能稳健。同样,IoU值证实了预测的室内空间与真实实例之间的强空间重叠。图11中的分割结果进一步证明了所提出方法的有效性。如图所示,预测的室内空间正确地划分了房间边界,并保持了不同数据集中的场景结构布局。分割结果与真实布局保持一致,同时清晰地分隔了相邻的室内空间。此外,所有数据集的错误率均为零,因为分割出的室内空间数量与真实数量完全匹配。这一结果表明,所提出的方法能够在结构复杂度不同的场景中可靠地识别正确的室内空间数量。

在C2数据集中观察到一个特殊情况,如3.2.1节所述,场景中存在一个天花板高度显著降低的局部区域。如图12a所示,该区域在结构上与其他环境不同。由于这种结构特殊性,整个场景的初始分割(如图12b所示)在低高度区域存在欠分割,多个不同的室内空间被合并为一个实例。为了解决这种由场景几何形状引起的限制,我们采用了两阶段分割策略。在初始的全场景分割之后,我们从分割输出中自动提取出低高度区域,并对该区域进行第二次细化分割,作为专门的子集,称为C2-Part。图12c中显示的细化分割结果成功分离了该区域内的室内空间。表4中报告的相应定量改进证实,细化步骤有效地解决了由于天花板高度降低而引入的分割歧义。表5提供了详细的运行时间分解,显示语义分割是主要的计算瓶颈,通常占总时间的90%以上。跨数据集的分析表明,核心算法效率保持较高,无论点云规模如何。例如,尽管数据集B3包含6850万个点,但其核心处理步骤(不包括语义推理)仅需要29.07秒。C2数据集的运行时间较长,是由于其独特的两阶段策略,其中初始阶段将各个房间片段保存为独立文件以方便细化。尽管如此,C2的核心步骤仅需要大约1.5分钟,而细化阶段仅增加了5.23秒。这些统计数据显示,所提出的方法适用于处理具有数千万个点的大规模室内点云。

应用于每个数据集的参数设置总结在表11中。在大多数数据集中,这些参数保持一致,证明了所提出方法在多种室内环境中的鲁棒性。具体来说,所有数据集的结构网格分辨率固定为0.025米,该值由表1中报告的场景范围确定,足够细粒度以保留关键的结构细节,如薄隔板和墙壁连接处,从而为后续分割提供可靠的几何基础。填充密度设置为1,遵循极简的结构完成策略,其中每个体素的一个代表性点足以恢复拓扑连通性并填补结构空缺,而不会引入冗余数据。在几个场景中对密度感知的高度差过滤系数和房间标签分配系数进行了微调;其中,控制自适应高度阈值,并对杂乱程度和点密度敏感,其具体选择将在消融研究中进一步详细讨论。相比之下,代表功能房间的最小预期面积,其设置由表1中报告的房间规模和布局配置指导,从而在保留完整且语义上有意义的房间空间的同时抑制小碎片区域,从而提高最终分割的稳定性和连贯性。除了所有测试数据集外,该表还包括用于精细化分割的孤立子集C2-Part的参数配置,该子集对应于细化实验中考虑的低高度区域。

表11. 所有数据集和精细化子集C2-Part的提出方法的参数配置。

4.2. 消融研究
第3.2.2节报告的消融结果表明,在分割过程中维护结构连续性时,语义网格结构空缺完成模块的重要性。如表5所示,启用结构完成模块显著提高了B2场景中的分割性能,检测到的房间实例数量从1个增加到3个。这种改进主要归因于门口区域存在结构间隙。当该模块被禁用时,这些间隙阻止了高度差过滤步骤正确消除相邻房间之间的连接区域,导致实例合并。

在C1和C2中观察到的改进主要与房间之间连接处的结构空缺重建有关。如图13和图14所示,填充这些结构空缺使分割过程能够更好地保留空间边界,使检测到的房间实例数量从C1的7个增加到8个,从C2的13个增加到15个。应当注意的是,在C2消融实验中,未进一步细化C2-Part区域,以确保在移除模块前后结果之间的公平比较。

密度感知高度差过滤系数的敏感性分析进一步揭示了结构变化对分割性能的影响。由于决定了高度差过滤的阈值,它是直接影响分割结果的参数,其选择主要受场景中是否存在特殊结构条件的影响,如表1所述。在具有此类结构变化的场景中,例如B4、C1和C2,适当降低不仅有助于更有效地区分永久性结构元素和高大非结构对象,还能更可靠地识别和移除连通区域。如图16和图17以及表6所示,将系数从基线值降低可改善多个场景的分割性能。图17展示了在不同值下B4场景的结果比较,当时,两个房间之间的连通区域在过滤过程中无法可靠地识别和移除,导致相邻房间被错误地合并为一个实例;当系数降低到0.8时,门口结构得到保留,使算法能够正确识别并移除房间之间的连接区域,从而恢复正确的房间实例数量。在C1和C2-Part场景中也观察到了类似的改进,表明适度调整该系数可以使方法更好地适应结构变化,如倾斜的天花板或突然的高度变化。

4.3. 对比实验
第3.3节中介绍的对比实验展示了我们的方法与四种代表性方法以及基于学习的RoomFormer和PolyRoom在多种室内场景中的性能差异。对定量和定性结果的分析提供了每种方法的优势和局限性的见解。

CSF-RGA依赖于布料模拟过滤天花板点云来提取完整的天花板结构,使其能够有效处理倾斜的天花板和弯曲的墙壁。它在结构化数据集(如A1、B1和B2)中表现良好,精度与我们的方法相当。然而,它对不完整或不规则天花板数据的敏感性导致在更复杂的场景中出现欠分割,如67个分割房间对比74个真实实例。此外,以天花板为中心的方法限制了对更广泛结构背景的考虑,降低了在杂乱或不规则布局中的鲁棒性。相比之下,我们的方法整合了主要和次要的结构元素,并执行结构空缺检测和填充,增强了整体结构完整性,实现了所有测试场景中的准确分割。

Mor优先使用侵蚀、连通组件分析和波前传播来确保覆盖范围。虽然在长走廊或复杂拓扑的场景中实现了高召回率,但Mor的精度和IoU较低,其中广泛连接的房间倾向于合并。定量上,只有50个真实房间被正确分割,导致较高的。我们的方法通过语义对齐和细化解决了这一限制,即使在高度连接的环境中也能确保准确的房间实例划分,从而保持精度和覆盖范围。

Dist通过全局距离变换将房间中心识别为局部最大值,并通过波前传播扩展区域。尽管在开放空间中有效,但它对局部障碍物(如家具)敏感,可能会生成错误的中心并模糊边界。Dist在间接连接的环境中也难以进行边界划分。在评估中,Dist略微欠分割,70个分割房间对比74个真实实例。相比之下,我们的方法结合了密度和高度差加权来准确过滤小的非结构障碍物,提高了边界清晰度,并区分障碍物和实际房间结构。

Vor构建Voronoi图以提取关键节点(如门和通道),并基于启发式定义切割线。虽然对于抗障碍物边界识别有效,但在长走廊等开放空间中容易过度分割。依赖于启发式合并会产生碎片化区域,降低了分割质量,80个分割房间对比74个真实实例。通过应用标签分配机制,我们的方法避免了这种过度分割,确保小的碎片化区域不会对最终结果产生负面影响。

表9强调了计算效率和鲁棒性之间的权衡。虽然像Mor、Dist和Vor这样的几何驱动方法更快,但它们在复杂场景中经常失败,导致过度分割或欠分割。我们的方法需要更多时间进行语义推理,但无需手动参数调整或后处理校正即可确保拓扑正确性。对于像C2这样的复杂案例,我们方法的可靠性证明了更高的计算投资是合理的,因为它消除了手动错误校正的劳动成本。

图19中的定性比较进一步说明了这些观察结果。CSF-RGA在B5和C1等场景中由于天花板连接紧密或不完整而欠分割。Mor在长走廊场景和复杂拓扑中主要表现出欠分割,包括A1、B1、B3、B5和C1。Dist在某些长走廊和不规则场景(如B2)中表现出过度分割。对于包含具有挑战性低高度区域的C2,我们的方法需要两阶段分割策略来实现准确的房间分离。这种C2的细化过程确保了不规则几何形状的高精度结果,尽管它将总处理时间增加到了51分钟18.13秒。尽管有这个额外的细化步骤,所提出的方法与基线方法相比仍表现出有竞争力的性能。Vor在开放走廊场景中特别容易过度分割。

此外,基于学习的RoomFormer和PolyRoom与上述方法相比表现有所改进,但仍存在某些局限性。如第3.3节所述,这两种方法在预处理过程中将点云场景转换为256 × 256分辨率的密度图。RoomFormer直接查询结构角点以进行室内空间划分,而PolyRoom通过基于Mask-RCNN的场景掩码预测扩展了这一框架。如图20和表10所示,RoomFormer实现了更平衡的性能,具有更高的召回率和IoU,得益于其产生更完整覆盖的趋势。相比之下,PolyRoom依赖于初始掩码预测,当预测不完整时可能会出现欠分割,导致较低的召回率、F1分数和IoU,如Scene-3中所观察到的。此外,依赖于密度图表示限制了两种方法的泛化能力。相比之下,所提出的方法直接操作点云结构特征,无需数据驱动的训练,实现了稳定的性能、准确的房间分割和在多种室内环境中的完整拓扑表示。相比之下,我们的方法始终保留房间边界,处理不规则布局,并以最小的错误实现了真实房间的完全覆盖。

总体而言,这些结果证实了我们的方法在处理不规则和复杂的室内空间时提供了优越的分割性能。它始终优于其他方法,展示了更好的泛化能力、鲁棒性和在各种结构配置和复杂房间布局中的稳定性。

4.4. 局限性和未来工作
尽管所提出的方法在标准室内场景中实现了高分割精度,但实验揭示了几项实际限制。在包含低高度区域的场景(如C2)中,初始分割容易欠分割,需要额外的精细化分割步骤才能获得满意的结果。该方法的可靠性强烈依赖于结构空缺完成步骤。消融实验表明,移除此模块会导致性能急剧下降,突显了明确完成缺失结构对于准确分割的重要性。未来的工作应旨在提高方法处理多样和不完整场景的能力,提高管道的自动化水平——包括自适应参数确定(如β)以减少人工干预——减少额外处理的需要,并在具有挑战性的条件下提高鲁棒性,朝着更实用和广泛适用的室内空间分割迈进。此外,我们旨在使我们的分割结果与IndoorGML和CityGML 3.0等数字孪生标准对齐,从而提高生成室内模型的标准化和互操作性。

5. 结论
本文提出了一种用于室内空间分割的语义网格结构完成方法。主要创新包括一个语义对齐和几何一致性细化模块,用于可靠地提取主要结构元素;一个语义网格结构空缺完成算法,用于恢复遮挡引起的缺失结构;以及一个密度感知的高度差过滤方法,用于将主要结构元素与非结构杂物分开。在包括S3DIS、UZH和Structured3D在内的所有公共数据集上的实验表明,该方法具有卓越的性能,平均IoU为0.98,F1分数为0.99,能够在处理复杂布局、非曼哈顿结构、弯曲墙壁、不同天花板高度和倾斜天花板的情况下达到0。未来的工作将把这种方法扩展到大规模和多房间场景,并进一步评估其在更多多样和不完整结构环境中的鲁棒性,包括更复杂的天花板结构,如弯曲或拱形天花板、具有重复不连续性的天花板以及其他非平面或不规则表面条件。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号