《International Journal of Applied Earth Observation and Geoinformation》：Large-scale building instance segmentation in diverse urban scenes based on LiDAR data
编辑推荐：
高质量城市发展是推进区域与全球可持续性的基石。据预测，到2030年全球超过60%的人口将居住于城市地区。城市化进程直接影响人口分布、空气污染水平、温室气体排放、碳足迹及能源资源需求等一系列关乎环境与社会福祉的关键评估。建筑部门约占全球能源消耗的40%，城市建筑
高质量城市发展是推进区域与全球可持续性的基石。据预测，到2030年全球超过60%的人口将居住于城市地区。城市化进程直接影响人口分布、空气污染水平、温室气体排放、碳足迹及能源资源需求等一系列关乎环境与社会福祉的关键评估。建筑部门约占全球能源消耗的40%，城市建筑对全球碳排放贡献显著。因此，精确获取建筑物三维轮廓信息，尤其在城市区域实现单体建筑级别制图，对评估城市化的广泛影响至关重要。在遥感数据源中，LiDAR数据能够提供更精确的高程信息，对精细三维城市建模具有重要贡献。近年来，LiDAR处理的进展借助语义分类方法显著提升了建筑物提取能力，而实例分割可进一步区分建筑物类别内的不同建筑个体，识别各结构的边界与属性，对城市规划等应用不可或缺。深度学习实例分割方法可分为基于分组、基于Transformer、基于核、基于图及由粗到细五类。基于Transformer与基于核的方法虽具备强表征能力，但应用于大范围室外场景时，因复杂特征提取与实例预测过程而面临计算与内存需求增加的问题。基于分组的方法因计算效率较高而在大范围室外实例分割中日益受到青睐，如Softgroup及其改进版Softgroup++采用自底向上软分组与自顶向下细化的双重策略。然而，此类方法主要针对具有完整几何观测的稠密点云设计。在实际中，大范围ALS与UAV LiDAR数据集常呈现立面观测不完整、点密度不均、采集条件导致的部分数据缺失及不同传感器间噪声特性不一致等问题，加之场景特征的显著变化，进一步增加了室外建筑物实例分割的复杂度。随着大模型的发展，Segment Anything Model（SAM）已被应用于各类分割任务并辅助三维领域应用，但此类模型主要局限于具备对应影像数据的室内环境；在大范围室外场景，尤其涉及ALS采集的点云数据时，影像信息通常缺失，依赖二维影像先验的方法难以适用。现有面向城市环境的开源LiDAR数据集主要由UAV、移动激光扫描（MLS）与ALS采集，各有优劣：MLS提供街道级点云但无法完整捕获建筑屋顶与后立面；UAV数据集精度高、立面细节精细，但大范围城市测绘效率低；ALS可实现高效大范围覆盖，但观测细节较少，尤其建筑立面，且常受数据不完整与点云密度变化影响。此外，现有基于ALS的建筑物实例分割开源数据集相对有限，多数标注数据集因人工标注成本高而仅在小范围内提供多类与实例级标注。针对上述局限，研究人员在方法与数据两方面作出贡献。方法上，提出一种新颖的基于分组的实例分割网络BuildGroup，适用于多样化的ALS与UAV数据集。该网络采用渐进学习策略，利用SAM细粒度、类别无关的分割先验增强空间关系建模，以更好地从低细节数据中提取建筑物；同时，二维特征提取在二维空间中对齐ALS与UAV表征，从而减少跨源差异。此外，针对ALS数据固有的点云密度变化，提出偏移增强模块，有效紧凑化点分布并提升建筑物实例边界的清晰度；引入边缘增强损失函数以优先精确预测建筑物边界，引导模型关注边缘区域。数据上，针对大范围城市ALS数据集稀缺问题，发布一个源自ALS、包含香港与华盛顿两城市实例级建筑物信息的标注数据集，填补了现有资源在大范围城市点云分割方面的关键空白，尤其针对立面数据稀疏、点云密度变化及数据缺失的场景。在多样化LiDAR数据集上的实验表明，该方法较现有方法显著提升了建筑物实例分割精度。研究主要贡献包括：提出名为BuildGroup的基于分组实例分割模型，用于不同ALS与UAV数据集的精确建筑物分割，包含特征聚合、偏移预测、分组聚类与实例评估四个组件；BuildGroup在特征聚合中引入渐进学习策略，利用SAM编码器的二维类别无关分割先验知识减少跨源差异，引入偏移增强模块缓解点云密度不均问题以提高偏移预测精度，并引入边缘增强损失函数引导模型关注边界点；发布一个源自ALS、含实例级建筑物信息的标注数据集，弥补现有资源在大范围城市点云分割方面的关键空白，尤其针对立面数据稀疏场景。
研究背景方面，高质量城市发展是推进区域与全球可持续性的基石，城市化进程直接影响人口分布、空气污染、温室气体排放、碳足迹与能源需求等关键评估。建筑部门约占全球能源消耗的40%，城市建筑对全球碳排放贡献显著，因此精确获取建筑物三维轮廓信息、实现单体建筑级别制图对评估城市化广泛影响至关重要。LiDAR数据因能提供更精确高程信息而对精细三维城市建模具有重要贡献。近年来语义分类方法提升了建筑物提取能力，实例分割则可进一步区分建筑物类别内的不同个体并识别其边界与属性。深度学习实例分割方法主要分为基于分组、基于Transformer、基于核、基于图及由粗到细五类。基于Transformer与基于核的方法虽表征能力强，但应用于大范围室外场景时因复杂特征提取与实例预测而面临计算与内存需求增加的问题；基于分组的方法因计算效率较高而日益受到青睐，如Softgroup与Softgroup++采用自底向上软分组与自顶向下细化相结合的策略，但其架构主要针对具有完整几何观测的稠密点云设计。实际中，大范围ALS与UAV LiDAR数据集常呈现立面观测不完整、点密度不均、采集条件导致的部分数据缺失及不同传感器间噪声特性不一致等问题，加之场景特征显著变化，进一步增加室外建筑物实例分割复杂度。随着大模型发展，SAM已被用于各类分割任务并辅助三维领域应用，但此类模型主要局限于具备对应影像数据的室内环境；在大范围室外场景尤其涉及ALS点云时影像信息通常缺失，依赖二维影像先验的方法难以适用。现有面向城市环境的开源LiDAR数据集由UAV、MLS与ALS采集，各有优劣：MLS无法完整捕获建筑屋顶与后立面；UAV精度高但大范围测绘效率低；ALS可高效大范围覆盖但细节较少，尤其立面，且常受数据不完整与密度变化影响。此外，现有基于ALS的建筑物实例分割开源数据集相对有限，多数标注数据集因人工标注成本高而仅在小范围内提供多类与实例级标注。针对上述局限，研究人员开展了方法与数据两方面研究。方法上提出基于分组的实例分割网络BuildGroup，采用渐进学习策略并利用SAM细粒度、类别无关的分割先验增强空间关系建模，以更好地从低细节数据中提取建筑物；二维特征提取在二维空间对齐ALS与UAV表征以减少跨源差异；针对点云密度变化提出偏移增强模块以紧凑化点分布并提升边界清晰度；引入边缘增强损失函数引导模型关注边界点。数据上发布源自ALS、包含香港与华盛顿两城市实例级建筑物信息的标注数据集，填补现有资源在大范围城市点云分割方面的关键空白。实验在四个点云数据集（所提ALS数据集的两个子集与UAV开源数据集UrbanBIS的两个子集）上开展，结果表明BuildGroup在建筑物实例分割精度上显著优于现有方法，并保持与所采用骨干网络相当的计算成本，验证了其在大范围室外应用中的实用性。该研究的重要意义在于：所提渐进特征聚合策略增强了对不完整点云的特征学习，偏移增强模块生成了更具判别性的实例表征以支持可靠分组，边缘增强损失强化了对建筑物边界的监督以改善相邻实例分离，三者互补使框架能够有效应对大范围室外建筑场景的挑战；同时，新发布的大范围ALS数据集为缺乏立面信息的场景提供了新资源，有利于获取真实大范围场景的建筑物三维信息。
研究人员开展研究用到的主要关键技术方法包括：提出基于分组的实例分割网络BuildGroup，整体架构由特征聚合、偏移预测、分组聚类与实例评估四个组件构成，仅以XYZ坐标作为输入以保证在ALS与UAV点云数据集上的广泛适用性；特征聚合采用渐进学习策略，将点云沿z轴转换为深度图并输入锁定的SAM编码器提取基础特征，再依据二维深度图与三维点云的对应关系将影像特征转换为点云特征，随后基于位置与特征信息体素化并输入采用稀疏卷积的UNet进行精细化逐点特征提取；偏移预测由初始偏移层与偏移增强模块构成，偏移增强模块在初始偏移调整后再次体素化并经UNet与偏移层生成增强偏移，且该模块在当前轮次s大于阈值τ时启用以保证训练稳定；设计边缘增强损失函数，将各实例变换至鸟瞰图并采用Canny边缘检测提取边缘点，对边界点赋予更高权重η，损失由初始偏移预测损失与偏移增强损失之和构成，并采用停止梯度避免影响初始偏移结果；构建源自ALS的标注数据集，初始标签由DBSCAN聚类算法生成后经人工微调与验证，含香港与华盛顿两个子集，并在UAV开源数据集UrbanBIS的青岛与芜湖子集上开展训练与测试；采用平均精度（AP）指标，包括AP、AP25与AP50，其中AP为IoU阈值从50%至95%、步长5%的平均精度。样本队列来源为：香港数据集采集于2019年12月20日至2020年2月2日，覆盖香港特别行政区全域，共3315个离散LiDAR数据瓦片，每瓦片750 m×600 m，标注8个代表性样本；华盛顿数据集采集于2024年3月1日单次航空测量，覆盖哥伦比亚特区，共326块、每块800 m×800 m，标注8个代表性样本；UrbanBIS为UAV采集、覆盖中国六城市，选用青岛与芜湖子集。
研究结果方面，在青岛与芜湖数据集上，BuildGroup在所有指标上优于其他实例分割模型，较基线Softgroup++在两个数据集上AP均提升约15，并在AP25与AP50上取得显著增益，凸显其在建筑物实例检测中的优越精度；HAIS与ISBNet表现相对较差，ISBNet在青岛与芜湖的AP分别仅为16.4与17.7，表明部分原为室内或通用点云场景设计的结构在应用于大范围室外建筑场景时需进一步适配；SoftGroup、SoftGroup++与B-Seg采用自底向上分组策略取得较有竞争力的结果，其中Softgroup++为最强基线，两数据集AP分别为71.4与69.5，但其依赖局部几何特征仍限制了密集相邻建筑的分隔；OneFormer3D虽引入基于Transformer的特征学习以捕获长程依赖，在芜湖AP仅为45.3，显著低于BuildGroup。可视化与误差图显示，BuildGroup在密集建造的住宅区含成排小间距建筑中优势尤为明显，SoftGroup虽能分离多数相邻建筑但仍偶有实例合并，其余方法欠分割更严重，常合并相邻建筑或无法准确 delineate 单个实例。在香港与华盛顿数据集上，二者源自ALS数据、立面观测有限，许多以往方法性能下降，因属单一建筑实例的点云更分散；BuildGroup凭借特征聚合中的渐进学习策略显著提升，降低了分散点群的负面影响。香港数据集含大量高层建筑且缺乏立面信息，BuildGroup取得AP 69.2，较第二名SoftGroup高19.4；基于Transformer的OneFormer3D与基于核的IKNE的AP分别仅为39.0与38.3，表明在立面观测不完整条件下仅捕获全局上下文信息或增强局部特征聚合均不足。华盛顿数据集建筑较矮且分布较规则，SoftGroup++与SoftGroup取得较有竞争力的AP分别为57.9与55.9，但仍难以准确分离相邻实例；BuildGroup取得AP 68.6，在AP50与AP25上分别较最强基线高10.7与6.8。可视化结果显示，香港复杂屋顶结构与高层建筑大高差给实例分离带来挑战，SoftGroup与IKNE倾向于将单个屋顶平面视为独立实例而过分割，OneFormer3D等则可能将相邻建筑合并为单实例而欠分割，而该模型生成更完整的建筑实例并在相邻建筑间实现更可靠分离。参数分析方面，不同聚类大小下BuildGroup性能受影响极小，表明偏移调整后点云更紧凑，SAM特征提取为逐点特征提取提供更多空间信息，偏移增强模块与边缘增强损失进一步提升偏移预测精度，使模型对不同聚类大小具有稳健性；边缘增强损失权重参数η在1.1至1.9范围内，性能随η增大而提升并在1.5处最优，超过1.5后性能开始下降，表明需仔细调节该权重。偏移预测分析方面，训练迭代中BuildGroup的偏移均方误差（MSE）在训练早期与末期均持续低于骨干Softgroup++，后者偏移MSE约在第40轮趋于稳定且改进有限，这促使实验选取τ=40，而BuildGroup在第40轮引入偏移增强模块后偏移MSE继续下降，体现SAM特征提取、偏移增强模块与边缘增强损失共同作用显著改善偏移预测性能。消融实验方面，无SAM特征提取时以RGB信息作为各点初始特征；引入基于SAM的特征提取与偏移增强模块后，AP、AP50、AP25分别提升4、2、2与4、3、4；引入边缘增强损失较骨干分别提升5、3、3；在SAM特征提取与偏移增强基础上，边缘增强损失进一步使AP、AP50、AP25分别提升2、2、1，清晰验证了各模块的有效性。计算复杂度分析表明，BuildGroup在保持与所采用骨干相当计算成本的同时取得更优建筑物实例分割性能，兼顾分割精度与计算可行性，体现其在大范围室外应用中的实用性。
讨论部分总结如下：实验数据集涵盖具有多样建筑分布与不同采集特性的大范围城市场景，因立面观测不完整、点密度不均、严重实例相邻及复杂几何结构而给建筑物实例分割带来显著挑战；在此条件下BuildGroup在UAV与ALS衍生数据集上均持续取得优越性能，展现不同采集条件下的强稳健性；这些改进可归因于所提渐进特征聚合策略增强了对不完整点云的特征学习、偏移增强模块生成更具判别性的实例表征以支持可靠分组、边缘增强损失强化了对建筑物边界的监督以改善相邻实例分离，这些组件使框架有效应对大范围室外建筑场景的挑战。与代表性现有方法相比，基于分组的方法（SoftGroup、SoftGroup++、B-Seg）通过学习判别性逐点特征进行实例分组取得较有竞争力性能，但其依赖逐点几何特征仍限制密集相邻建筑的分隔；基于核的方法如IKNE通过卷积核改进局部特征聚合，但局部感受野难以捕获复杂城市场景中的大几何变化与长程上下文关系；基于Transformer的方法如OneFormer3D可有效建模长程依赖，但计算需求增加降低了其在大范围室外建筑物实例分割中的有效性；总体表明有效平衡特征表征能力与计算效率对大范围室外建筑物实例分割至关重要。尽管结果可喜，该方法仍存在若干局限：其一，仅依赖LiDAR点云几何特征而未融合纹理，限制了其在植被遮挡与低矮建筑检测中的精度；其二，当前评估局限于城市场景，尚未在郊区与乡村环境中充分验证。未来工作将探索多模态数据融合，将LiDAR点云与建筑轮廓及光学影像结合以进一步提升分割性能，并计划将评估扩展至更多样化的城乡数据集，以全面评估所提方法在不同土地利用场景下的稳健性与泛化能力。研究结论部分翻译如下：本文提出一种新颖的建筑物实例分割模型BuildGroup，适用于多样化的ALS与UAV数据集。在其渐进学习框架内，BuildGroup利用大模型SAM的先验知识丰富逐点空间表征并在二维上缓解跨源差异，从而改善建筑物分割的空间关系建模。为进一步解决ALS点云固有的密度不均问题，引入偏移增强模块以紧凑化特征分布并细化偏移预测，最终提升分割与聚类性能。此外，训练中引入边缘增强损失函数，专门关注各建筑实例的边界点，确保这些关键区域在模型学习过程中获得更高重要性。同时，研究人员提出一个基于ALS的新大范围数据集，为缺乏立面信息的场景提供新资源，该数据集特别有利于在真实大范围场景中获取建筑物三维信息。通过在四个点云数据集（所提ALS数据集的两个子集与UAV开源数据集的两个子集）上的大量实验，该方法通过提供准确的建筑物实例信息证明了其有效性。
