用于大规模建筑实例网格划分的代理耦合掩蔽高斯场
《AUTOMATION IN CONSTRUCTION》:Proxy-coupled masked Gaussian fields for large-scale building instance meshing
【字体:
大
中
小
】
时间:2026年10月23日
来源:AUTOMATION IN CONSTRUCTION 12.6
编辑推荐:
• 实例感知的高斯场在网格化过程中保持了建筑物的身份特性。
• 代理耦合的掩码监督机制抑制了建筑物之间的高斯泄漏。
• 局部的、针对每个建筑物的TSDF融合减少了粘连效应和背景伪影。
• SfM、掩码和代理几何结构被融合,以提供强大的实例支持。
• 实验证明了该方
• 实例感知的高斯场在网格化过程中保持了建筑物的身份特性。
• 代理耦合的掩码监督机制抑制了建筑物之间的高斯泄漏。
• 局部的、针对每个建筑物的TSDF融合减少了粘连效应和背景伪影。
• SfM、掩码和代理几何结构被融合,以提供强大的实例支持。
• 实验证明了该方法在GauU-Scene和自定义LCG数据集上的改进效果。
1. 引言
从多视角航拍图像中重建城市建筑物是数字孪生、智慧城市、城市规划、应急管理和三维地理信息系统中的基本任务。无人机图像已成为高分辨率三维映射和文档的重要数据来源,包括在文化遗产记录中的应用[1]。同时,无人机生成的几何产品的准确性受到相机校准和飞行高度等采集条件的影响[2][3]。与一般的场景级新视图合成不同,城市建筑建模不仅需要高质量的外观表示,还需要明确的建筑物边界和可独立使用的单个建筑物网格。在实际的城市资产管理中,每个建筑物都应该单独查询、编辑、测量和更新。如果相邻建筑物在几何上合并,或者将树木、道路和车辆等非建筑物区域融合到建筑物模型中,即使渲染图像看起来非常真实,得到的三维资产在结构和语义上仍然不可靠。因此,恢复出与邻近建筑物和周围非建筑物区域在几何上分离的可独立使用的建筑物网格,是大规模城市三维重建中的一个关键挑战。
近年来,神经渲染和显式的神经表示技术显著推进了三维重建的发展。3D高斯拼接(3D Gaussian Splatting)从SfM稀疏点初始化三维高斯,并结合了可见性感知的拼接和密度控制,实现了高效的新视图合成和详细的场景表示[4]。与此同时,视觉基础模型的快速发展为开放世界场景中的对象定位和分割提供了新工具。SAM作为一种可提示的分割模型,在多种视觉任务中展现了强大的泛化能力[5],而Grounded-SAM进一步将开放词汇表检测与SAM分割整合在一起,允许用户通过文本提示获取对象掩码[6]。在城市和建筑重建中,最近的研究开始将语义掩码、几何先验或城市模型先验纳入高斯拼接框架。例如,PG-SAG利用语义建筑掩码和可见性分组进行大规模城市建筑表面重建[7];GS4Buildings利用LoD2语义建筑模型来初始化或约束高斯表示,提高了建筑重建的完整性和几何精度[8];CityGo结合代理建筑网格和残差高斯进行轻量级的城市建模和渲染[9];GS4City利用城市模型先验生成基于几何的掩码,并在与基础模型预测融合后将其提升为高斯场[10];SF-Recon探索了直接从三维高斯表示生成轻量级建筑网格的可能性[11]。这些研究表明,整合建筑先验、2D语义掩码和高斯表示正成为城市三维重建的重要方向。
然而,现有方法在应用于实例级别的建筑物网格提取时仍存在明显限制。首先,标准的3DGS主要优化连续的场景外观,并没有明确保持建筑物的身份特性。仅在训练后对高斯或网格面进行实例分类,很难修复已经发生的建筑物间几何融合[4]。其次,尽管2D基础模型可以提供建筑物候选掩码,但航拍图像经常受到树木遮挡、阴影、重复的屋顶纹理、视角变化和附着建筑物的影响,这些因素常常导致不同视图间的欠分割、过分割或建筑物间合并[5][6]。如果直接使用这些2D掩码作为强监督信息,错误的边界可能会传播到三维高斯场中,导致高斯点 floating、边界侵蚀和实例间泄漏。第三,城市或建筑物的代理模型可以为基于高斯的重建提供有用的几何先验。GS4Buildings和CityGO通过结合现有建筑表示的几何信息来探索代理引导的建筑物重建[8][9];GS4City进一步研究了在城市规模场景中的代理辅助重建[10]。然而,代理几何并不总是完全准确,直接将代理的高度、占地面积和位置作为高斯采样的真实值或强深度约束可能会导致最终重建中的错误。因此,实例级别建筑物网格化的核心挑战是在噪声较大的2D掩码、稀疏的SfM点和不完美的代理几何之间建立可靠的关联,同时在整个高斯优化过程中保持每个建筑物的身份特性,并防止任何单一来源的错误主导重建。在下文中,本文将这些实例级别的重建错误称为:当相邻建筑物在几何上连接时发生的建筑物间粘连;当重建的几何超出预期建筑物范围时发生的边界泄漏;以及当非建筑物结构被纳入建筑物重建时发生的背景污染。
为了解决这个问题,本文提出了代理耦合掩码高斯场(Proxy-Coupled Masked Gaussian Fields)框架,该框架用于从航拍图像中进行的大规模建筑物网格提取,可以保持建筑物实例的完整性。该框架首先通过多视角分割掩码和SfM投影一致性建立粗略的建筑物实例,然后使用保守的层次化代理细化它们的空间支持和可见性关系。每个与建筑物相关的高斯在初始化时都与一个离散的实例身份相关联。重要的是,这个身份不仅仅是一个语义标签或后处理属性;相反,它为实例级的渲染、实例特定的监督、密度化和修剪以及后续的网格提取提供了持续的实例关联。代理的使用方式也与将先验几何视为精确重建目标的方法不同。所提出的方法为每个建筑物构建了保守的层次化代理支持,并将其用作空间的可靠性和可见性先验,而不是表面真实值。代理派生的支持域和深度区间识别出可靠的前景区域、不确定的重叠部分以及清晰的前后关系。这些线索选择性地调节实例掩码监督、实例间的排除性、深度顺序规范化以及受支持约束的密度化和修剪。因此,不确定的2D掩码和不完美的代理几何不会无条件地作为高斯重建的硬约束。最后,所提出的框架在网格生成阶段保持了建筑物实例的分离。该方法不是先重建全局表面,然后将网格面分配给单个建筑物,而是首先根据它们持续的实例身份对优化后的高斯进行划分。然后对每个建筑物独立渲染深度观测结果,并在相应的代理限定支持体积内进行局部TSDF融合。在体积融合之前分离实例,可以防止来自邻近建筑物或背景对象的深度观测结果被整合到同一表面上,从而减少了不同建筑物实例之间的虚假网格连接。
本文的主要贡献总结如下:
1. 提出了一种实例感知的高斯重建方法,在高斯优化之前建立建筑物身份,并在整个渲染、监督、密度化、修剪和网格提取过程中保持这些身份,使得在重建过程中可以明确考虑实例分离,而不仅仅是在全局重建之后。
2. 提出了一种可靠性门控的代理耦合机制,利用保守的代理支持和深度区间作为空间和可见性先验,来调节实例监督、实例间约束和高斯密度控制,从而减少来自不准确掩码和不完美代理几何的错误传播。
3. 提出了一种表面融合前的实例分离策略,根据建筑物身份分离优化后的高斯,并在代理限定的局部TSDF体积内独立重建每个建筑物,从而减少建筑物间的粘连和背景污染。
2. 相关工作
本节回顾了语义高斯表示、城市规模高斯重建和建筑物网格提取的方法,并阐述了所提出方法与密切相关方法的区别。
2.1. 语义高斯拼接
神经辐射场方法大大改进了基于图像的三维重建,但它们的隐式表示通常优化和渲染成本较高[12]。3D高斯拼接(3DGS)引入了一组从SfM点初始化的显式各向异性高斯基本体,实现了实时渲染和高效的场景优化[4]。最近的研究将3DGS从外观重建扩展到语义和实例感知的场景理解。LangSplat在三维高斯上学习语言特征以支持开放词汇表查询[13],而LangSplatV2进一步加速了高维语言特征的渲染[14]。Gaussian Grouping为高斯附加了紧凑的身份编码,并使用SAM掩码进行三维实例分组和编辑[15]。Segment Any 3D Gaussians和Click-Gaussian研究了高斯场景的交互式和可提示的分割[16][17]。Lifting by Gaussians和LabelGS专注于将2D语义和实例级线索转换为三维高斯表示[18][19]。SPC-GS和SemanticSplat提高了高斯场中的语义一致性和表示学习[20][21]。PointGS和PanoSLAM进一步将基于高斯的场景理解扩展到点级推理和开放世界或大规模场景应用[22][23]。对于航拍或城市场景,ID-Splat将对象身份传播到航拍视角的高斯场景中[24];Semantic-aware DropSplat用于裁剪多余的和高悬的高斯以进行航拍视角的分割[25];Semantic-Consistent 3D Reconstruction使用SAM引导的注释来提高多视角语义的一致性[26]。这些工作表明2D基础模型线索可以转换为高斯基本体,但它们主要关注分割或语义查询,而不是提取实例分离的建筑物网格。
2.2. 基于3DGS的大规模城市重建
将高斯表示扩展到城市场景引起了越来越多的关注。VastGaussian和CityGaussian引入了分割和高效优化大规模场景的策略[27][28]。HUG和UrbanGS研究了复杂环境中的层次化表示和城市场景重建[29][30]。Street Gaussians进一步探索了大规模街道级场景建模和高效渲染[31]。HO-Gaussian和HUGS进一步结合了对象级或语义指导来增强场景理解和渲染效率[32][33]。这些方法提高了可扩展性,但通常根据空间或可见性而不是建筑物实例来分割场景。与建筑物重建更密切相关的是,SA-GS引入了感知语义的约束用于大规模场景的几何重建[34];MGFs训练了用于从多视角图像中自动提取建筑物表面的掩码高斯场[35];PG-SAG使用感知语义的分组和建筑掩码进行细粒度的城市建筑重建[7];GS4Buildings利用LoD2建筑模型来初始化和规范高斯拼接进行三维建筑重建[8];GS4City结合CityGML先验和基础模型预测来构建层次化的语义城市高斯场[10];CityGo结合代理建筑网格和残差高斯进行轻量级的城市渲染[9];Proxy-GS进一步表明代理几何在高斯训练和推理期间可以提供有效的遮挡先验[36]。与这些方法相比,本文专注于建筑物实例网格化:代理几何不是作为直接的高斯采样源,而是作为保守的支持域和弱遮挡先验,用于实例感知的高斯优化和局部网格提取。
2.3. 建筑物网格提取
传统的表面重建方法是网格提取和城市建筑建模的重要基础。Poisson重建从定向点云中估计连续表面[37],而KinectFusion和TSDF融合将深度观测结果整合到体积场中以提取表面[38]。可见性感知的表面重建进一步利用可见性信息来保持支撑薄弱的表面[39];PolyFit从平面基本体中重建紧凑的多边形模型[40]。尽管这些方法被广泛使用,但在复杂的城市场景中,它们的性能经常受到点云噪声、缺失观测和异常法线估计的影响。从遥感图像中提取建筑物也通过语义分割、实例分割和多边形映射得到了广泛研究。HiT使用分层变换器预测向量化建筑多边形[41];amodal建筑提取旨在在遮挡下恢复完整的建筑物实例[42]。对于三维建筑建模,MVS-based实例分割将多视角屋顶掩码投影到大型城市网格上,并通过全局掩码聚类和优化分离附着的建筑物[43]。Fast Building Instance Proxy Reconstruction进一步重建了大型城市场景的紧凑建筑代理,展示了实例级代理几何的有用性[44]。最近,从高斯场中提取网格已成为一个活跃的研究方向。SuGaR将高斯基本体与表面对齐,并使用泊松重建提取网格[45];2DGS通过用定向高斯圆盘表示场景来改进表面重建[46];Gaussian Opacity Fields利用自适应网格从不透明度场中提取表面[47];GS2Mesh从高斯表示中渲染新颖的立体视图,并通过TSDF融合深度图[48]。对于建筑物特定的重建,GBM结合Google Earth、SAM2/GroundingDINO和高斯拼接来提取单个建筑网格[49];SF-Recon直接从高斯表示中重建轻量级建筑网格,无需后续简化[11]。然而,大多数现有的高斯到网格方法在场景或对象级别操作,并没有在整个初始化、优化、密度化和网格提取过程中保持建筑物实例的身份。所提出的方法通过根据继承的建筑物ID分离训练后的高斯,并在代理限定的局部体积内进行每个建筑物的TSDF提取,解决了这一难题。
2.4. 与密切相关方法的定位
MGFs [35]和PG-SAG [7]都利用建筑掩码或语义分组来限制高斯优化并改进以建筑物为导向的重建。然而,它们的分组线索主要用于定义或组织重建区域。相比之下,所提出的方法在高斯优化之前首先建立离散的建筑物身份,并在整个渲染、加密、剪枝和网格提取过程中保持这些身份。因此,关键区别不在于是否使用建筑物掩码本身,而在于在高斯场演化过程中持续保持多建筑物实例的成员身份。GS4Buildings [8] 和 Proxy-GS [36] 展示了几何先验在高斯重建中的有效性,但它们的使用方式不同。GS4Buildings 使用 LoD2 建筑物模型作为相对强的几何先验进行高斯初始化和深度/法线监督,而 Proxy-GS 则使用代理派生的遮挡信息来指导剔除和加密。该框架将代理视为保守的空间约束和弱可见性先验,而不是精确的目标表面。此外,代理派生的深度区间与单个建筑物实例相关联,并用于调节实例特定的掩码监督、跨实例竞争以及前后顺序。GS2Mesh 和 GBM 主要关注从重建或选定的建筑物表示生成网格。GS2Mesh 通过立体深度估计恢复几何形状,然后进行表面融合,而 GBM 则提取用户指定的目标建筑物 [48]、[49]。SF-Recon 进一步通过结构感知的高斯优化和三角剖分探索轻量级建筑物网格生成 [11]。相比之下,该框架在高斯级别分离建筑物实例,以防止来自不同建筑物的深度观测被合并到同一个重建体积中。这种设计直接解决了大型多建筑物场景中的建筑物间粘附和跨实例污染问题。总体而言,本文并不声称掩码、离散身份、代理先验、遮挡推理或 TSDF 融合是全新的概念。主要的方法论贡献在于在高斯演化过程中保持建筑物实例的拓扑结构,并将这种持久的拓扑结构与保守的代理推理和实例分离的网格提取相结合。这种表述使得建筑物分离从一个事后处理步骤转变为从初始化到最终网格化过程中都保持的约束。
下载:下载高分辨率图像(2MB)
下载:下载全尺寸图像
图 1. 所提出的 Proxy-Coupled Masked Gaussian Fields 的总体框架。
3. 方法
本文提出了一种针对大规模航空城市场景的实例感知高斯建筑网格方法。整个流程如图 1 所示,包括三个阶段。第一阶段:代理构建和建筑物掩码优化(第 3.1 节)从多视图建筑物掩码和 SfM 观测数据中构建建筑物实例支持,并为每个建筑物生成一个保守的代理域以及优化的实例掩码。第二阶段:实例感知的高斯场初始化和训练(第 3.2 节,实例感知的高斯场初始化和优化;第 3.3 节,代理引导的遮挡感知监督和加密)利用与建筑物相关的 SfM 点的实例 ID 初始化高斯场,并通过建筑物区域重建、实例监督、遮挡感知约束和加密控制来优化建筑物高斯表示。第三阶段:按建筑物划分的局部 TSDF 网格提取(第 3.4 节)根据实例 ID 分离优化后的建筑物高斯场,并在相应的代理限定局部体积内进行局部 TSDF 融合和网格提取。通过这三个阶段,所提出的方法避免了将粗糙的代理几何直接注入高斯场,同时利用代理提供的空间边界和遮挡先验。结果,在大规模航空场景中,建筑物级别的高斯优化和网格化保持了实例一致性并且具有几何鲁棒性。
3.1. 多视图构建建筑物实例支持
本节在实例级高斯优化之前构建建筑物实例及其空间支持域。由于 2D 分割掩码、稀疏的 SfM 点和代理几何可能包含噪声,因此它们都不直接作为实例级的真实值。相反,我们将初始化问题表述为多视图投票和一致性验证问题。给定校准后的图像 I={Ii}i=1N、相机投影函数 Πi(?)、建筑物掩码 M={Mi}i=1N、稀疏的 SfM 点 P={pj}j=1J 和初始化的高斯集 G={gm}m=1M,目标是获得建筑物级的种子点集 {Pk} 和初始的高斯实例 ID。
3.1.1. 建筑物 SfM 点选择和初始实例划分
我们首先使用 Grounded-SAM 在所有输入视图中生成开放词汇表的建筑物掩码。每个掩码通过以下方式转换为二进制建筑物掩码:(1) Bi(u,v)=IMi(u,v)>1/27,其中 Bi(u,v)=1 表示建筑物像素。为了抑制掩码噪声,移除小于 τarea=300 像素的连通分量。当一个掩码分量包含的来自同一临时建筑物支持的投影 SfM 点少于 τseed=3 个时,也会被丢弃。这些规则在多视图投票之前移除了孤立的掩码片段和不稳定的分量。对于每个 SfM 点 pj,我们定义其可见视图集为 (2) Vj=i∣zij>0, Πi(pj)=(uij,vij)∈dom(Bi),其中 zij 是 pj 在第 i 个相机坐标系中的深度。正负建筑物掩码投票计算如下:(3) nj+=∑i∈VjBi(uij,vij), nj?=|Vj|?nj+。只有当 (4)|Vj|≥τvis, nj+≥τvote, nj+|Vj|≥ρvote 时,一个点才会被保留为可靠的建筑物 SfM 种子点,其中 τvis=5, τvote=3, ρvote=0.45 在所有实验中都适用。此外,具有超过 τfalse=20 个负投影的点将被拒绝。保留的点集表示为 Pbldg。获取 Pbldg 后,我们将其投影到水平 XY 平面上并构建一个自适应占用网格。对于 pj=(xj,yj,zj),网格分辨率和单元格索引定义为 (5) r=max(xmax?xmin,ymax?ymin)/350, (6) (uj,vj)=xj?xmin/r, yj?ymin/r,平面占用图表示为 (7) O(u,v)=I?pj∈Pbldgs.t.(uj,vj)=(u,v)。我们对这些点应用 3 × 3 的形态学闭合运算两次,以填补由稀疏 SfM 观测造成的小孔和连接断裂。然后对处理后的占用图进行八邻域连通分量分析。少于 τpts=150 个点的组分被视为孤立噪声并被移除。剩余的连通组分被用作粗略的建筑物实例候选者。进一步使用多视图掩码一致性来细化粗糙组分。对于每个候选组分 Ck,我们将其 SfM 点投影到每个可见视图中,并计算它们在二进制掩码 Bi 中的连通组分 ID。只有当至少有 τseed=3 个投影点落在同一掩码连通分量中时,视图 i 才被视为 Ck 的支持视图。每个实例最多保留 Nsup=60 个具有最多种子命中的支持视图。当两个粗糙组分 Ca 和 Cb 满足 (8)|Sa∩Sb|min(|Sa|,|Sb|)≥ρmerge 时,它们被合并,其中 Sa 和 Sb 表示它们的支持视图/组分对,ρmerge=0.5。这意味着这两个组分在多个视图中都由相同的 2D 建筑物掩码组分反复支持。相反,如果一个粗糙组分在其大多数可见视图中获得足够的支持(超过一个断开的 2D 掩码组分),则将该组分分割。具体来说,如果第二强的掩码组分支持比率大于 ρsplit=0.35 并且在至少 τvote=3 个视图中被观察到,则根据它们的主要投影支持重新分配 3D 点。经过这种细化后,我们获得了每个建筑物实例 k 的初始 SfM 点集 Pk。
3.1.2. 初始高斯 ID 分配
然后使用初始化的 SfM 实例为高斯分配实例 ID。对于每个建筑物实例 k,我们首先从其 SfM 种子边界框构建一个宽松的 3D 候选区域:(9) Bk(pkmin?(30,30,20), pkmax+(30,30,20),其中边距是在场景坐标系中测量的,分别对应 X、Y 和 Z 方向。只有位于 Bk 内的高斯才被视为实例 k 的候选者。对于候选高斯 gm,我们将其中心投影到实例 k 的支持视图中。设 hmk 是 gm 落入实例 k 的支持 2D 掩码分量的视图数量,qmk 是 gm 在有效建筑物掩码视图中可见的次数。归一化的分配分数为 (10) smk=hmk/swap(k,1)。只有当 (11) hmk≥3, qmk≥5, smk≥0.45 时,高斯 gm 才被分配给实例 k。如果一个高斯同时满足多个建筑物实例的标准,则通过将其分配给 smk 最大的实例来解决冲突。当两个实例具有相同的分数时,高斯被分配给其 SfM 种子质心在 3D 空间中更接近的实例。不满足任何实例标准的高斯保持未分配状态,不用于相应的实例级优化。完整的初始化过程总结在算法 1 中。
3.1.3. SAM2 提示生成和掩码细化
对于每个初始化的建筑物实例,将分配的高斯投影回支持视图以生成用于基于 SAM2 的掩码细化的正负点提示。我们仅在支持视图中生成提示,以避免在实例观测较弱或被遮挡的视图中出现不可靠的分割。只有当投影的高斯点位于原始建筑物掩码内以及当前实例的支持连通分量内时,才将其用作正提示。如果一个视图中有效的正提示点少于 τprompt=20 个,则跳过该视图。否则,使用最远点采样选择最多 NSAM+=64 个正提示点。正提示点图通过半径为 3 像素的圆盘核进行膨胀以改善空间覆盖范围。负提示从同一支持视图中的高置信度非目标区域生成。具体来说,我们使用三个来源:(1) 属于当前实例不支持的建筑物掩码连通分量的像素,(2) 分配给其他初始化建筑物实例的投影高斯或 SfM 点,(3) 原始建筑物掩码外的背景像素。为了避免边界提示模糊,移除与正提示图相距 3 像素范围内的负候选点。然后应用最远点采样选择最多 NSAM?=64 个负提示点。因此,SAM2 点标签定义为 (12) yi,k(u,v)=1/(u,v)∈Qi,k+,0/(u,v)∈Qi,k?,其中 Qi,k+ 和 Qi,k? 分别表示视图 i 中实例 k 的正负提示集。SAM2 预测后,将细化的实例掩码与原始建筑物掩码相交 (13) B?i,kSAM2=Bi,kSAM2∩Bi, 作为额外的硬性背景约束,防止 SAM2 将实例掩码扩展到非建筑物区域。然后仅使用细化的掩码来更新相应实例的图像域支持;它们本身不会创建新的 3D 点。
3.1.4. 分层代理支持域构建
SfM 点云在建筑物边缘、玻璃立面、被遮挡区域和纹理模糊的表面周围通常是不完整的。因此,直接使用稀疏点来定义建筑物空间范围可能会导致边界不完整。为了解决这个问题,我们为每个建筑物构建分层代理支持域。代理几何不被视为真实的建筑物表面,也不用于生成额外的高斯点。它仅用作保守的空间约束和遮挡先验。对于第 k 个建筑物的 SfM 点集 Pk,我们首先沿高度方向划分点云。层高 hk 由建筑物点云的高度坐标的中值相邻区间确定,因此适应每个建筑物的点密度。第 l 层的点集及其 2D 轮廓定义为 (14) Pkl=pj∈Pk∣zl≤zj
3.2. 实例感知的高斯场初始化和优化
在多视图实例支持构建之后,每个建筑物都与特定的 sfm 点集、代理细化的多视图实例掩码和代理几何支持域相关联。 γkl=ΦProjxy(Pkl)。这里,zl 表示第 l 层的起始高度,projxy(?) 表示投影到 xy 平面上,φ(?) 表示层内轮廓提取函数,γkl 表示第 k 个建筑物在第 l 层的闭合 2d 轮廓。实际上,φ(?) 首先采用网格轮廓提取来获得稳定的外轮廓。当点分布不规则时,使用 alpha 形状提取来获得非凸边界。当一层中的点数不足且轮廓不稳定时,使用凸包作为备用策略。然后构建第 k 个建筑物的代理支持域 (15) ωk=BufferLoft(Γkl,zl)l=1Lk,r,hk。这里,Loft(?) 连接相邻层的轮廓并闭合顶部和底部表面,lk 表示高度层的数量,buffer(?,r,hk) 表示在平面方向上扩展 r,在垂直方向上扩展 hk。由于 r 和 hk 都是根据点云分布确定的,因此支持域扩展不需要额外的手动调整超参数。这减少了当代理略小于真实建筑物范围时裁剪真实建筑物边界的风险。为了单独评估这一初始化阶段的可靠性,我们在第 4.3 节还报告了高斯优化之前的初始实例匹配准确性。具体来说,使用实例级精度、召回率、f1 分数和 miou 将初始化的高斯 id 与注释的建筑物实例进行比较。 3.2. 实例感知的高斯场初始化和优化 在多视图实例支持构建之后,每个建筑物都与特定的 sfm>
3.2. 实例感知的高斯场初始化和优化
在多视图实例支持构建之后,每个建筑物都与特定的 sfm 点集、代理细化的多视图实例掩码和代理几何支持域相关联。>与标准的3DGS不同,后者直接从全场景SfM点初始化高斯分布,我们的方法仅使用与建筑物相关的SfM点来构建建筑物高斯场,并在初始化阶段为每个高斯分配一个建筑物实例标识。这个实例标识不是一个可学习的高维语义特征,而是一个用于实例选择、实例渲染、密度继承、剪枝限制以及 subsequent 每个建筑物的网格提取的离散实例索引。
3.2.1. 高斯初始化和实例标识继承
在构建多视图实例支持之后,仅使用与建筑物相关的SfM点来初始化高斯场。道路、植被、车辆和其他背景点不用于高斯初始化,从而减少了非建筑物区域对源数据的干扰。对于属于第k个建筑物的SfM点pj,其对应的高斯分布初始化为:(16)Gj=(μj,Σj,αj,cj,zj),其中μj=pj,zj=k,pj∈Pk。这里,μj表示高斯中心,Σj表示协方差矩阵,αj表示不透明度,cj表示颜色或球谐外观特征,zj表示高斯的建筑物实例ID。这个实例ID是一个离散索引,它不参与颜色渲染,也不被视为一个可学习的语义特征,仅用于实例选择、实例渲染、密度继承、剪枝控制和每个建筑的网格提取。在训练过程中进行密度增强时生成新的高斯分布时,每个新高斯都会继承其父高斯的实例ID。因此,实例标识不是训练后的后处理分类结果,而是在高斯初始化、优化、分割、克隆、剪枝和网格提取过程中连续保持的属性。这有效地避免了在全局网格已经生成后由于被动分离导致的粘附和错误分配问题。
3.2.2. 建筑物区域外观重建目标
对于每个建筑物实例,实例级别的渲染可以表示为:(17)(I?i,k,A?i,k,D?i,k)=RenderGj∣zj=k,i。这里,A?i,k表示该建筑物实例在图像中累积的可见不透明度,D?i,k表示渲染的实例深度。与简单的3D投影不同,A?i,k是通过标准3DGS的可见性和透射率累积得到的,因此反映了高斯分布对图像形成的实际贡献。为了保持3DGS的外观重建能力,同时防止道路、植被和车辆等非建筑物区域影响建筑物高斯分布的优化,我们遵循了3DGS的原始光度重建损失公式,但仅在建筑物掩码的并集范围内进行计算。设Miunion=?kMi,kopt表示视图i中所有优化后的建筑物实例掩码的并集,I?i表示从所有建筑物高斯分布渲染出的彩色图像。建筑物区域外观重建损失可以表示为:(18)Lphoto=∑iL3DGSI?i,Ii;Miunion。这里,L3DGS(?)表示原始3DGS中的光度重建项,包括L1颜色误差和SSIM结构误差。分号后的掩码Miunion表示损失仅在建筑物掩码的并集范围内计算。这种设计没有改变3DGS的基本外观优化目标,而是将优化区域限制在建筑物区域内,从而减少了背景纹理和非建筑物对象对建筑物重建的干扰。
3.2.3. 在可见性约束下的跨实例排他性
相邻建筑物在图像平面上可能会重叠。如果没有约束,不同实例的高斯分布可能会在同一像素区域同时产生高不透明度,导致边界粘附。然而,在真实场景中,前景和背景建筑物也可能沿着相同的相机光线共存。因此,不应简单地在所有重叠区域对实例共存进行惩罚。为了避免抑制真实的遮挡关系,我们仅在代理指示前景竞争可靠的情况下施加跨实例排他性约束:(19)Lexcl=∑i∑k
3.3.2. 遮挡感知的实例监督和深度顺序规范
遮挡感知的实例掩码监督损失定义为:(24)lmaskocc=∑i∑k∑x∈ci,kbcea?i,k(x),mi,kopt(x)|ci,k|+?。这里,bce(?,?)表示二元交叉熵,a?i,k(x)是从实例高斯分布渲染出的不透明度,mi,kopt(x)是优化的2d实例掩码,?是一个小常数,用于避免除以零。与普通的掩码损失不同,这种损失仅在代理指示可靠前景和遮挡顺序的区域施加强监督。因此,它避免了在遮挡区域内错误地抑制真实的建筑物高斯分布。
深度顺序规范损失定义为:(25)lord=∑i∑k∑x∈bi,ka?i,k(x)max0,di,f(x)+(x)+?d?d?i,k(x)。这里,f(x)表示在像素x处明显位于建筑物k前面的代理实例。这个项仅惩罚那些明显属于背景建筑物的高斯分布,而不将代理表面视为准确的几何真实值。整体目标为:(26)l=lphoto+λmasklmaskocc+λexcllexcl+λordlord,其中λmask、λexcl和λord是每个损失项的权重系数。
3.3.3. 受支持域约束的密度增强和剪枝
标准3dgs的密度增强策略主要依赖于图像空间梯度。然而,在航空城市场景中,高梯度也可能来自树冠、道路纹理、阴影边界或不准确的分割区域。直接根据梯度增强高斯分布可能会在非建筑物区域引入冗余的基元或在遮挡边界周围产生浮动结构。为了解决这个问题,我们没有引入额外的训练损失,而是使用实例掩码支持和支持域一致性作为可靠性线索来调节标准的密度增强和剪枝过程。对于高斯分布gj,设μj表示其中心,zj表示其建筑物实例id。它在视图i中的投影像素表示为xi,j=πi(μj)。我们使用vj表示gj的有效视图集,包括xi,j位于图像内且不违反基于代理的可见性关系的视图。排除具有明显代理顺序违规的视图。实例掩码支持项定义为:(27)sjmask=1|vj|∑i∈vjmi,zjopt(xi,j)。这里,mi,zjopt是视图i中建筑物实例zj的优化实例掩码。较高的sjmask表示高斯分布在其代理有效视图中的支持更加一致。支持域项定义为:(28)sjsup=1μj∈ωzj。这里,ωzj表示与gj相关联的建筑物实例的代理边界支持域。如果高斯中心位于其自身的建筑支持域内,则该项等于1;否则为0。最终的支持可靠性得分定义为:(29)qj=sjmasksjsup。如果vj为空,则设置qj=0。因此,高的qj意味着高斯分布得到了其实例掩码的支持,满足了基于代理的可见性检查,并且位于其自身的建筑支持域内。在密度增强过程中,我们仍然遵循标准3dgs的基于梯度的候选项选择,但使用qj来抑制不可靠的候选项。因此,只有在高斯分布也得到其实例掩码的支持并且位于其支持域内时,才会优先对其进行密度增强。这防止了来自背景纹理、植被边界或不确定遮挡区域的梯度导致的高斯分布不受控制的增长。在剪枝过程中,qj与标准的基于不透明度的剪枝标准一起使用。当高斯分布的不透明度较低且支持可靠性也较低时,会更积极地移除它们。特别是,那些始终位于其实例掩码之外、违反基于代理的可见性或偏离其支持域的高斯分布会被优先剪除。在网格提取后,应用clean操作来移除小的不连通三角形簇。具体来说,我们保留主要连通的组件,并丢弃包含少于1000个三角形的小片段,然后移除未引用的顶点和退化的三角形。这个后处理步骤进一步抑制了漂浮的网格片段和孤立的重建噪声,而不改变主要的建筑表面。
通过这种方式,所提出的策略没有改变3dgs的基本密度增强和剪枝机制。相反,它使用实例和代理信息来调节高斯分布的生长位置以及哪些不可靠的基元应该被移除。因此,代理指导了高斯场的演化,而不是直接作为采样的高斯基元或作为精确的表面约束。
3.4. 每个建筑物的局部tsdf网格提取
优化后,得到的高斯场包含多个建筑物实例。由于每个高斯在初始化阶段都被分配了一个实例id,并且在中密度增强过程中生成的高斯分布继承了其父高斯的实例id,因此网格提取阶段不需要在生成全局网格后重新聚类全局高斯分布或进行面投票。相反,我们直接根据它们的实例id分离高斯分布,并为每个建筑物独立渲染深度和不透明度图。
3.4.1. 按实例id和局部深度进行高斯分离和渲染
优化后,我们根据它们的实例id分离保留的高斯分布。第k个建筑物的高斯分布集定义为:(30)gkr=gj∣zj=k,gj∈gr,其中gr表示剪枝后保留的所有高斯分布,zj是高斯gj的实例id。然后我们独立渲染每个建筑的深度图:(31)d?i,k=renderdepth(gkr,i)。这里,d?i,k表示仅来自属于建筑物k的高斯分布的深度图。由于在渲染之前排除了其他实例的高斯分布,因此相邻建筑物和背景对象不会参与后续的局部tsdf融合。
3.4.2. 基于代理边界范围的局部tsdf融合和网格生成
根据实例id分离优化后的高斯分布后,对每个建筑物独立进行tsdf融合。在这个阶段不使用连续的置信度加权。对于视图i中的建筑物k,渲染的实例深度图d?i,k直接通过其优化的实例掩码mi,kopt进行过滤。具体来说,有效的深度图定义为:(32)di,kvalid(x)=d?i,k(x),mi,kopt(x)=1,invalid,otherwise。因为d?i,k仅来自实例id满足zj=k的高斯分布,所以实例id首先分离了3d表示,而mi,kopt进一步限制了有效的图像空间观测。 adher to 代理表面。 3.3.2. 遮挡感知的实例监督和深度顺序规范 遮挡感知的实例掩码监督损失定义为:(24)lmaskocc=∑i∑k∑x∈Ci,kBCEA?i,k(x),Mi,kopt(x)|Ci,k|+?。这里,BCE(?,?)表示二元交叉熵,A?i,k(x)是从实例高斯分布渲染出的不透明度,Mi,kopt(x)是优化的2D实例掩码,?是一个小常数,用于避免除以零。与普通的掩码损失不同,这种损失仅在代理指示可靠前景和遮挡顺序的区域施加强监督。因此,它避免了在遮挡区域内错误地抑制真实的建筑物高斯分布。 深度顺序规范损失定义为:(25)lord=∑i∑k∑x∈Bi,kA?i,k(x)max0,Di,f(x)+(x)+?d?D?i,k(x)。这里,f(x)表示在像素x处明显位于建筑物k前面的代理实例。这个项仅惩罚那些明显属于背景建筑物的高斯分布,而不将代理表面视为准确的几何真实值。整体目标为:(26)L=Lphoto+λmaskLmaskocc+λexclLexcl+λordLord,其中λmask、λexcl和λord是每个损失项的权重系数。 3.3.3. 受支持域约束的密度增强和剪枝 标准3dgs的密度增强策略主要依赖于图像空间梯度。然而,在航空城市场景中,高梯度也可能来自树冠、道路纹理、阴影边界或不准确的分割区域。直接根据梯度增强高斯分布可能会在非建筑物区域引入冗余的基元或在遮挡边界周围产生浮动结构。为了解决这个问题,我们没有引入额外的训练损失,而是使用实例掩码支持和支持域一致性作为可靠性线索来调节标准的密度增强和剪枝过程。对于高斯分布gj,设μj表示其中心,zj表示其建筑物实例id。它在视图i中的投影像素表示为xi,j=πi(μj)。我们使用Vj表示Gj的有效视图集,包括xi,j位于图像内且不违反基于代理的可见性关系的视图。排除具有明显代理顺序违规的视图。实例掩码支持项定义为:(27)sjmask=1|Vj|∑i∈VjMi,zjopt(xi,j)。这里,Mi,zjopt是视图i中建筑物实例zj的优化实例掩码。较高的sjmask表示高斯分布在其代理有效视图中的支持更加一致。支持域项定义为:(28)sjsup=1μj∈Ωzj。这里,Ωzj表示与Gj相关联的建筑物实例的代理边界支持域。如果高斯中心位于其自身的建筑支持域内,则该项等于1;否则为0。最终的支持可靠性得分定义为:(29)qj=sjmasksjsup。如果Vj为空,则设置qj=0。因此,高的qj意味着高斯分布得到了其实例掩码的支持,满足了基于代理的可见性检查,并且位于其自身的建筑支持域内。在密度增强过程中,我们仍然遵循标准3DGS的基于梯度的候选项选择,但使用qj来抑制不可靠的候选项。因此,只有在高斯分布也得到其实例掩码的支持并且位于其支持域内时,才会优先对其进行密度增强。这防止了来自背景纹理、植被边界或不确定遮挡区域的梯度导致的高斯分布不受控制的增长。在剪枝过程中,qj与标准的基于不透明度的剪枝标准一起使用。当高斯分布的不透明度较低且支持可靠性也较低时,会更积极地移除它们。特别是,那些始终位于其实例掩码之外、违反基于代理的可见性或偏离其支持域的高斯分布会被优先剪除。在网格提取后,应用Clean操作来移除小的不连通三角形簇。具体来说,我们保留主要连通的组件,并丢弃包含少于1000个三角形的小片段,然后移除未引用的顶点和退化的三角形。这个后处理步骤进一步抑制了漂浮的网格片段和孤立的重建噪声,而不改变主要的建筑表面。 通过这种方式,所提出的策略没有改变3dgs的基本密度增强和剪枝机制。相反,它使用实例和代理信息来调节高斯分布的生长位置以及哪些不可靠的基元应该被移除。因此,代理指导了高斯场的演化,而不是直接作为采样的高斯基元或作为精确的表面约束。 3.4. 每个建筑物的局部tsdf网格提取 优化后,得到的高斯场包含多个建筑物实例。由于每个高斯在初始化阶段都被分配了一个实例id,并且在中密度增强过程中生成的高斯分布继承了其父高斯的实例id,因此网格提取阶段不需要在生成全局网格后重新聚类全局高斯分布或进行面投票。相反,我们直接根据它们的实例id分离高斯分布,并为每个建筑物独立渲染深度和不透明度图。 3.4.1. 按实例id和局部深度进行高斯分离和渲染 优化后,我们根据它们的实例id分离保留的高斯分布。第k个建筑物的高斯分布集定义为:(30)gkr=Gj∣zj=k,Gj∈Gr,其中Gr表示剪枝后保留的所有高斯分布,zj是高斯Gj的实例ID。然后我们独立渲染每个建筑的深度图:(31)D?i,k=RenderDepth(Gkr,i)。这里,D?i,k表示仅来自属于建筑物k的高斯分布的深度图。由于在渲染之前排除了其他实例的高斯分布,因此相邻建筑物和背景对象不会参与后续的局部TSDF融合。 3.4.2. 基于代理边界范围的局部tsdf融合和网格生成 根据实例id分离优化后的高斯分布后,对每个建筑物独立进行tsdf融合。在这个阶段不使用连续的置信度加权。对于视图i中的建筑物k,渲染的实例深度图d?i,k直接通过其优化的实例掩码mi,kopt进行过滤。具体来说,有效的深度图定义为:(32)di,kvalid(x)=>
3.3.2. 遮挡感知的实例监督和深度顺序规范
遮挡感知的实例掩码监督损失定义为:(24)lmaskocc=∑i∑k∑x∈ci,kbcea?i,k(x),mi,kopt(x)|ci,k|+?。这里,bce(?,?)表示二元交叉熵,a?i,k(x)是从实例高斯分布渲染出的不透明度,mi,kopt(x)是优化的2d实例掩码,?是一个小常数,用于避免除以零。与普通的掩码损失不同,这种损失仅在代理指示可靠前景和遮挡顺序的区域施加强监督。因此,它避免了在遮挡区域内错误地抑制真实的建筑物高斯分布。
深度顺序规范损失定义为:(25)lord=∑i∑k∑x∈bi,ka?i,k(x)max0,di,f(x)+(x)+?d?d?i,k(x)。这里,f(x)表示在像素x处明显位于建筑物k前面的代理实例。这个项仅惩罚那些明显属于背景建筑物的高斯分布,而不将代理表面视为准确的几何真实值。整体目标为:(26)l=lphoto+λmasklmaskocc+λexcllexcl+λordlord,其中λmask、λexcl和λord是每个损失项的权重系数。
3.3.3. 受支持域约束的密度增强和剪枝
标准3dgs的密度增强策略主要依赖于图像空间梯度。然而,在航空城市场景中,高梯度也可能来自树冠、道路纹理、阴影边界或不准确的分割区域。直接根据梯度增强高斯分布可能会在非建筑物区域引入冗余的基元或在遮挡边界周围产生浮动结构。为了解决这个问题,我们没有引入额外的训练损失,而是使用实例掩码支持和支持域一致性作为可靠性线索来调节标准的密度增强和剪枝过程。对于高斯分布gj,设μj表示其中心,zj表示其建筑物实例id。它在视图i中的投影像素表示为xi,j=πi(μj)。我们使用vj表示gj的有效视图集,包括xi,j位于图像内且不违反基于代理的可见性关系的视图。排除具有明显代理顺序违规的视图。实例掩码支持项定义为:(27)sjmask=1|vj|∑i∈vjmi,zjopt(xi,j)。这里,mi,zjopt是视图i中建筑物实例zj的优化实例掩码。较高的sjmask表示高斯分布在其代理有效视图中的支持更加一致。支持域项定义为:(28)sjsup=1μj∈ωzj。这里,ωzj表示与gj相关联的建筑物实例的代理边界支持域。如果高斯中心位于其自身的建筑支持域内,则该项等于1;否则为0。最终的支持可靠性得分定义为:(29)qj=sjmasksjsup。如果vj为空,则设置qj=0。因此,高的qj意味着高斯分布得到了其实例掩码的支持,满足了基于代理的可见性检查,并且位于其自身的建筑支持域内。在密度增强过程中,我们仍然遵循标准3dgs的基于梯度的候选项选择,但使用qj来抑制不可靠的候选项。因此,只有在高斯分布也得到其实例掩码的支持并且位于其支持域内时,才会优先对其进行密度增强。这防止了来自背景纹理、植被边界或不确定遮挡区域的梯度导致的高斯分布不受控制的增长。在剪枝过程中,qj与标准的基于不透明度的剪枝标准一起使用。当高斯分布的不透明度较低且支持可靠性也较低时,会更积极地移除它们。特别是,那些始终位于其实例掩码之外、违反基于代理的可见性或偏离其支持域的高斯分布会被优先剪除。在网格提取后,应用clean操作来移除小的不连通三角形簇。具体来说,我们保留主要连通的组件,并丢弃包含少于1000个三角形的小片段,然后移除未引用的顶点和退化的三角形。这个后处理步骤进一步抑制了漂浮的网格片段和孤立的重建噪声,而不改变主要的建筑表面。
通过这种方式,所提出的策略没有改变3dgs的基本密度增强和剪枝机制。相反,它使用实例和代理信息来调节高斯分布的生长位置以及哪些不可靠的基元应该被移除。因此,代理指导了高斯场的演化,而不是直接作为采样的高斯基元或作为精确的表面约束。
3.4. 每个建筑物的局部tsdf网格提取
优化后,得到的高斯场包含多个建筑物实例。由于每个高斯在初始化阶段都被分配了一个实例id,并且在中密度增强过程中生成的高斯分布继承了其父高斯的实例id,因此网格提取阶段不需要在生成全局网格后重新聚类全局高斯分布或进行面投票。相反,我们直接根据它们的实例id分离高斯分布,并为每个建筑物独立渲染深度和不透明度图。
3.4.1. 按实例id和局部深度进行高斯分离和渲染
优化后,我们根据它们的实例id分离保留的高斯分布。第k个建筑物的高斯分布集定义为:(30)gkr=gj∣zj=k,gj∈gr,其中gr表示剪枝后保留的所有高斯分布,zj是高斯gj的实例id。然后我们独立渲染每个建筑的深度图:(31)d?i,k=renderdepth(gkr,i)。这里,d?i,k表示仅来自属于建筑物k的高斯分布的深度图。由于在渲染之前排除了其他实例的高斯分布,因此相邻建筑物和背景对象不会参与后续的局部tsdf融合。
3.4.2. 基于代理边界范围的局部tsdf融合和网格生成
根据实例id分离优化后的高斯分布后,对每个建筑物独立进行tsdf融合。在这个阶段不使用连续的置信度加权。对于视图i中的建筑物k,渲染的实例深度图d?i,k直接通过其优化的实例掩码mi,kopt进行过滤。具体来说,有效的深度图定义为:(32)di,kvalid(x)=d?i,k(x),mi,kopt(x)=1,invalid,otherwise。因为d?i,k仅来自实例id满足zj=k的高斯分布,所以实例id首先分离了3d表示,而mi,kopt进一步限制了有效的图像空间观测。>因此,在进行TSDF融合之前,会排除来自其他建筑物和背景区域的深度样本,而不是给它们分配较低的融合权重。然后,根据代理边界域Ωk内的有效深度观测值构建局部TSDF场:(33)Φk=TSDFDi,kvalidi∈Vk,Ωk,其中Vk表示观测建筑物k的视图。只有那些反投影位置落在Ωk内的有效遮罩深度样本才会被积分。因此,代理仅用于限定局部重建体积,而实际表面几何形状则由多视图深度观测值确定。初始网格是通过Marching Cubes方法从局部TSDF场的零水平集提取的:(34)Mk0=MarchingCubes(Φk)。随后应用一个简单的后处理步骤:移除代理边界域Ωk外的网格面,并通过保留最大的连通组件(定义为包含最多网格面的组件)来消除断开的浮动组件。在此清理步骤中不使用额外的高斯支持分数或置信度阈值。得到的建筑物网格表示为Mk。在定量评估中不使用底部闭合。如果为了可视化或资产完整性添加了底部表面,它仅在评估后应用,并且不会对任何报告的定量指标产生影响。
3.4.3 最终输出和方法特点
所提出方法的最终输出是一组实例级建筑物网格,表示为Mkk=1K。与那些先进行全场景TSDF融合再对网格面进行投票的方法不同,我们的方法在TSDF融合之前根据高斯实例ID对建筑物进行分离。因此,每个建筑物都是在独立的代理边界局部体积内重建的。这种设计减少了相邻建筑物之间的几何粘连,降低了背景污染,并避免了训练后由于实例重新分配引起的不稳定性。
4. 实验
本节描述了数据集、评估协议和实现方法,随后是比较、消融研究以及鲁棒性和计算成本的分析。
4.1 数据集和评估指标
首先描述了实验场景和参考数据。然后定义了用于评估的几何和实例分离指标。
4.1.1 数据集
为了评估所提出方法在不同场景规模、建筑物密度和采集条件下的建筑物实例网格重建能力,我们在两个数据源的三个场景上进行了实验:GauU-Scene数据集中的SMBU和UPPER场景,以及本研究独立使用无人机图像构建的LCG场景。这三个场景都包含了高分辨率的多视图航拍图像、相机参数和定量评估所需的参考注释,尽管参考数据的来源和构建程序各不相同。三个场景的详细统计信息在表1中报告。
SMBU和UPPER是GauU-Scene数据集中的两个代表性城市场景。SMBU场景包含563张航拍图像,分辨率为5468 × 3636像素,覆盖面积约为90,800平方米。它包括22栋建筑物,平均每栋建筑物有4370个SfM点。这些建筑物排列相对密集,其中一些建筑物表现出明显的投影重叠和遮挡关系。因此,这个场景适合在单个建筑物级别进行定量评估,并用于不同实例感知重建方法之间的详细比较。
表1. 三个实验场景的统计信息。
| 场景 | 图像数量 | 3D实例数量 | 面积(m2) | SfM点数 |
|------------|---------|---------|------------|---------|
| SMBU | 563 | 22 | 90,800 | 4370 |
| UPPER | 713 | 199 | 92,300 | 2697 |
| LCG | 680 | 485 | 54,800 | 1906 |
UPPER场景包含713张航拍图像,分辨率为5469 × 3638像素,覆盖面积约为92,300平方米。它包括19栋建筑物,平均每栋建筑物有2697个SfM点。与SMBU相比,UPPER中的建筑物相关SfM点较为稀疏,这使得该场景适合在3D几何观测不足的情况下评估不同方法的鲁棒性。
为了进一步评估所提出方法对独立获取的现实世界数据的适用性,我们使用自己收集的无人机调查数据构建了LCG场景。图像是使用配备FC6310R 20-MP 1英寸CMOS相机的DJI Phantom 4 RTK无人机拍摄的,该相机具有8.8毫米的焦距。原始图像的分辨率为5472 × 3648像素。无人机调查是在距地面大约120米的相对飞行高度进行的。记录的飞行轨迹大致呈螺旋状。根据记录的相机中心间距和飞行线间距,名义上的前后重叠均为大约80%。相应的名义地面采样距离(GSD)约为3.3厘米/像素。相机以大约-60°的倾斜角度操作,对应的观测方向大约偏离垂直方向30°。
完整的无人机调查包含的图像数量远多于实验中使用的图像数量。对于LCG实验,根据评估区域的空间范围和所需的多视图覆盖范围,从完整采集的数据中选择了680张图像。这些图像覆盖了大约54,800平方米的面积,包含了48个不同规模、屋顶结构和遮挡条件的建筑物实例。每个建筑物实例平均相关的SfM点数为1906个。该场景包含密集分布的建筑物、道路、植被和复杂的建筑物间遮挡,而单个建筑物的可用SfM观测数据相对稀缺。因此,LCG场景为评估所提出方法在复杂现实世界城市条件下的泛化能力提供了一个具有挑战性的环境。
此外,还获取了覆盖LCG场景的LiDAR点云数据,并用作定量评估的几何参考。为了在SfM重建和LiDAR点云之间建立共同的空间参考,使用CloudCompare通过两阶段程序对这两个点云进行了配准。首先进行粗略的手动配准,以获得SfM和LiDAR点云之间的初始对齐。然后使用迭代最近点(ICP)算法对齐进行细化。参考LiDAR点云报告的水平(平面)精度约为3厘米,垂直精度约为4厘米。配准后,LiDAR点云被用作重建建筑物实例评估的几何参考。
用于组织定量评估的建筑物实例区域和标签是由我们的研究团队成员手动解释、注释和验证的。这些手动注释定义了建筑物实例和评估区域,而用于准确性评估的几何参考是由配准后的LiDAR点云提供的。由于与调查区域和收集的数据相关的保密限制,LCG图像、LiDAR数据和相应的注释不能公开(见图4)。
4.1.2 评估指标
为了定量评估重建的建筑物实例网格的几何质量,我们采用了基于点集距离的Chamfer距离(CD)和第95百分位Hausdorff距离(HD95)。精度、召回率和F1分数也作为基于阈值的指标来衡量重建的准确性和完整性。
对于每个评估的建筑物实例,重建的网格和相应的参考数据都限制在相同的手动定义的评估区域内。所有比较方法都使用相同的评估区域。除了这种空间裁剪外,在评估之前没有应用任何额外的方法特定清理。因此,在定量比较中保留了评估区域内的错误表面和局部几何伪影。对于自行收集的LCG场景,参考数据是由我们的研究团队手动注释和验证的。
从每个重建的网格中根据三角形面积均匀采样点。设A表示从重建网格中采样的点集,B表示相应的参考点集。除非另有说明,否则从每个重建的网格中采样NA=100,000个点。当参考点集包含超过100,000个点时,均匀 subsample 到NB=100,000个点;否则,保留所有可用的参考点。对于每个建筑物实例,所有方法都使用相同的参考点集B。
Chamfer距离测量重建点集和参考点集之间的平均双向最近邻距离:(35)CD(A,B)=1/2∑(|a∈A|min(b∈B|a?b|2)+(1|B|∑b∈B|min(a∈A|b?a|2)。
较低的CD表示重建表面和参考几何形状之间的平均几何偏差较小。
为了在减少对少数孤立异常值的敏感度的同时描述大的局部几何误差,我们使用第95百分位Hausdorff距离(HD95)而不是传统的最大Hausdorff距离。我们首先定义两个定向最近邻距离集为 (36)DA→B=min(b∈B|a?b|2|a∈A) 和 (37)DB→A=min(a∈A|b?a|2|b∈B)。然后定义HD95为 (38)HD95(A,B)=max(P95(DA→B), P95(DB→A),其中P95(?)表示距离集的第95百分位数。与基于单个最大误差的传统Hausdorff距离相比,HD95提供了更稳健的严重几何偏差测量,同时减少了孤立异常点的影响。
给定一个距离阈值τ,精度定义为重建点中最近距离小于τ的点所占的比例:(39)Precision=|a∈A|min(b∈B|a?b|2<τ|a|。 召回率定义为参考点中最近距离小于τ的点所占的比例:(40)recall=>τ|a|。><τ|b|。
f1分数是精度和召回率的调和平均值:(41)f1=2?precision?recall/precision+recall。
在我们的实验中,距离阈值设置为τ=0.3米。对于包含多个建筑物实例的场景,首先分别计算每个评估建筑物的cd、hd95、精度和召回率,然后对所有评估实例进行平均。较低的cd和hd95值表示更好的几何精度,而较高的精度、召回率和f1分数表示更好的重建准确性和完整性。
4.1.3 实例分离指标
除了传统的点到表面重建指标外,我们还引入了三个指标来直接评估建筑物之间的粘连和背景污染。这种评估是在使用传统几何指标的手动定义的单个建筑物裁剪之前对原始重建场景进行的。因此,在评估过程中保留了相邻建筑物和非建筑物表面之间的错误连接。
对于所有方法和场景,我们使用一组统一的评估参数,不进行方法或场景特定的调整。具体来说,我们将邻接阈值设置为dadj=5.0米,体素分辨率设置为rv=0.2米,表面关联阈值设置为τs=τb=0.3米。邻接阈值仅基于真实的建筑物轮廓来限制评估到空间相邻的建筑物对。表面关联阈值遵循我们在传统几何评估中使用的相同的0.3米距离容忍度,而体素分辨率设置得更小,以提供足够细的空间离散化用于连通性分析。这些参数在所有实验中都是固定的。
跨实例连接率(ccr)。我们首先从真实的建筑物轮廓中识别空间相邻的建筑物对。当它们真实的轮廓之间的最小水平距离小于dadj=5.0米时,认为这两个建筑物是相邻的。对于每一对相邻的建筑物,预测的网格在固定的真实轮廓感兴趣区域内以rv=0.2米的分辨率进行体素化。如果一个26连接的预测组件包含位于τs=0.3米范围内的真实建筑物表面的占用体素,则认为该组件错误连接。ccr定义为表现出此类跨实例连接的相邻建筑物对的比例:(42)ccr=∑(i,j)∈acij|a|·b|。
桥梁面面积比(bfar)。对于每一对错误连接的建筑物,我们进一步测量未受支撑连接的表面面积。当一个预测的表面元素属于跨实例连接的组件,并且它与两个相应的真实建筑物表面的距离超过τb=0.3米时,该预测的表面元素被视为桥梁元素。bfar是此类桥梁元素的总面积除以成对评估区域内的重建表面面积:(43)bfar=abridgearoi。
背景污染比率(bcr)。对于每个建筑物,我们从其真实的边界体积中定义一个固定的评估区域,不进行方法特定的手动清理。均匀采样的预测表面点被分配给最近的真实建筑物实例。分配给另一个建筑物或超出所有建筑物参考范围之外的样本被视为污染。bcr定义为 (44)bcr=nother+nbackground/npred。
对于所有三个指标,较低的值更好。
4.2 实现细节
实验流程包括相机参数和稀疏点云估计、多视图建筑物遮罩生成、建筑物实例构建、分层代理生成、实例感知高斯优化以及每个建筑物的tsdf网格提取。首先,使用统一的sfm流程来估计输入图像的相机内在和外在参数,并生成稀疏的3d点云。对于2d建筑物区域的提取,采用grounded-sam根据与建筑物相关的文本提示生成初始建筑物候选遮罩。随后,将与建筑物相关的sfm点投影到每个视图上,并用作sam2的点提示。进一步结合多视图几何一致性来优化建筑物实例遮罩。
对于每个粗略的建筑物实例,从其相应的sfm点构建一个分层代理。首先沿高度方向划分实例点云。然后提取每个高度层的水平轮廓,并将相邻层的轮廓连接起来,形成建筑物的封闭代理支持域。这个代理不用于在其表面上额外采样或初始化高斯。 f1分数是精度和召回率的调和平均值:(41)f1=2?Precision?Recall/Precision+Recall。 在我们的实验中,距离阈值设置为τ=0.3米。对于包含多个建筑物实例的场景,首先分别计算每个评估建筑物的CD、HD95、精度和召回率,然后对所有评估实例进行平均。较低的CD和HD95值表示更好的几何精度,而较高的精度、召回率和F1分数表示更好的重建准确性和完整性。 4.1.3 实例分离指标 除了传统的点到表面重建指标外,我们还引入了三个指标来直接评估建筑物之间的粘连和背景污染。这种评估是在使用传统几何指标的手动定义的单个建筑物裁剪之前对原始重建场景进行的。因此,在评估过程中保留了相邻建筑物和非建筑物表面之间的错误连接。 对于所有方法和场景,我们使用一组统一的评估参数,不进行方法或场景特定的调整。具体来说,我们将邻接阈值设置为dadj=5.0米,体素分辨率设置为rv=0.2米,表面关联阈值设置为τs=τb=0.3米。邻接阈值仅基于真实的建筑物轮廓来限制评估到空间相邻的建筑物对。表面关联阈值遵循我们在传统几何评估中使用的相同的0.3米距离容忍度,而体素分辨率设置得更小,以提供足够细的空间离散化用于连通性分析。这些参数在所有实验中都是固定的。 跨实例连接率(ccr)。我们首先从真实的建筑物轮廓中识别空间相邻的建筑物对。当它们真实的轮廓之间的最小水平距离小于dadj=5.0米时,认为这两个建筑物是相邻的。对于每一对相邻的建筑物,预测的网格在固定的真实轮廓感兴趣区域内以rv=0.2米的分辨率进行体素化。如果一个26连接的预测组件包含位于τs=0.3米范围内的真实建筑物表面的占用体素,则认为该组件错误连接。CCR定义为表现出此类跨实例连接的相邻建筑物对的比例:(42)CCR=∑(i,j)∈ACij|A|·B|。 桥梁面面积比(bfar)。对于每一对错误连接的建筑物,我们进一步测量未受支撑连接的表面面积。当一个预测的表面元素属于跨实例连接的组件,并且它与两个相应的真实建筑物表面的距离超过τb=0.3米时,该预测的表面元素被视为桥梁元素。BFAR是此类桥梁元素的总面积除以成对评估区域内的重建表面面积:(43)BFAR=AbridgeAROI。 背景污染比率(bcr)。对于每个建筑物,我们从其真实的边界体积中定义一个固定的评估区域,不进行方法特定的手动清理。均匀采样的预测表面点被分配给最近的真实建筑物实例。分配给另一个建筑物或超出所有建筑物参考范围之外的样本被视为污染。bcr定义为 (44)bcr=Nother+Nbackground/Npred。 对于所有三个指标,较低的值更好。 4.2 实现细节 实验流程包括相机参数和稀疏点云估计、多视图建筑物遮罩生成、建筑物实例构建、分层代理生成、实例感知高斯优化以及每个建筑物的tsdf网格提取。首先,使用统一的sfm流程来估计输入图像的相机内在和外在参数,并生成稀疏的3d点云。对于2d建筑物区域的提取,采用grounded-sam根据与建筑物相关的文本提示生成初始建筑物候选遮罩。随后,将与建筑物相关的sfm点投影到每个视图上,并用作sam2的点提示。进一步结合多视图几何一致性来优化建筑物实例遮罩。>τ|b|。
f1分数是精度和召回率的调和平均值:(41)f1=2?precision?recall/precision+recall。
在我们的实验中,距离阈值设置为τ=0.3米。对于包含多个建筑物实例的场景,首先分别计算每个评估建筑物的cd、hd95、精度和召回率,然后对所有评估实例进行平均。较低的cd和hd95值表示更好的几何精度,而较高的精度、召回率和f1分数表示更好的重建准确性和完整性。
4.1.3 实例分离指标
除了传统的点到表面重建指标外,我们还引入了三个指标来直接评估建筑物之间的粘连和背景污染。这种评估是在使用传统几何指标的手动定义的单个建筑物裁剪之前对原始重建场景进行的。因此,在评估过程中保留了相邻建筑物和非建筑物表面之间的错误连接。
对于所有方法和场景,我们使用一组统一的评估参数,不进行方法或场景特定的调整。具体来说,我们将邻接阈值设置为dadj=5.0米,体素分辨率设置为rv=0.2米,表面关联阈值设置为τs=τb=0.3米。邻接阈值仅基于真实的建筑物轮廓来限制评估到空间相邻的建筑物对。表面关联阈值遵循我们在传统几何评估中使用的相同的0.3米距离容忍度,而体素分辨率设置得更小,以提供足够细的空间离散化用于连通性分析。这些参数在所有实验中都是固定的。
跨实例连接率(ccr)。我们首先从真实的建筑物轮廓中识别空间相邻的建筑物对。当它们真实的轮廓之间的最小水平距离小于dadj=5.0米时,认为这两个建筑物是相邻的。对于每一对相邻的建筑物,预测的网格在固定的真实轮廓感兴趣区域内以rv=0.2米的分辨率进行体素化。如果一个26连接的预测组件包含位于τs=0.3米范围内的真实建筑物表面的占用体素,则认为该组件错误连接。ccr定义为表现出此类跨实例连接的相邻建筑物对的比例:(42)ccr=∑(i,j)∈acij|a|·b|。
桥梁面面积比(bfar)。对于每一对错误连接的建筑物,我们进一步测量未受支撑连接的表面面积。当一个预测的表面元素属于跨实例连接的组件,并且它与两个相应的真实建筑物表面的距离超过τb=0.3米时,该预测的表面元素被视为桥梁元素。bfar是此类桥梁元素的总面积除以成对评估区域内的重建表面面积:(43)bfar=abridgearoi。
背景污染比率(bcr)。对于每个建筑物,我们从其真实的边界体积中定义一个固定的评估区域,不进行方法特定的手动清理。均匀采样的预测表面点被分配给最近的真实建筑物实例。分配给另一个建筑物或超出所有建筑物参考范围之外的样本被视为污染。bcr定义为 (44)bcr=nother+nbackground/npred。
对于所有三个指标,较低的值更好。
4.2 实现细节
实验流程包括相机参数和稀疏点云估计、多视图建筑物遮罩生成、建筑物实例构建、分层代理生成、实例感知高斯优化以及每个建筑物的tsdf网格提取。首先,使用统一的sfm流程来估计输入图像的相机内在和外在参数,并生成稀疏的3d点云。对于2d建筑物区域的提取,采用grounded-sam根据与建筑物相关的文本提示生成初始建筑物候选遮罩。随后,将与建筑物相关的sfm点投影到每个视图上,并用作sam2的点提示。进一步结合多视图几何一致性来优化建筑物实例遮罩。
对于每个粗略的建筑物实例,从其相应的sfm点构建一个分层代理。首先沿高度方向划分实例点云。然后提取每个高度层的水平轮廓,并将相邻层的轮廓连接起来,形成建筑物的封闭代理支持域。这个代理不用于在其表面上额外采样或初始化高斯。>相反,它被用来限制掩码优化、估计建筑间的遮挡关系、限制高斯场的空间增长,并确定每个建筑的TSDF提取的局部融合区域。图2展示了使用SAM2和代理进行协作建筑实例掩码优化的基本原理,图3显示了优化后的建筑掩码结果。在优化过程中,我们将λmask、λexcl和λord分别设置为0.1、0.5和0.2。在高斯重建阶段,只使用与建筑相关的SfM点来初始化高斯原语,并为每个高斯分配一个离散的建筑实例ID。在密集化过程中,新生成的高斯继承其父高斯的实例ID,确保在训练和网格提取过程中建筑实例的身份保持一致。为了验证所提出模块对不同高斯到网格框架的适用性,我们将它们集成到2DGS、GOF和PGSR中,得到了2DGS+Ours、GOF+Ours和PGSR+Ours。所有模型都进行了30,000次迭代训练。每个基线及其对应的“+Ours”版本使用相同的输入数据、初始化结果和训练迭代次数。除了新引入的实例处理模块外,所有基线模型都遵循其公共实现的默认训练设置。训练完成后,根据高斯携带的实例ID将全场景高斯场划分为多个单建筑高斯集。对于每个建筑,只使用相应的高斯来渲染多视图深度图,并在代理限定的局部空间内进行独立的TSDF融合。在所有实验中,体素大小设置为0.5米,SDF截断距离设置为2米,深度截断距离设置为250米。最后,使用Marching Cubes从每个建筑的TSDF场的零水平集提取网格,然后进行连通组件清理并移除支撑域外的网格面。所有比较方法都使用相同的评估区域和参考数据进行评估。所有实验都在同一工作站上进行,该工作站配备了AMD EPYC 7543 CPU、512 GB系统内存和一个NVIDIA A100 80 GB GPU。实现使用了CUDA 11.7和PyTorch 1.13.1。对于训练,输入图像的大小被调整为长边为1600像素,同时保持原始的纵横比。4.3. 实例初始化的准确性由于所提出的框架依赖于在高斯优化之前建立的建筑实例身份,我们进一步单独评估了初始化阶段的可靠性。这个实验在高斯训练之前进行,仅考虑从多视图SfM掩码投票生成的初始建筑实例点集。目的是验证所提出的初始化是否能够正确地将稀疏的SfM观测与建筑级别的实例关联起来,而不是评估最终的网格质量。对于每个场景,将初始化的SfM建筑实例与手动注释的3D建筑实例进行比较。我们将初始化的实例点云和参考建筑实例投影到水平面上,并使用相同的网格分辨率进行体素化。然后,在平面占用图上计算每个初始化实例与每个参考实例之间的成对IoU。使用匈牙利匹配得到一对一的实例对应关系。当匹配的参考实例的占用IoU大于0.25时,认为该实例匹配成功。基于匹配对,我们报告了实例级别的精确度、召回率、F1-score和平均IoU (mIoU)。如表2所示,初始化阶段在所有三个场景上都实现了高实例级别的匹配准确性。结果表明,大多数建筑实例可以从稀疏的SfM点和多视图掩码投票中正确恢复。LCG场景包含更多的建筑实例,每个建筑的平均SfM点较少,导致匹配准确性略低于SMBU和UPPER。尽管如此,其F1-score仍然很高,表明初始化为后续的实例感知高斯优化和网格提取提供了足够可靠的建筑身份。表2. 高斯优化之前的初始建筑实例匹配准确性。场景#GT#InitMatchedPrecision↑Recall↑F1↑mIoU↑SMBU2223210.91300.95450.93330.7421UPPER1920180.90150.94740.92310.7186LCG4851440.86270.91670.88890.68144.4. 相比方法我们将提出的方法与传统的光度测量重建方法和最近的基于3D Gaussian Splatting (3DGS)的表面重建方法进行比较。传统方法包括COLMAP [50] 和ContextCapture [51],它们分别代表了广泛使用的SfM/MVS和商业光度测量重建流程。对于基于高斯的重建,我们包括了2DGS [46]、GOF [47] 和PGSR [52] 作为代表性的通用高斯到网格基线。我们进一步与MGFs [35]、PG-SAG [7] 和GS2Mesh [48] 进行比较,这些方法与建筑导向或大规模表面重建更为相关。其他近期方法,包括GS4Buildings、GS4City、Proxy-GS、CityGo、SF-Recon和GBM,在相关工作中有所讨论,但由于输入假设、任务公式、所需先验或可重复性约束的不兼容性,没有包括在定量比较中。具体来说,GS4Buildings需要LoD2建筑先验,而GS4City依赖于LoD3 CityGML模型,主要目标是层次化的城市语义理解而不是表面网格重建。Proxy-GS和CityGo采用了与我们的图像到网格设置不同的输入和输出假设的代理辅助表示。SF-Recon在评估时没有提供兼容的公共实现。GBM是为使用SAM2、GroundingDINO和2DGS从Google Earth Studio图像中提取单建筑网格而设计的,因此与我们的基于UAV的多建筑重建设置有很大不同。因此,我们将定量比较限制在可以在兼容的输入、输出和评估协议下进行的方法上。基于2DGS、GOF和PGSR,我们进一步整合了提出的实例掩码优化、代理引导的支持约束和实例感知高斯处理机制,得到了方法+Ours。在适用的情况下,所有方法都使用相同的输入图像、相机参数、SfM初始化和评估协议进行评估。4.5. 性能比较和分析首先提出定性比较,然后是定量重建结果和跨实例误差的分析。4.5.1. 定性结果所提出的方法在不同的数据集、建筑密度和基线重建框架上实现了持续的性能提升。与原始的高斯到网格方法相比,结合所提出的模块后,重建的网格在建筑轮廓完整性、实例边界清晰度和局部表面稳定性方面有了显著改进。这些改进在相邻建筑之间有投影重叠、复杂的屋顶结构和强烈背景干扰的区域尤为明显,其中建筑间的连接、边界扩展和浮动网格碎片得到了有效减少。图5展示了在SMBU场景中不同方法得到的单建筑网格和局部细节。比较的方法包括2DGS [46]、GOF [47]、PGSR [52] 及其增强了所提出模块的对应版本。基线方法可以恢复主要的建筑几何形状,但它们仍可能产生表面扩展、浮动碎片或在屋顶边缘、建筑交汇处和局部遮挡区域缺失的细节。结合所提出的方法后,所有三个基线模型的建筑边界变得更加清晰,来自相邻建筑和背景区域的干扰明显减少,屋顶过渡、边缘轮廓和局部结构重建得更加稳定。这表明所提出的方法不依赖于特定的高斯表面表示,可以作为实例感知模块来提高不同高斯到网格框架下的建筑重建质量。下载:下载高分辨率图像(986KB)下载:下载全尺寸图像图5. SMBU场景中不同方法得到的建筑网格重建结果。对于大规模全场景重建,所提出的方法也保持了稳定的实例分离。如图6所示,尽管逐层代理仅描述了每个建筑的粗略空间结构,但它为SMBU、UPPER和LCG场景中的实例感知高斯优化和局部网格提取提供了有效的约束。最终的建筑网格可以在单建筑级别独立表示,屋顶细节、立面或建筑过渡区域没有明显的退化。这证明了粗略代理几何和细粒度高斯表示之间的互补性。下载:下载高分辨率图像(1MB)下载:下载全尺寸图像图6. 不同场景中全场景代理几何和实例级建筑网格重建结果。在自收集的LCG数据集上,所提出的方法在复杂的真实世界城市环境中也表现出良好的鲁棒性。如图7所示,传统的MVS方法在纹理充足的区域显示出良好的表面连续性,但它们容易过度平滑、局部不完整或在纹理较弱的屋顶、植被遮挡区域和建筑间的狭窄间隙中产生结构融合。基于3DGS的方法可以恢复更丰富的表面细节,但原始模型可能会在建筑边界之外生成多余的几何形状。通过使用实例掩码和代理支持域来限制高斯的空间扩展,所提出的方法产生了更清晰的建筑边界,同时保留了局部细节。下载:下载高分辨率图像(2MB)下载:下载全尺寸图像图7. LCG数据集上不同方法得到的建筑网格重建结果。4.5.2. 定量结果定量结果进一步证实了上述视觉观察结果。如表3和表4所示,在将所提出的模块集成到SMBU和UPPER场景的不同基线模型后,CD和HD95通常会减少,而精确度、召回率和F1-score则一致提高。这一趋势表明,所提出的方法不仅减少了重建表面与参考几何之间的距离误差,还在几何精度和表面完整性之间取得了更好的平衡。以PGSR为例,在SMBU场景中,添加所提出方法后,平均CD从0.4455降至0.3427,而F1-score从0.6827升至0.7940。在UPPER场景中也观察到了类似的改进,其中SfM点更加稀疏。PGSR+Ours的F1-score达到了0.7240,明显高于原始PGSR的0.6127。这表明所提出的方法可以利用多视图实例掩码和代理几何来补充稀疏的SfM观测,即使几何信息有限,也能保持稳定的建筑重建质量。表5. SMBU场景中建筑实例的定量网格重建结果。实例ID2DGS2DGS+OursGOFGOF+OursPGSRPGSR+Ours空单元CDHD95CDHD95CDHD95CDHD95CDHD95CDHD95CDHD9510.72621.81450.56741.16360.65731.51140.51361.13550.64081.65390.50071.242320.49691.48790.35950.98870.45531.22730.32940.90490.42711.06830.30900.956130.38680.52270.39770.56850.35850.58700.36860.58980.32410.45970.33320.525640.44231.21230.37560.68750.41431.15340.35180.7950.36140.86030.30690.577650.48690.88550.33970.65010.46080.56520.32150.48780.38830.67090.27090.543760.67431.17420.54880.84570.53851.05640.43830.86600.52500.93290.42730.718270.54320.50260.35370.42950.51090.49380.33270.41410.47930.41820.31210.313780.59101.1290.52470.78580.56201.06330.49890.76070.50800.90250.45100.649991.65802.86301.24562.11131.59242.21471.19631.67801.38902.07951.04351.9659100.48630.30690.29680.32050.47150.22720.28780.27900.39730.20890.24250.2344110.51341.10580.40120.67020.41991.00160.32810.68440.40940.94900.31990.6169120.42990.62940.45640.48230.35690.65670.37890.52650.33480.53750.35540.5299130.65611.27290.47470.85080.64051.03370.46340.74700.57901.06610.41890.7348140.34810.53320.23450.39540.34310.50390.23110.34600.29930.46740.20160.3771150.31050.90190.27080.53110.30880.92820.26930.50860.26020.64190.22690.3925160.33680.56230.21220.54590.28230.71430.17790.54490.27520.49310.17340.4544170.39470.92320.31600.59410.33550.8150.26860.57430.31480.60760.57431.17420.54880.5620.38830.67090.27090.27090.543760.67431.17420.54880.84570.53851.05640.43830.86600.52500.93290.42730.718270.54320.50260.35370.42950.51090.49380.33270.41410.47930.41820.31210.313780.59101.1290.52470.78580.56201.06330.49890.76070.50800.90250.45100.64991.65802.86301.24562.11131.59242.21471.19631.67801.38902.07951.04351.9659100.48630.30690.29680.32050.47150.22720.28780.27900.39730.20890.24250.2344110.51341.10580.40120.67020.41991.00160.32810.68440.40940.9490.31990.6169120.42990.62940.45640.48230.35690.65670.37890.52650.33480.53750.35540.5299130.65611.27290.47470.85080.64051.03370.46340此外,2DGS+Ours、GOF+Ours和PGSR+Ours的一致排名表明,所提出的基于实例的策略并不依赖于特定的高斯表示方法,可以为不同的高斯重建框架提供互补的改进。重要的是,CCR、BFAR和BCR是在对重建场景进行评估后得出的,而不是在使用传统CD、HD95、精确度、召回率和F1评估之前手动定义的单栋建筑裁剪之后进行的。因此,在这种评估中,建筑物之间的桥梁和非目标表面仍然存在,而不是通过后处理或手动区域选择来移除它们。所以,所提出框架获得的显著较低的值直接证明了改进来自于在重建和网格生成过程中抑制实例间的几何污染,而不是事后移除错误的几何信息。
4.6. 消融研究
为了系统地分析所提出组件的贡献,并区分额外建筑先验与基于实例的重建机制本身的优势,我们在UPPER场景上进行了一项统一的消融研究。所有变体都采用了PGSR作为共同的高斯重建框架。我们不是分别评估高斯优化和网格提取,而是按照重建流程逐步引入所提出的组件,从多源实例构建到基于实例的高斯优化,最后是局部网格提取。这种统一的协议允许在一致的设置下评估各个组件及其累积效应。此外,我们引入了信息匹配的对照组,以检查性能提升主要是由于额外建筑掩模、代理几何信息和局部重建区域的可用性造成的。对照组与完整方法具有相同的外部建筑先验和局部TSDF提取设置,但在高斯优化过程中不保持建筑身份的持久性,也不使用所提出的基于实例的优化约束。
4.6.1. 统一消融协议和变体配置
为了验证关键模块的有效性,我们使用PGSR作为基线,并消融了代理掩模细化、跨实例排他性约束和深度顺序正则化。表7总结了所有变体的配置。变体V0–V8形成了一个累积序列。V0是原始的PGSR基线,而每个后续变体都引入了所提出框架的一个额外组件。V8对应于完整方法。V9是一个独立的信息匹配对照组,不属于累积序列。
4.6.2. 定量消融结果
定量结果在表8中报告。除了传统的几何重建指标外,还包括了BFAR和BCR,以表征建筑物之间的桥梁和非目标表面污染。这尤其重要,因为所提出的几个组件主要是为了保持实例分离,而不仅仅是提高平均表面拟合度。
从V0到V8的累积结果显示,性能提升并非来自单一组件。首先引入多源初始化可以提高建筑重建的可靠性,使F1分数从0.6127提高到0.6378。加入保守的代理支持进一步改善了几何精度和与污染相关的指标。这些结果表明,将多视图图像证据与空间支持信息结合起来,比单独使用原始的场景级高斯表示提供了一个更可靠的起点。在V3中引入持久建筑身份后,传统重建指标和面向实例的指标都有了进一步的改进。与事后建筑标记不同,持久建筑身份在整个优化过程中决定了高斯的成员身份,并在密集化过程中由新生成的高斯继承。V4中引入的代理引导的掩模和遮挡监督利用代理衍生的可见性和深度证据来调节实例掩模的监督。EX和DO分别表示跨实例排他性损失和深度顺序正则化。SDP表示受支持约束的密集化和修剪,LTSDF表示实例分离的局部TSDF融合。
4.6.3. 定性分析
定量观察结果也在图8和图9的定性比较中得到了反映。在没有完整的基于实例的优化情况下,高斯几何体在相邻立面和被遮挡的建筑边界周围更容易包含不规则法线、冗余表面或跨建筑泄漏。随着逐步引入更强的实例约束,重建的表面变得更加紧凑,相邻建筑之间的边界也更加清晰可辨。
为了进一步验证在UPPER场景上观察到的趋势是否特定于单一公共场景,我们还在自己收集的LCG数据集上评估了相同的消融变体。由于这项实验的目的是验证消融结论的跨场景一致性,而不是重复完整的几何评估,我们报告了重建质量的精确度、召回率和F1分数,实例边界质量的BFAR和BCR,以及计算开销的峰值GPU内存。所有变体都遵循表7中定义的完全相同配置。
如图9所示,在自收集的LCG场景上,UPPER上观察到的消融趋势得到了一致的复制。从PGSR基线(V0)开始,逐步引入所提出的组件后,F1分数从0.6844提高到了0.7912。特别是,精确度从0.5912提高到了0.7108,而召回率也从0.8124提高到了0.8922。这一行为表明,所提出的框架在不牺牲重建完整性的情况下抑制了错误的非目标表面。面向实例的指标显示出更清晰的累积趋势:BFAR逐渐从7.8%降低到1.7%,而BCR从17.5%降低到5.2%。在引入持久实例身份、代理引导的监督、排他性约束和深度顺序正则化后,这些观察结果与它们的预期作用一致:这些组件不仅提高了局部表面拟合,还逐步限制了跨实例的高斯交互,并抑制了建筑边界周围不受支持的几何体。受支持约束的密集化和修剪进一步减少了残余污染,而实例分离的局部TSDF融合在表面提取过程中进一步减少了跨建筑桥梁。信息匹配对照组(V9)的结果进一步支持了这一结论,尽管它使用了相同的建筑先验和局部重建过程,但其F1分数仅达到了0.7309,BFAR和BCR分别保持在4.7%和11.9%,明显低于完整方法。
4.7.3. 定性分析
定量观察结果也反映在图8和图9的定性比较中。在没有完整的基于实例的优化情况下,高斯几何体在相邻立面和被遮挡的建筑边界周围更容易包含不规则法线、冗余表面或跨建筑泄漏。随着逐步引入更强的实例约束,重建的表面变得更加紧凑,相邻建筑之间的边界也更加清晰可辨。图9进一步隔离了最终网格提取阶段的影响。当优化后的高斯在没有实例分离的局部重建的情况下融合时,来自邻近结构的观测仍然可能贡献到同一个体积表面上。相比之下,局部TSDF融合将深度集成限制在相应的建筑实例和代理引导的体积内,从而减少了桥梁表面并保持了更清晰的实例边界。在主要实验中使用的标称值用1×表示。我们同时报告了F1分数和BFAR,因为它们分别表征了重建的互补方面。F1分数评估了整体的几何重建质量,而BFAR直接测量了相邻建筑物实例之间不支持的桥接表面。表10总结了实验结果。如表10所示,所提出的框架在相对广泛的参数设置范围内表现出稳定的性能。对于所有三种损失权重,标称设置都实现了重建精度和实例分离之间的最佳平衡。在0.5×–2×之间的适度变化只会导致F1分数的有限变化,表明该方法不依赖于精心调整的损失权重。相比之下,更极端的值(0.25×或4×)会导致更大的性能下降。表10显示了主要损失权重对UPPER场景的影响。
表10. 主要损失权重对UPPER场景的影响
参数 0.25× 0.5× 1× 2× 4×
λmask (F1↑) 0.68 1.60 0.71 1.80 0.72 4.00 0.71 5.70 0.68 3.40
λmask (BFAR↓) 3.82 2.46 1.86 2.17 3.51
λexcl (F1↑) 0.67 4.80 0.70 6.30 0.72 4.00 0.71 3.50 0.66 8.90
λexcl (BFAR↓) 4.57 2.79 1.86 1.72 1.63
λord (F1↑) 0.69 0.50 0.71 4.20 0.72 4.00 0.71 6.80 0.67 9.70
λord (BFAR↓) 3.34 2.31 1.86 2.05 3.08
注:PGSR是重建的骨干框架。每个权重都相对于其标称值独立缩放,而其他权重保持不变。
BFAR的行为提供了对这些参数作用的额外见解。较小的λmask值会减弱可靠的建筑物-掩膜监督作用,而过大的λmask值可能会过度强调不完美的2D分割线索。类似地,过低的排他性或深度顺序正则化会允许来自相邻实例的高斯点占据重叠区域,而过于严格的约束可能会抑制有效的几何观察结果。尽管如此,围绕标称设置的相对平坦的性能表明,所提出的框架对参数的适度变化具有鲁棒性,并且不依赖于精确的参数调整。
4.7.2. 计算成本和资源消耗
接下来,我们评估了整个框架在所有三个实验场景中的计算开销。所有测量都是使用相同的硬件配置和实现环境获得的。我们分别记录了建筑物-掩膜处理、代理构建、高斯优化和局部TSDF提取所需的时间。还报告了初始和最终的高斯原语数量以及峰值GPU内存消耗。结果总结在表11中。表11显示,高斯优化是所有场景中占主导地位的计算阶段,而代理构建仅占总处理时间的一小部分。掩膜处理阶段引入了额外的预处理成本,因为基础模型预测使用了多视图和代理证据进行细化,但此过程仅在高斯优化之前执行一次。
表11. 实验场景中的计算成本和资源消耗
场景 图像 建筑物 初始GS(M) 最终GS(M) 掩膜 代理GS优化 局部TSDF 总计 峰值内存(GB)
SMBU 56 32 20.6 1.8 4.1 2.4 1.8 8.7 1.5 14.1
UPPER 71 31 90.5 1.9 23.8 2.1 6.9 10.8 14.8
LCG 68 04 80.9 2.6 27.5 4.6 7.9 12.4 12.3 15.3
注:高斯原语的数量以百万计,处理时间以分钟计,峰值内存是重建过程中的最大GPU内存消耗。
局部TSDF阶段也仅占总运行时间的一小部分。虽然每个建筑物分别在独立的局部体积中重建,但相应的代理支撑所施加的空间限制大大限制了每个融合过程中涉及的体素数量。因此,随着建筑物数量的增加,实例分离的表面提取并不成为主要的计算瓶颈。
整个框架在三个评估场景中需要14.1–15.3 GB的峰值GPU内存。LCG场景包含48栋建筑物,产生的优化高斯点数量最多,但其峰值内存仍在15.3 GB以内。这些结果表明,额外的实例身份、代理派生的监督和基于实例的表面提取相对于重建的城市场景规模来说引入了可管理的计算开销。
4.7.3. 随场景规模的可扩展性
为了进一步研究可扩展性,我们从LCG场景中构建了四个嵌套子集,分别包含12、24和48栋建筑物。通过逐步扩展重建区域来生成子集,使得每个较大的子集包含前一个子集使用的所有建筑物和图像。算法配置和所有优化参数保持不变。我们测量了总处理时间、最终的高斯原语数量和峰值GPU内存。如表12所示,随着重建区域的扩大,计算需求逐渐增加。建筑物数量从12增加到48,最终的高斯点数量从大约0.74 M增加到2.64 M,而总处理时间从43.6分钟增加到123.7分钟。运行时间的增加大致跟随场景内容的增长,而不是在更大的场景尺寸时出现突变。
表12. LCG场景嵌套子集的可扩展性
建筑物 最终GS(M) 总时间(分钟) 峰值内存(GB)
12 0.74 43.6 10.8
24 10.8 41.3 16.8
36 12.3 36.1 19.6
48 15.3 23.7 15.3
注:所有子集使用相同的算法配置。峰值GPU内存的增长速度比重建的建筑物数量慢,从12栋建筑物的子集的10.8 GB增加到48栋建筑物的子集的15.3 GB。这种行为部分归因于代理边界操作的局部性质和基于实例的TSDF提取,这些操作避免为整个城市场景构建单一的密集体积表示。支持受限的密集化和修剪进一步限制了在支持较弱的区域中不必要的高斯点增长。因此,结果表明,所提出的框架可以扩展到越来越复杂的多建筑物场景,而峰值GPU内存不会成比例增加。
4.7.4. 对评估距离阈值的鲁棒性
传统的精确度、召回率(Precision, Recall)和F1分数指标取决于用于确定重建点和参考点是否在几何上一致的距离阈值τ。因此,仅在单个阈值下报告结果可能会提供不完整的重建性能表征。因此,我们在UPPER场景上对五种距离阈值τ={0.1, 0.2, 0.3, 0.4, 0.5} m进行了方法评估。在这个实验中,没有重新训练模型;相同的重建网格在不同的距离容忍度下重新评估。
我们比较了2DGS、GOF、PGSR以及完整的PGSR+Ours配置,其中拥有完整场景的重建结果。表13报告了在每个距离阈值下获得的F1分数。正如预期的那样,随着评估容忍度的降低,绝对精确度、召回率和F1分数值增加。然而,比较方法的相对排名在整个阈值范围内保持稳定。在最严格的0.1 m阈值下,PGSR+Ours的F1分数为0.3379,而最强的基线PGSR为0.2641。在默认的0.3 m阈值下,相应的值分别为0.7240和0.6127。在0.5 m阈值下,这种优势仍然存在,PGSR+Ours达到了0.8777,而PGSR为0.8062。在所有阈值下一致的提升表明,所提出方法的优势并非特定于默认的τ=0.3 m。
表13. 在UPPER场景上不同几何评估阈值下的F1分数
方法 0.1 m 0.2 m 0.3 m 0.4 m 0.5 m
2DGS 0.2017 0.3746 0.5218 0.6463
GOF 0.2295 0.4178 0.5619 0.6856
PGSR 0.2641 0.4637 0.6127 0.7248
PGSR+Ours 0.3379 0.5684 0.7240 0.8165 0.8777
注:在每个阈值下评估相同的重建网格,无需重新训练。
这些实验共同表明,所提出的框架在三个互补的方面都具有鲁棒性。首先,重建性能在主要损失权重的适度变化下保持稳定,表明对参数调整的敏感性有限。其次,实例感知模块仅引入了适度的额外运行时间和内存成本,而可扩展性实验显示随着重建场景的扩大,计算需求逐渐增加。第三,性能优势在多个几何评估阈值下保持一致。这些结果补充了主要的定量和消融实验,进一步支持了所提出框架适用于大规模多建筑物重建。
5. 局限性和未来工作
尽管所提出的框架通过结合多视图掩膜、SfM线索、基于代理的可见性推理和基于建筑物的网格提取改进了建筑物实例级别的重建,但仍存在几个局限性。首先,所提出的方法不假设基于SAM的分割掩膜是完全准确的,因为它们是与多视图几何线索和代理约束一起使用的,而不是作为真实监督。尽管如此,建筑物边界周围的分割错误仍可能影响最终重建质量。特别是附着在建筑物立面附近或靠近建筑物立面的植被可能会被包含在建筑物掩膜中。在基于掩膜的实例关联和优化之后,这些附着植被的区域可能被解释为建筑物支撑的一部分。因此,在重建过程中可能会抑制或移除树木或灌木后面真实的下立面,导致墙壁表面缺失、建筑物底部不完整以及立面几何形状局部断裂。图10说明了这一限制。尽管所提出的方法有效地提取了目标建筑物实例并抑制了周围的非建筑物结构,但被密集植被遮挡的区域提供的视觉和几何观察不足,导致在下立面和建筑物边界附近出现可见的空洞。
其次,所提出的代理几何仅作为保守的空间和可见性先验使用,而不是作为一个精确的几何模型。这种设计减少了将不准确的代理表面直接注入高斯表示的风险,但它也意味着最终重建质量仍然取决于图像观察的完整性和估计支持域的可靠性。当代理足迹或高度不准确时,结果的可见性推理和局部TSDF融合可能会排除有效区域或保留不完整的结构,特别是在相邻建筑物之间的狭窄间隙和被茂密植被遮挡的立面区域。
第三,虽然基于建筑物的TSDF提取策略有效地减少了相邻建筑物之间的几何合并,但它无法恢复在输入图像中始终不可见的表面。建筑物底部、凹陷的墙壁和被密集植被遮挡的立面区域可能包含不足的光度和几何证据。在这种情况下,提取的网格仅保留了观察到的或弱推断的表面,而不是幻觉出完整的建筑结构。这种保守策略有利于重建的忠实度,但当需要防水或视觉上完整的模型时,可能会导致建筑物资产不完整。
第四,当前的实验主要集中在基于UAV的城市场景上,该框架的泛化到显著不同的成像领域仍有待进一步研究。基于UAV的成像在文化遗产记录方面也显示出相当大的潜力[1];然而,遗产建筑物的不规则和细粒度几何可能需要比当前框架采用的更灵活的代理表示。LCG场景已经包括了大约以30°非 nadir 角度获得的倾斜UAV图像,表明所提出的框架不限于近 nadir 观测,可以适应立面可见性和视角的变化。然而,其他成像配置引入了额外的挑战。对于卫星图像,较低的空间分辨率、有限的立面可见性和显著不同的成像基线可能会降低实例掩膜、几何线索和代理构建的可靠性。对于地面图像集合,该框架在概念上是适用的,但由于相机分布的不均匀性和主要水平的视角,可能需要调整当前的代理构建和可见性推理以适应地面级别的观察。室内环境与当前的公式有显著的不同,因为不再可以直接假设建筑物实例在空间上是分离的;将框架扩展到这些场景需要用对象级或区域级的几何代理来替代建筑物级别的代理。
未来的工作计划研究缺失或遮挡建筑物区域的几何完整性以及框架对更广泛成像场景的适应。对于不完整的几何形状,一个有希望的方向是引入基于扩散的形状或纹理完成模型,以推断图像证据薄弱或缺失区域中的合理立面结构。另一个方向是在每个建筑物TSDF提取之后结合显式的网格完成或表面修复,特别是对于建筑物底部、下立面和被植被遮挡的区域。这样的完成应该由重建的可见表面、代理支持域和建筑规则性指导,同时与直接观察到的几何形状明显区分开来。同时,将代理表示和可见性推理扩展到卫星、地面和室内以及建筑不规则的场景,将允许对该框架进行更系统的评估。
6. 结论
本研究通过引入Proxy-Coupled Masked Gaussian Fields框架,解决了从大规模多视图航空图像中进行建筑物实例级别网格重建的问题。该框架在高斯优化之前确定了建筑物身份,在整个重建过程中保持了这些身份,并在单独的基于代理的体积中提取了每个建筑物网格。在SMBU和UPPER场景中,它改进了评估的2DGS、GOF和PGSR基础框架的重建结果。评估的基于2DGS和PGSR的变体在LCG场景上也提高了性能,其中基于PGSR的变体比评估的传统MVS和原始的高斯到网格方法取得了更好的整体结果。消融结果支持了持久实例身份、基于代理的约束和基于建筑物的融合的贡献。信息匹配控制进一步表明,仅提供建筑面具、代理几何形状和局部网格提取无法解释整个框架的性能。综合这些结果表明,在重建过程中保留建筑的身份有助于在相邻表面融合之前限制跨建筑误差。研究还发现,粗略的代理模型在没有定义最终建筑表面的情况下,提供了有用的空间支持和深度顺序线索。在评估的场景中,将建筑实例的身份与保守的代理指导相结合,有助于生成独立的建筑网格,同时保留重建的几何细节。这样的网格可以支持城市数字孪生体和3D地理信息系统中的建筑级查询和定向编辑。此外,它们还可以在新图像可用时作为更新单个建筑的基础,尽管这一工作流程尚未进行测试。
未来的工作将量化实例面具、代理轮廓和代理高度的误差对建筑边界的影响,并研究针对不确定观测数据的置信度感知约束机制。研究还将探讨在区分推断表面和直接观测到的几何形状的情况下,如何完成始终被遮挡的建筑立面。在不同相机分布和成像条件下的评估将有助于确定哪些代理模型和可见性假设可以超越这里研究的城市无人机场景得到应用。应用层测试将评估是否可以在不改变相邻资产的情况下查询、编辑和更新单个建筑网格。
作者贡献声明:
程远航:概念构思、方法论、软件开发、数据分析、撰写。
曹学峰:方法论、验证、撰写。
李云迪:数据 currying(数据整理)、可视化、撰写。
高鹏飞:软件开发、验证。
徐峥:数据分析、可视化。
沈媛阳:数据 currying、验证。
陈刚:项目监督、行政管理、撰写。
作者名单:程远航 | 曹学峰 | 李云迪 | 高鹏飞 | 徐峥 | 沈媛阳 | 陈刚