基于曼哈顿约束的无人机重建中，利用形状优化的高斯散布技术 罗海涛（Haitao Luo） 张金明（Jinming Zhang） 刘雄飞（Xiongfei Liu） 李碧清（Biqing Li） 赵家恩（Jiaen Zhao） 张丽丽（Lili Zhang） 刘俊毅（Junyi Liu）

《Electronics》：Shape-Optimized Gaussian Splatting for UAV Reconstruction with Manhattan Constraints Haitao Luo, Jinming Zhang, Xiongfei Liu, Biqing Li, Jiaen Zhao, Lili Zhang and Junyi Liu

　　摘要 高斯分裂（Gaussian Splatting）的出现标志着大规模场景几何重建进入了一个新阶段。现有研究主要集中在计算效率上，往往忽视了对固有结构几何先验的有效利用。本文提出了一种基于曼哈顿世界假设（Manhattan World Assumption）的形状优化高斯分裂方法，用于从无人机图像中进行精确的几何重建。通过利用这一假设提供的约束条件，开发了一种由几何驱动的优化机制来指导每个高斯斑点的变形和分布，从而提高与场景主导结构方向的对齐度。此外，从优化后的高斯表示中生成了密集点云，使其更适合后续任务。所提出的方法在保持高视觉保真度的同时，显著提升了几何精度。在多个大规模场景数据集上的广泛实验表明，该方法在以几何为导向的评估指标上超越了当前的最先进方法。

1. 引言
现实世界环境由众多三维物体组成，这些物体可以抽象为3D模型。随着计算硬件的进步和制造业需求的演变，3D模型已广泛应用于工业生产和日常场景中。这一趋势催生了多样化的3D视觉任务，这些任务要求模型捕捉诸如形状和尺度等几何属性，并需要集成语义信息，以应对日益复杂的应用场景和异构数据模式。因此，准确高效地重建三维场景仍然是一个重要挑战。近年来，三维物体的表示形式日益多样化，传统形式包括点云和表面贴片，现代形式还包括体积模型、多边形网格和隐式场[1]。受传统方法中重建精度与计算效率之间内在权衡的限制，基于深度学习的方法已成为3D重建的 facto 标准。特别是基于神经场（NeRF）的方法[2,3,4,5,6]和基于高斯分裂的技术[7,8,9,10,11,12,13,14]通过实现高保真度和高效的场景表示，从根本上改变了该领域的发展方向。
在神经渲染领域，以神经辐射场（NeRF）为代表的方法存在两个主要局限性：首先，它们需要较长的训练周期，导致优化效率低下；其次，对相机姿态密度有严格要求。这些限制在模型训练、场景渲染和后续编辑等多个阶段带来了相当大的操作复杂性，从而影响了这些神经渲染技术的实际应用。相比之下，3D高斯分裂（3DGS）[15]（如图1所示）将光栅化与新颖视图合成相结合，实现了高效的训练和渲染，并且对相机位置的稀疏分布具有很强的鲁棒性，从而克服了传统神经渲染方法的局限性。

尽管3D高斯分裂（3DGS）在渲染质量和效率方面具有显著优势，但精确的几何重建仍然是一个未解决的挑战。重建的几何结构常常与真实场景结构存在较大偏差，这严重限制了其在工业场景中的应用。因此，提高几何保真度成为关键的研究焦点。最近的研究主要集中在将传统的基于网格的重建方法和隐式 signed 距离函数（SDF）表示与3DGS 结合。这类混合方法[16,17]已被证明能够显著增强几何重建的真实感和精度。尽管这些方法在几何重建方面取得了显著改进，但在大规模城市场景中的性能仍不尽如人意。此外，大多数现有方法[12,15]缺乏对高斯分裂原语的有效几何先验，通常默认假设它们是盘状的，这使得在复杂的大规模环境中难以有效优化高斯原语，导致学习到的表示无法准确捕捉底层场景结构。
为克服这些限制，本文提出了一种受曼哈顿世界假设指导的形状优化高斯分裂框架。该方法遵循了先前工作中广泛使用的COLMAP [18]输入格式，其核心贡献在于基于语义属性对高斯原语几何进行细粒度调节。具体来说，首先应用DeepLabV3+ [19]语义分割网络为每个像素分配标签，然后定量描述其几何属性，并将具有相同语义标签的原语分组在一起。受传统图像处理的启发，其中图像可以分解为高频和低频成分，并表示为不同频率的高斯成分混合物，在边缘检测中梯度信息起着关键作用。可以假设，在高斯优化过程中，每个高斯原语的形状与语义标签内的边缘分布密度密切相关。由于像素是根据每个像素的语义标签分组的，因此自然会产生数据分布的异质性。属于同一语义标签但从不同视角观察到的像素可能会有所不同，同一种语义属性的相邻像素也可能因为来自不同的图像而被分配到不同的语义标签，这些问题阻碍了传统高斯训练程序中的有效优化。为了解决这些问题，引入了形状注意力机制，并进一步利用曼哈顿世界假设作为软约束进行规范，该机制引导每个高斯原语向其目标几何形状收敛，同时增强语义组间的信息传递并抑制冗余信息，从而实现所有语义组的联合优化。

2. 相关工作
在本节中，我们介绍了高斯分裂技术后的发展，特别是大规模几何重建和对象级语义感知的3DGS。

2.1. 3D高斯分裂
3D高斯分裂（3DGS）[15]已成为3D重建领域极具影响力的框架。该技术使用一系列彩色3D高斯原语来表示复杂场景，这些表示被集成到实时辐射场渲染管线中，实现了高精度的3D重建，并具有令人印象深刻的效率。由于其卓越的计算速度和表示精度，3DGS即使在大型场景数据集上也保持了稳健的性能，使其成为计算机图形学和虚拟现实系统实时部署的有希望的候选者。尽管3DGS在渲染保真度和效率方面表现出色，但它仍然容易受到典型重建伪影的影响，尤其是浮动伪影，这些伪影是不属于真实场景几何的虚假结构成分，会降低整体视觉一致性和重建质量。最近的努力集中在分析这些伪影并开发抑制策略上，包括强调低频结构信息和采用自适应高斯扩展机制[20]。
正在进行的研究继续追求在重建精度和渲染效率方面的改进。通过优化高斯参数学习和渲染管线，研究人员加快了实际3D场景重建的速度。这些进展还扩展了该技术在具有挑战性的大规模和动态环境中的应用能力。在此基础之上，后续研究[21]扩展了3D高斯分裂的应用范围，其中许多方法专注于高质量动态视图合成，通过跟踪动态场景中的密集成分[11]或引入变形场建模来处理3D环境中的非刚性变化[12,14]。总体而言，这些扩展将3D高斯渲染从静态场景重建扩展到动态场景适应领域，支持移动物体和时变环境变化。

2.2. 大规模场景重建中的高斯分裂
在3D高斯分裂的可扩展性研究中，空间划分已成为最广泛采用的解决方案之一。开创性的研究如CityGaussian [22]和VastGaussian [23]引入了块级训练的基本范式。这些方法将大规模场景分解为多个重叠块，独立优化每个块，然后将其集成到统一的场景表示中。虽然这种策略减少了峰值内存消耗并支持并行计算，但它存在一个根本性限制：块之间的不一致性。独立优化经常会导致重叠区域内高斯属性（如位置、不透明度和尺度）的显著差异，这可能导致可见的接缝伪影和几何不连续性。后续方法，包括Hierarchy-GS [24]和DOGS [25]，通过引入层次空间结构和增强光栅化并行化来改进这一流程。然而，局部块优化与全局场景一致性之间的内在紧张关系仍未解决。
为了解决块间不一致性问题，最新研究关注于显式的规则化约束。GaRField++ [26]遵循类似的技术路径，通过可见性驱动的相机选择、渐进式点云扩展和无缝拼接实现了独立优化的高斯辐射场的高效融合。GigaGS [27]通过将具有连续观察几何的相机分组进一步推进了这种方法，通过基于相互可见性的空间划分增强了表面重建的保真度和真实感。Block-PSPGOF [28]引入了一种自扩展的场景块划分方案，在优化过程中动态调整块边界，同时在每个块内使用3D高斯和平面化高斯表示来适应不同场景区域的异构几何复杂性。

2.3. 语义重建中的高斯分裂
自3D高斯分裂（3DGS）引入以来，在3D视觉研究中广受欢迎。早期的语义感知3DGS方法通常采用2D到3D的投影流程。在此框架中，首先在多视图输入上预测像素级语义标签，这些预测依赖于手动注释或现成的分割网络。然后通过可微分渲染或统计投票将这些语义线索聚合成单个高斯原语。然而，这一流程存在视图间的固有歧义问题。遮挡、光照变化和物体变形常常导致不同视图间的语义分配不一致，从而导致最终3D重建中的语义边界模糊和分割精度降低。为了解决这些问题，Semantic-Consistent 3D Reconstruction [29]引入了一种由几何引导的投影机制，该方法采用深度对齐的校准和冲突锁定来过滤不可靠的语义属性，然后通过几何约束的传播模块将可靠标签传播到整个场景中，从而在具有严重遮挡的基准测试中显著提高了重建精度和平均交并比（mIoU）。
先进的2D表示学习模型，如CLIP [30]和DINO [31]，也被整合到神经渲染框架中。Distilled Feature Fields（DFF）[32]将像素对齐的特征嵌入到3D辐射场中，通过提取高维视觉特征增强了语义感知。LERF [33]开发了可学习的语言场来增强辐射场表示的语义理解，建立了语言表达与视觉信号之间的更强连接。语义和视觉特征的融合提高了模型的鲁棒性和精度，扩展了其在多模态推理和智能系统中的应用范围，并为未来的研究提供了有希望的方向。尽管取得了这些进展，但专为3D高斯分裂设计的专用语义特征学习范式仍然有限，这限制了在细粒度和对象级语义理解方面的性能。利用3D高斯表示的固有属性，设计良好的语义学习管线预计将在渲染质量和效率方面优于传统的NeRF基系统，为高性能的3D视觉理解提供了有希望的路径。

3. 方法
3.1. 概述
提出的MS-GS框架的架构如图2所示。与标准的高斯分裂管线类似，该框架采用COLMAP初始化作为输入，提供多视图图像、相机姿态和稀疏的结构从运动（SfM）点云。所有高斯分裂方法的输入都包括一个COLMAP初始化，其中包含图像、相机位置和SfM稀疏点云。首先将图像输入到DeepLabV3+网络中以获得语义分割掩码。这些掩码编码了诸如建筑物和地面之类的类别，并用于分配像素级的语义组。在形状约束阶段，我们引入了一个动态Sobel卷积层，该层提取边缘信息——特别是沿着建筑物边界的信息——并利用这些信息来约束每个语义组内的高斯原始体的均值和协方差。然后联合应用形状注意力（SA）模块和曼哈顿世界假设：前者鼓励原始体之间的分布式一致性，而后者对建筑物边缘施加结构化规则。它们共同作为一种学习到的规则，引导优化过程朝向场景的高斯表示。最终点云是通过从每个优化后的高斯原始体中采样得到的。在第一阶段，使用DeepLabV3+ [19]处理输入图像以生成语义分割掩码。这些掩码编码了诸如建筑物和地面之类的类别，使得像素级的语义分组成为可能，并有助于估计每个组的预期形状特征。在第二阶段，将语义掩码集成到形状约束模块中，以进行高斯原始体的几何感知优化。采用动态Sobel卷积层来提取边缘特征，特别是沿着建筑物边界的信息。这些特征约束每个语义组内高斯原始体的均值和协方差。为了进一步提高结构一致性，引入了形状注意力（SA）模块以促进原始体之间的分布式一致性。此外，还施加了曼哈顿世界假设作为软结构化规则，以强制建筑物边缘的垂直性。这些组件共同构成了一个学习到的规则机制，引导优化过程朝向几何上一致的高斯表示。由于不同语义组的独立优化可能会导致组间不一致性，因此设计了一种稳健的联合训练和投影策略，以确保所有语义标签的稳定和一致优化。最后，使用优化后的高斯表示来提取底层几何结构，生成重建的点云。以下小节将详细描述每个阶段。

3.2. 形状约束
本研究的主要目标是约束3D高斯分裂（3DGS）中每个语义组的高斯原始体的几何形态。受到经典图像处理中高斯滤波的启发，图像可以表示为具有不同均值和方差的高斯分量的混合。对于语义上同质的区域，例如地面表面，通常少量的扁平、圆盘形高斯原始体就足以捕捉其底层几何形状。相比之下，结构元素，如建筑物，需要更多的长形高斯原始体来表示复杂的边缘分布。这一观察带来了一个关键见解：高斯原始体的预期形态与其对应语义标签内有效边缘的分布密度密切相关。
研究考虑了总共N张输入图像，表示为?? ={??1,??2,…,????}。通过使用DeepLabV3+语义分割模型处理所有输入图像来获得语义掩码信息。然后根据预测的掩码标签将每张图像划分为多个语义组。完整的语义掩码集表示为?? ∈???×??×??，其中H和W分别表示图像的高度和宽度。第i张图像中位置（??,??）处像素的掩码值表示为?????(??,??)。
为了对单个高斯原始体施加精细的约束，必须在每个语义组内提取边缘信息。传统的边缘检测方法通常设计为通用性，无法捕捉无人机图像中建筑物的独特边缘特征。因此，这些方法往往难以区分建筑边界和复杂的地理背景，包括地形变化和阴影引起的伪影。
为了解决这个限制，经典的Sobel算子被扩展为一个称为动态Sobel核（DSK）的动态和可微分形式。还开发了一个动态Sobel卷积层，以从无人机图像中提取边缘特征，提高其特异性和鲁棒性。
传统的Sobel算子依赖于固定的、手工制作的核，这限制了其在大规模场景中的性能。在这项研究中，它被重新构造为一组可学习的卷积核。这种重新构造增强了其在广泛环境中提取边缘信息的能力，特别是建筑边界。
如图3所示，采用了涵盖0–90°的常用核方向，并对其系数进行了参数化。这种动态形式使DSK能够根据底层数据分布自适应地调整参数，显著提高了无人机图像中的鲁棒性。对应于四个主要方向的参数化核定义如下：
DSK0°={???, 0, ??, ???, 0, ??, ???, 0, ??},
DSK90°={???, ???, ???, 0, 0, 0, ??, ??, ??}。
（图3. 可微分动态Sobel核。建筑物边缘通常表现出多样的方向。为此，DSK核被集成到多个方向分支中，以构建动态Sobel卷积层，进一步增强边缘感知。如图4所示，每个方向分支的输出首先通过卷积进行下采样。然后将结果特征图融合以产生最终的边缘表示。公式定义为：
????1=????1⊙DSK0°?(^??),
????2=????2⊙DSK90°?(^??),
????=[????1,????2]。
（图4. 动态Sobel卷积层。?表示连接操作。曼哈顿世界假设表明建筑物通常与三个主要方向对齐。受此观察的启发，对建筑区域应用了几何约束。根据曼哈顿世界假设[34]，引入了一种几何约束机制，特别针对建筑立面和屋顶区域，以提高3D重建的保真度。设计了一个损失函数，以强制同一平面区域内的所有表面点的法线方向保持一致，从而对平面表面施加几何规则化。
对于地面区域，曼哈顿世界假设规定法线垂直于z轴。因此，定义了一个法线损失函数，以约束地面像素的法线与这个垂直方向对齐。设p表示其渲染的语义标签对应于地面的像素。其关联的表面点????是通过从高斯分裂表示中栅格化深度并将像素投影到3D空间获得的。然后通过计算在????处评估的有符号距离函数???(??)的梯度来计算表面法线???(????)。地面法线损失定义如下：
????(??)=|1????(????)·????|，
其中???? =?0,0,1?是表示地面区域规定的法线方向的规范向上向量。
对于建筑立面，引入了一个可学习的法线向量????。设计了一个损失函数，以鼓励表面法线与????平行或垂直。墙壁像素的损失定义为：
????(??)=min?? |??????(????)·????|，
其中????初始化为?1,0,0?，作为水平平面内的中性起始方向。需要注意的是，这种初始化不对实际立面方向施加任何先验假设。相反，????被视为一个可学习参数，并在训练过程中共同优化，使其能够适应场景中建筑立面的主导结构方向。为了保持与地面法线????的正交性，将????的最后一个分量固定为零。然后定义建筑Super结构的整体几何法线损失为地面和立面贡献的总和：
?geo=∑??∈??ground????(??)+∑??∈??facade????(??)。

3.3. 形状注意力
数据分布的不一致性是导致模型训练失败和泛化性能下降的关键因素之一。为了解决这个问题，本文引入了一种形状注意力机制。通过自适应学习不同语义组内特征的重要性权重，所提出的方法增强了每个语义组中的有效特征信息，同时抑制了噪声和冗余等无效信息，从而实现了不同语义组之间的稳健融合和统一训练。形状注意力（SA）模块的结构如图5所示。
（图5. 形状注意力模块的架构。）从更广泛的角度来看，这种设计与增强-融合-对齐原则在概念上是相关的，该原则建议在多源融合之前进行特征增强和对齐，以避免放大跨分布的噪声。在我们的SA模块中，可学习的加权操作与跳跃连接一起作为隐式增强机制，细化每个语义组内的特征，同时保持它们的原始结构。
随后通过对这些细化表示进行逐元素聚合来执行融合，从而减少了噪声或错位特征在语义组之间传播的风险。这种设计实现了不同语义组之间的稳健融合和统一训练，从而提高了重建精度和跨分布场景的准确性。形状注意力（SA）模块的公式定义如下：
???1=??12⊙(??11⊙??1+??1)?????,
???2=??22⊙(??21⊙??2+??2)???2,
???3=??32⊙(??31⊙??3+??3)???3,
^??=??33⊙(???1+???2+???3)。
（公式中的⊙表示Hadamard积，?表示逐元素乘法，????是卷积层的可学习权重。）
损失函数包括两个部分：
???3??3??3??3??=?+??geo??geo
其中? =(1???)3?12(??,^??) +??3??????3??3??3??2(??,^??)在[15]中给出，?? =0.2，??geo =0.1。

3.4. 点云构建
在获得训练好的高斯分裂结果后，构建了一个点云。提出了一个概率空间占用模型，该模型由高斯密度和不透明度共同约束。该模型基于这样一个假设：点存在于给定空间位置的概率与这两个量的乘积成正比。模型公式为：
???(??)=∑??????3exp?(?12(???????)??3Σ?1??3(???????))
其中??表示高斯的不透明度。
方程（14）表明，3D坐标（??,??,??）处的概率密度由高斯核和相应的不透明度系数共同控制。受到这一观察的启发，设计了一个从粗到细的两阶段采样框架。
在第一阶段，通过归一化高斯原始体的不透明度值来构建一个离散的概率分布：
???(??)=????∑????
然后根据这个分布进行重要性采样，从而根据高斯分量之间的不透明度变化自适应分配采样预算。具体来说，与高不透明度原始体相关的区域被密集采样，而低不透明度区域则被稀疏采样或排除。
在第二阶段，在选定的高斯椭球体内进行空间采样，允许灵活调节整体采样分辨率。
广泛的实验表明，所提出的点云提取机制能够有效恢复几何结构，并与基线方法相比显著提高重建保真度。

4. 实验
4.1. 数据集
所提出的方法通过两个公共数据集进行了评估，包括GauU-Scene V2 [35]、MatrixCity-Aerial [36]和我们自己的“JN-Aerial”数据集。
GauU-Scene V2数据集是一个为大尺度高斯分裂设计的大型航拍场景数据集。它包含六个场景的无人机图像和LiDAR点云：Campus、College、Modern、Village、Residence和Russian。该数据集包含4693张高分辨率图像，分辨率为5472 × 3648，覆盖面积约为6.668平方公里。
实验中使用了MatrixCity数据集中小城市子集的航拍场景。它包含大约6K张无人机图像，分为10个块，分辨率为1920 × 1080，覆盖面积约为2.7平方公里。
JN-Aerial数据集（图6）是在120米的高度拍摄的，包含两个场景。该数据集包含546张和898张高分辨率倾斜摄影图像，由DJI Mavic 3E无人机在Linjiaqiao和Shahe地区拍摄，总大小分别为3.16 GB和5.84 GB。
（图6. JN-aerial数据集的示例。使用DJI Mavic 3E无人机拍摄的Linjiaqiao场景的一些高分辨率图像。）

4.2. 度量标准
为了评估重建的质量，采用的评估指标包括常见的指标，如Chamfer距离[37]、PSNR[38]、SSIM[39]、LIPIPS[40]。这些指标定义如下：
????3?2??3??2??3??2(??1,??2)=12|??1|∑??∈??1min??∈??2||?????||2 +12|??2|∑??∈??2min??∈??1||?????||2
??3??3??3??=10·log102(??3??3????2??3??3??)
其中??3??3????是图像的最大像素值，??3??3?? =1??3??3???1∑??=0???1∑??=0[??2(??,??)???2(??,??)]2。
照明：
??2(??,??)=2????????+??1????2+????2+??1
对比度：
??2(??,??)=2????????+??2????2+????2+??2
结构评分：
??2(??,??)=??????+??3????????+??3
SSIM：
??3??3??3??2(??,??)=??3(??,??)??·??3(??,??)??3??3(??,??)
其中????、????、????、????分别表示图像x和y的均值和标准差；??????是图像x和y的协方差；??1、??2和??3是防止除以0的常数；?、??和??是在计算相似性时不同特征的权重。
??3??3??3??3??=??2(??,??0) =∑??1????2????3∑?,??∥????⊙(^?????2???^??0???2????)∥2
其中????是层l的权重向量，⊙表示逐元素乘法，^??是图像特征。

4.3. 训练
所有实验都在单个Nvidia GeForce RTX 3090 GPU上进行。系统配置包括Ubuntu 22.04、NVIDIA驱动程序525-server、CUDA 11.3和PyTorch 1.8.1。对于DeepLabV3+网络，采用了基于Xception65的预训练模型，该模型最初在Cityscapes数据集上进行训练。随后，该模型在UAVID数据集[41]上进行了微调，以适应航空图像的特点。

5. 结果
为了验证所提出的使用3D高斯点插值方法的3D重建方法的有效性，在多个基准数据集上进行了广泛的实验，包括GauuScene、JN-Aerial和MatrixCity。模型的性能在图像重建和点云重建任务上进行了评估。结果列在表1、表2、表3、表4、表5和表6中，并与Gaussian Splatting、SuGaR、Instant NGP和NeRFacto进行了比较。所提出的方法在大多数场景中取得了先进的性能。

表1. 不同重建模型在GauU-Scene V2数据集基准测试中的图像结果。
表2. 不同重建模型在GauU-Scene V2数据集基准测试中的点云结果。
表3. 不同重建模型在JN-Aerial和MatrixCity数据集基准测试中的图像结果。
表4. 不同重建模型在JN-Aerial和MatrixCity数据集基准测试中的点云结果。
表5. 我们方法中每个模块在Linjiaqiao场景上的消融研究。
表6. 我们方法中每个模块在MatrixCity-Aerial场景上的消融研究。

5.1. 在GauUScene上的定量和定性分析
表1显示了不同NeRF和基于3D高斯的模型在GauUScene数据集上的图像重建结果。我们将我们的方法与现有模型进行了比较，包括Gaussian Splatting、SuGaR [42]、Instant NGP [43]、CityGaussian V2 [44]和NeRFacto [45]。实验结果表明，结合3D高斯的NeRF模型显著提高了图像重建质量，特别是在校园和现代场景中。具体来说，在校园场景中，我们的方法达到了25.23的PSNR，比Gaussian Splatting高出0.47，并且SSIM提高了0.003，显示出更好的图像质量和细节恢复。
在村庄场景中，尽管其他模型的性能存在差异，我们的方法达到了27.02的PSNR和0.821的SSIM，优于Gaussian Splatting（PSNR = 26.14，SSIM = 0.762）。3D高斯建模的整合使得对复杂场景几何的处理更加有效，从而提高了重建质量。
一些GauUsceneV2数据集的渲染结果可以在图7中找到。此外，从上图8可以看出，我们的方法显著增强了图像的边缘清晰度。此外，根据图9，我们的方法在建筑物的表面重建方面表现更出色，并在密集建筑区域表现出更高的真实性。

图7. GauUSceneV2数据集的渲染结果。
图8. 我们的方法与其他方法在GauUSceneV2数据集的俄罗斯建筑和现代建筑图像渲染中的定性结果。
图9. 我们的方法生成的校园、俄罗斯和村庄场景的深度图可视化结果。
GauU-Scene V2和JN-Aerial/MatrixCity数据集上的点云重建结果分别展示在表2和表4中。表2显示，我们的方法在GauScene数据集上显著优于其他模型，尤其是在校园和现代场景中，点云重建的准确性和稳定性都有显著提高。具体来说，在校园场景中，我们方法的点云平均值为0.035，方差为0.103，而Gaussian Splatting的分别为0.044和0.117，显示出更好的几何一致性。

5.2. 在JN-Aerial和MatrixCity-Aerial上的定量和定性分析
表3显示了在JN-Aerial和MatrixCity数据集上的图像重建结果。我们的方法继续优于现有方法，特别是在Linjiaqiao和Shahe场景中，PSNR分别达到了25.63和27.95。这证明了我们的3D高斯-NeRF模型在大型和复杂数据集中的鲁棒性和细节保持能力。
表4展示了在JN-Aerial和MatrixCity数据集上的点云重建性能。在Linjiaqiao和Shahe场景中，我们的方法在均值和方差控制方面都优于其他模型，进一步验证了3D高斯建模对点云重建精度和稳定性的贡献。
图10展示了我们的方法与其他方法在MatrixCity和JN-Aerial数据集上的视觉比较结果。可以清楚地观察到，我们的渲染结果取得了显著的改进。

5.3. 消融研究
为了进一步验证每个模块的贡献，我们在各种场景中进行了消融研究。表5和表6展示了Linjiaqiao和MatrixCity-Ariel场景的消融研究结果。通过逐步移除语义形状（Semantic Shape）、曼哈顿（Manhattan）和形状注意力（Shape Attention）等模块，我们评估了每个组件对模型性能的影响。值得注意的是，语义形状是指对航空图像进行的逐像素语义分组，动态Sobel卷积层（Dynamic Sobel Conv Layer）在第3.2节中也有所提及。
在Linjiaqiao场景中，结合语义形状和曼哈顿模块显著提高了PSNR（从24.97提高到25.63），同时也改善了SSIM和LPIPS，证实了这些模块在模型中的重要性。在MatrixCity-Ariel场景中，添加这些模块后，PSNR从26.83提高到了27.95，SSIM从0.737提高到了0.846，进一步证明了这些模块在提高性能中的关键作用。
此外，从图11和图12可以看出，我们的方法在点云重建方面取得了显著改进。它能够恢复屋顶结构的更细小细节，同时有效地减少了重建建筑立面中的孔洞和伪影。

图11. JN-Aerial和MatrixCity-Aerial数据集上的可见点云结果。
图12. JN-Aerial数据集上不同模块下的无纹理点云结果。
消融研究进一步确认了每个模块对最终性能的贡献。特别是在复杂场景中，语义形状、曼哈顿和形状注意力模块对于提高准确性和真实性至关重要。
总体而言，我们的方法在3D重建任务中表现优异，具有处理多样化和复杂场景的强大泛化能力。

6. 结论
本文提出了一种基于曼哈顿世界假设（Manhattan World Assumption）的形状优化的Gaussian点插值框架，用于从无人机图像中进行高保真度几何重建。我们的方法动态地将目标几何形态分配给与不同语义组相关的高斯原语。通过参数化传统的Sobel算子，我们引入了动态Sobel核（DSK）和动态Sobel卷积层，以跨语义组提取边缘特征，从而指导高斯原语的数量和形态配置的估计。为了减轻跨组数据分布不一致性对训练稳定性和重建质量的不良影响，我们构建了一个形状注意力模块，该模块放大了组间信息信号，同时减弱了无关响应，从而实现了所有语义组之间的联合优化。对于对应于建筑结构的高斯原语，我们在优化过程中引入了曼哈顿世界假设——即建筑边缘的正交性——作为结构正则化约束，从而提高了建筑重建的真实性。此外，我们设计了一种点云提取策略，该策略在保持不透明度适应性的同时采样用户控制的点数。广泛的实验评估证明了所提出框架的有效性和优越性。
然而，所提出的方法仍然存在一些局限性。首先，它依赖于外部提供的语义注释，这在某些现实世界场景中可能无法获得或成本高昂。其次，曼哈顿世界假设显著提高了场景重建的效果；然而，在复杂的真实世界城市环境中，由于其对建筑结构的严格正交性约束，其性能往往会下降。这一限制在自建住宅和具有复杂屋顶结构的欧洲风格建筑中尤为明显。此外，现实世界场景通常包括倾斜的地形，这些地形无法严格遵循曼哈顿世界假设中的正交性约束。因此，在这种情况下，所提方法的重建精度可能会受到影响。最后，这项工作仅在学术研究环境中实现，尚未在实际系统中部署。我们期待在未来通过真实的工业数据集验证其先进的性能，并在实际应用中成功部署。未来，工作将专注于减少对外部语义监督的依赖，并更加适应性地整合曼哈顿假设。可以采用分而治之的策略。或者，可以采用混合方法，根据不同的区域应用不同的几何先验。然而，这需要更精细的区域分割策略。这样的要求带来了重大挑战。