基于纹理复杂度的平面引导高斯散射初始化方法 郑安宏（Zheng Anhong）与 于卓远（Yu Zhuoyuan）

《Electronics》：Planar-Guided Gaussian Splatting with Texture-Complexity-Based Initialization Anhong Zheng and Zhuoyuan Yu

　　摘要
室内场景重建仍然具有挑战性，因为墙壁、地板和天花板等低纹理区域普遍存在，这些区域的弱光度信号阻碍了精确的几何恢复。尽管3D高斯散布（3DGS）在新型视图合成方面取得了令人印象深刻的成果，但由于对场景区域的统一处理，现有方法在无纹理区域的几何精度上存在不足。我们提出了一种基于纹理复杂度的3D高斯散布策略，该策略利用几何先验来实现高保真的室内重建。我们的方法通过曼哈顿框架对齐提取平面先验，并使用Segment Anything Model（SAM）掩码进行细化，从而实现基于纹理的初始化：平面先验指导高斯在低纹理区域中的放置，而密集特征匹配确保在高细节区域中的精确初始化。在优化过程中，通过深度平面损失、法线表面损失和法线一致性损失进行几何正则化，以保持结构完整性。在ScanNet++、MuSHRoom和Replica数据集上的评估显示了先进的性能，训练时间不到1小时。我们的方法在几何精度和光度保真度之间取得了平衡，为从高斯表示中提取高保真室内网格提供了实用的解决方案。

1. 引言
室内场景的高保真3D重建是计算机视觉中的一个基本挑战，在机器人技术、虚拟现实和建筑设计等领域有广泛的应用。从多视图图像中准确恢复房间规模的几何形状和外观一直是数十年来研究的重点，从传统的多视图立体方法[1,2]发展到现代的神经渲染方法[3,4]。在这些发展中，3D高斯散布（3DGS）[4]作为一种变革性技术脱颖而出，通过显式的基于点的表示和可微分的光栅化实现了逼真的新型视图合成。3DGS的效率和视觉质量促进了场景重建的快速进步，但在将这些方法应用于复杂的室内环境时仍存在重大挑战。
室内场景呈现出与室外或以物体为中心的场景不同的重建挑战。低纹理区域（包括墙壁、地板、天花板和大型平面表面）的普遍存在提供了弱光度信号，这阻碍了精确的几何恢复。与具有丰富特征对应关系的有纹理物体不同，这些均匀的表面缺乏明显的视觉模式，导致基于优化的方法收敛到错误的几何形状或产生浮动伪影。此外，无纹理区域中外观和几何之间的固有不确定性加剧了重建问题的不适定性。最近的研究如IndoorGS[5]和DN-Splatter[6]指出了这些限制，表明尽管实现了引人注目的渲染质量，但标准的3DGS方法往往无法提供令人满意的几何精度。
现有基于3DGS的室内重建方法的核心限制在于它们对具有截然不同特征的场景区域进行了统一处理。标准的初始化策略通常基于从运动结构中得到的点云[1]，提供的覆盖范围不足，无法充分表示大型平面表面。此外，在优化过程中缺乏几何先验，导致高斯在3D空间中自由分布，特别是在光度约束较弱的区域，几何不一致性尤为明显。尽管最近的进展结合了深度监督[6]和表面法线约束[7]，但这些方法在整个场景中均匀应用正则化，无法适应局部纹理复杂性和几何结构的变化。
为了解决这些限制，我们提出了一种基于纹理复杂度的3D高斯散布策略，该策略利用几何先验来实现高保真的室内场景重建。我们的方法基于这样一个观察：室内环境表现出强烈的结构规律性——最显著的是曼哈顿世界假设[8]，其中主导平面与三个正交方向对齐。我们通过语义引导的平面提取流程利用这一先验，使用曼哈顿框架对齐识别候选平面区域，并使用Segment Anything Model（SAM）[9,10]系列掩码以粗到细的方式对其进行细化。
我们方法的基石是一种基于纹理的初始化和优化策略，根据局部场景复杂性应用不同的处理流程。对于低纹理平面区域，我们从重新分布的平面点云中初始化高斯，并通过深度平面对齐和共面性约束强制执行强几何正则化。相反，对于包含丰富纹理和复杂几何的高细节区域，我们使用RoMaV2[11]进行密集特征匹配，以建立稳健的对应关系，并从精确的三角化点中初始化高斯。这种自适应方法确保每个区域都得到适当的约束：在几何简单且定义明确的区域使用平面先验，在需要保留细节的区域使用密集的光度线索。
在优化过程中，我们结合了全面的几何正则化，包括无偏深度公式和一系列基于法线的损失，以强制渲染深度、预测法线和提取的平面结构之间的一致性。所获得的框架在保持3DGS与隐式神经表示的计算效率的同时，实现了卓越的重建保真度。

我们的贡献可以总结如下：
我们提出了一种自适应集成策略，动态结合了通过SAM系列分割细化的曼哈顿对齐平面先验和基于密集特征的重建。我们的关键创新在于一种基于纹理的自适应分解机制，将场景划分为低纹理和高细节区域，并相应地应用不同的初始化和正则化策略。
我们结合了全面的几何正则化，包括无偏深度监督、深度平面对齐和多尺度法线一致性损失，并根据局部纹理复杂性进行自适应加权，以提高重建保真度。
我们在ScanNet++[12]、MuSHRoom[13]和Replica[14]数据集上展示了先进的性能，与现有的基于3DGS的方法相比，实现了更高的重建精度和新型视图合成质量。

2. 相关工作
2.1. 神经辐射场和3D高斯散布
神经辐射场（NeRFs）[3]通过将场景表示为连续的体积函数来革新了新型视图合成，这些函数将3D位置和视图方向映射到颜色和密度。虽然NeRF实现了逼真的渲染，但其隐式表示在训练和推理过程中需要昂贵的体积渲染。后续工作通过分层采样[15]、基于哈希的编码[15]和混合表示[16,17]提高了效率。
最近，3D高斯散布（3DGS）[4]引入了基于3D高斯原语的显式表示，通过高效的光栅化实现了实时渲染。3DGS的效率和视觉质量促进了场景重建的快速进步，但在将这些方法应用于复杂的室内环境时仍存在重大挑战。
室内场景呈现出独特的重建挑战，使其与室外或以物体为中心的场景不同。低纹理区域（包括墙壁、地板、天花板和大型平面表面）的普遍存在提供了弱光度信号，这阻碍了精确的几何恢复。与具有丰富特征对应关系的有纹理物体不同，这些均匀表面缺乏明显的视觉模式，导致基于优化的方法收敛到错误的几何形状或产生浮动伪影。此外，无纹理区域中外观和几何之间的固有不确定性加剧了重建问题的不适定性。最近的研究如IndoorGS[5]和DN-Splatter[6]强调了这些限制，表明标准3DGS方法通常无法提供令人满意的几何精度，尽管渲染质量令人印象深刻。
现有基于3DGS的室内重建方法的核心限制在于它们对具有截然不同特征的场景区域进行了统一处理。标准的初始化策略通常基于从运动结构中得到的点云[1]，提供的覆盖范围不足，无法充分表示大型平面表面。此外，在优化过程中缺乏几何先验，导致高斯在3D空间中自由分布，特别是在光度约束较弱的区域，几何不一致性尤为明显。尽管最近的进展结合了深度监督[6]和表面法线约束[7]，但这些方法在整个场景中均匀应用正则化，无法适应局部纹理复杂性和几何结构的变化。
为了解决这些限制，我们提出了一种基于纹理复杂度的3D高斯散布策略，该策略利用几何先验来实现高保真的室内场景重建。我们的方法基于这样一个观察：室内环境表现出强烈的结构规律性——最显著的是曼哈顿世界假设[8]，其中主导平面与三个正交方向对齐。我们通过一个语义引导的平面提取流程利用这一先验，使用曼哈顿框架对齐识别候选平面区域，并使用Segment Anything Model（SAM）[9,10]系列掩码以粗到细的方式对其进行细化。
我们方法的基石是一种基于纹理的初始化和优化策略，根据局部场景复杂性应用不同的处理流程。对于低纹理平面区域，我们从重新分布的平面点云中初始化高斯，并通过深度平面对齐和共面性约束强制执行强几何正则化。相反，对于包含丰富纹理和复杂几何的高细节区域，我们使用RoMaV2[11]进行密集特征匹配，以建立稳健的对应关系，并从精确的三角化点中初始化高斯。这种自适应方法确保每个区域都得到适当的约束：在几何简单且定义明确的区域使用平面先验，在需要保留细节的区域使用密集的光度线索。
在优化过程中，我们结合了全面的几何正则化，包括无偏深度公式和一系列基于法线的损失，以强制渲染深度、预测法线和提取的平面结构之间的一致性。所获得的框架在保持3DGS与隐式神经表示的计算效率的同时，实现了卓越的重建保真度。

我们的贡献可以总结如下：
我们提出了一种自适应集成策略，动态结合了通过SAM系列分割细化的曼哈顿对齐平面先验和基于密集特征的重建。我们的关键创新在于一种基于纹理的自适应分解机制，将场景划分为低纹理和高细节区域，并相应地应用不同的初始化和正则化策略。
我们结合了全面的几何正则化，包括无偏深度监督、深度平面对齐和多尺度法线一致性损失，并根据局部纹理复杂性进行自适应加权，以提高重建保真度。
我们在ScanNet++[12]、MuSHRoom[13]和Replica[14]数据集上展示了先进的性能，与现有的基于3DGS的方法相比，实现了更高的重建精度和新型视图合成质量。

2. 相关工作
2.1. 神经辐射场和3D高斯散布
神经辐射场（NeRFs）[3]通过将场景表示为连续的体积函数来革新了新型视图合成，这些函数将3D位置和视图方向映射到颜色和密度。虽然NeRF实现了逼真的渲染，但其隐式表示在训练和推理过程中需要昂贵的体积渲染。后续工作通过分层采样[15]、基于哈希的编码[15]和混合表示[16,17]提高了效率。
最近，3D高斯散布（3DGS）[4]引入了基于3D高斯原语的显式表示，通过高效的光栅化实现了实时渲染。每个高斯由3D协方差矩阵、不透明度和球谐系数参数化，用于视图依赖的颜色。3DGS的显式特性便于直接场景操作和编辑，解决了隐式NeRF表示的一个主要限制。
在3DGS的基础上，几项工作专注于提高表面重建的几何精度。SuGaR[18]通过引入一种正则化损失将高斯与底层表面对齐，鼓励高斯位于定义明确的表面上。2DGS[19]用2D曲面替代3D高斯，通过改进的表面对齐实现了几何精确的辐射场。GS2Mesh[20]通过新颖的立体视图从高斯散布中重建网格，而GOF[7]引入了高斯不透明度场，用于在无边界场景中进行高效的自适应表面重建。PGSR[21]将平面约束纳入高斯散布，以改善室内环境中常见的平面表面的重建。
尽管取得了这些进展，现有方法在具有大量无纹理区域、重复图案和有限视点的复杂室内场景中仍面临挑战。高斯原语的离散和非结构化特性使它们在约束不足的区域容易过拟合，导致浮动伪影和几何不准确。

2.2. 基于几何先验的室内场景重建
室内场景由于存在大量无纹理表面、重复图案和复杂遮挡物，为3D重建带来了独特的挑战。为了解决这些挑战，研究人员结合了利用室内环境结构规律性的几何先验。
曼哈顿世界假设[22]认为室内场景主要由与三个正交主方向对齐的表面组成。这一假设已被广泛用于室内重建[8,23,24]。基于曼哈顿世界假设的神经3D场景重建[8]将这一先验整合到神经隐式表示中，显著提高了纹理贫瘠区域的重建质量。ManhattanFusion[24]将这种方法扩展到在线密集重建，实现了实时室内映射。
最近的工作专门为3D高斯散布调整了几何先验。IndoorGS[5]提取包括3D线条、类平面区域和SfM点在内的几何线索，以指导高斯初始化和优化。该方法根据几何特性将高斯分类为不同类型，并为每种类型应用专门的密集化策略。DN-Splatter[6]结合来自单目估计器的深度和法线先验来规范高斯优化，改善了室内环境中的重建。AGS-Mesh[25]通过在优化过程中比较一致性来自适应过滤低质量的深度和法线估计，减轻了高不确定性区域的正则化问题。
虽然这些方法改善了室内重建，但它们通常在整个场景中均匀应用几何先验，而不适应局部纹理特性。这可能导致高细节区域过度平滑，同时仍然无法充分约束无纹理区域的重建。

2.3. 平面检测和分割
平面表面构成了室内环境的重要部分，使得平面检测和分割对于理解室内场景至关重要。早期方法依赖于基于RANSAC的几何拟合[26]，虽然对于简单场景有效，但在包含多个相交平面的复杂室内环境中效果不佳。
基于深度学习的方法显著提高了平面检测精度。PlaneRCNN[27]引入了一种基于CNN的方法，该方法从单张图像中同时执行平面检测、分割和重建。该方法使用区域提议网络检测平面实例并预测平面参数以及分割掩码。PlaneRecNet[28]通过多任务学习和跨任务一致性扩展了这种方法，提高了平面检测和重建质量。
基于Transformer的架构进一步推进了平面分割的先进水平。PlaneTR[29]采用类似DETR的架构和Transformer解码器生成平面实例嵌入，性能优于基于CNN的方法。然而，PlaneTR使用线段信息的方式相对简单，并且发生在流程的后期，限制了其有效性。SPL-PlaneTR[30]通过用轻量级的线段提示模块替换双Transformer架构，显著提高了效率，同时保持了准确性。该方法还结合了带有控制噪声注入的数据增强，增强了在具有挑战性的室内场景中的鲁棒性。
Segment Anything Model（SAM）[9]通过其可提示的分割能力为平面分割开辟了新的可能性。SAM能够从最小提示生成高质量掩码，使得在复杂室内场景中进行灵活的平面提取。SAM 2[31]将这种能力扩展到视频中，实现了跨多个视图的时间一致分割。最近的工作将SAM整合到3D重建流程中[32]，证明了其在最小用户交互下进行分解场景重建的有效性。

2.4. 多视图重建的密集特征匹配
特征匹配是多视图立体和3D重建的基础，它建立了图像之间的对应关系，从而实现三角测量和相机姿态估计。传统的稀疏特征匹配方法[33,34]检测和描述关键点，但在缺乏明显关键点的无纹理区域中效果不佳。
无检测器匹配方法作为一种强大的替代方案出现，能够在没有明显关键点的区域进行匹配。LoFTR[35]引入了一种使用Transformer的无检测器方法，建立了密集的对应关系，在室内基准测试中取得了最佳结果。SuperGlue[36]将特征匹配表述为一个使用图神经网络解决的偏置分配问题，同时编码了外观和几何线索。
最近在密集特征匹配方面的进展进一步提高了鲁棒性和精度。RoMa[37]利用基础模型DINOv2[38]的冻结特征和专门的ConvNet细特征创建了一个精确可定位且鲁棒的特征金字塔。该方法引入了基于Transformer的匹配解码器，能够预测锚点概率，使其能够在具有挑战性的匹配场景中表达多模态分布。RoMa在WxBS基准测试中取得了显著改进，该测试具有极端的视图和照明变化。RoMaV2[11]通过DINOv3特征和精度矩阵预测进一步提高了速度、密度和鲁棒性。
密集匹配先验提供了绝对的尺度信息，补充了通常存在尺度不确定性的单目几何先验。最近的工作开始将匹配先验整合到神经渲染流程中[39]，在约束不足的区域中提高了几何质量。

2.5. 神经渲染中的几何正则化
几何正则化在通过将结构约束纳入优化过程来提高3D重建质量方面起着关键作用。在神经渲染中，正则化有助于减少伪影并改善观测有限的区域的重建。
由于单目深度估计[40,41]的进步，深度先验正则化得到了广泛探索。诸如[42,43]的方法从预训练网络中整合了密集的深度图来指导神经渲染优化。然而，单目深度估计存在尺度不确定性，并且缺乏多视图一致性，需要仔细的对齐和过滤策略。
表面法线先验提供了补充的几何信息，捕获了局部表面方向。VCR-GauS[44]引入了基于置信度加权的深度-法线一致性损失，根据估计的置信度自适应地加权正则化。AGS-Mesh[25]开发了监督策略，在优化过程中通过比较一致性来过滤低质量的法线估计。法线先验特别适用于约束高斯方向，将高斯的各向异性形状与底层表面几何对齐[45,46]。
最近的工作探索了基于纹理的正则化策略。GeoTexDensifier[47]引入了一种几何-纹理感知的密集化策略，在有纹理的区域产生更密集的散布分布，同时在低纹理区域保持稀疏性。这种方法认识到场景的不同区域根据其纹理特征需要不同的重建策略。尽管有这些进步，现有方法通常将几何先验和密集匹配视为独立的信息来源，而没有有效地将它们融合在一起。所提出的方法通过引入一种纹理自适应分解方案来解决这一差距，该方案利用密集特征匹配来处理高细节区域，同时使用SAM引导的几何先验来处理无纹理区域，从而在不同室内场景特征下实现更高的保真度。3. 初步3D高斯散布（3DGS）[4]用各向异性高斯集合?? ={????}表示3D场景。每个高斯????由不透明度???? ∈[0,1]、世界空间中心???? ∈?3和协方差矩阵????参数化，定义为?????(??)=???12?(???????)??????1???(???????)（1）。其颜色????通过球谐系数表示。具体来说，为了确保协方差矩阵????是半正定的，3D协方差矩阵被分解为旋转矩阵????和缩放矩阵????，如下所示：????=?????????????????????。从一组SfM点云初始化后，高斯原语被投影到2D坐标中，如[48]所示：??′??=?????[????,1]??Σ′??=???????????????????（3），其中??是视图变换矩阵，??是投影变换的仿射近似的雅可比矩阵；像素??上的渲染颜色C通过??混合计算得出[49]：???(??)=??∑??=1????????????=????????1∏??=1(1?????）（4），其中????表示第i个原语对像素??的贡献。根据[50]，每个高斯的法线通过其投影椭圆高斯的最短轴估计得出。法线图使用相同的??混合方案渲染，如下所示：???(??)=??∑??=1????????（5）。同样，每个高斯的深度定义为其世界空间中心到相机中心的距离。深度图也按如下方式渲染：???(??)=??∑??=1????????（6）。训练采用可微分渲染。为了更准确地构建场景的几何结构，引入法线和深度信息以增强对高斯原语的监督，帮助避免局部最小值。对于每个相机姿态????及其对应的图像????，优化??中的高斯参数，使渲染图像与目标图像匹配。4. 方法论 4.1. 基于语义的平面先验提取现有的平面分割方法[27,28,30]依赖于轻量级网络和丰富的注释；它们提取粗略的表面，但为高质量3D重建提供的约束太少。为了保留它们的几何线索同时获得像素级别的保真度，我们首先使用曼哈顿结构先验提出候选平面，然后使用SAM系列[9,10,31]模型生成的高分辨率掩码细化每个表面。这种从粗到细的流程产生的分割既尊重几何形状又保留了细节，如图1所示。图1. 概览。我们的方法通过纹理自适应分解方案将密集特征匹配与几何建模相结合。具体来说，我们使用SAM引导的几何先验解决低纹理区域的问题，同时通过密集图像对应关系保持高细节区域的保真度。曼哈顿框架对齐和粗平面锚点为了减少基于法线的聚类的计算开销，我们采用曼哈顿世界假设（图2）生成一组轴对齐的平面假设。该过程首先从重力对齐的点云中提取主导地面，丢弃倾斜过大的候选平面。然后将地面内点投影到2D中，通过凸包的正交边确定主要水平轴。最后，沿这些轴的直方图分析隔离出最重要的平面表面。这些假设作为进一步优化的稳健的粗略种子。图2. 平面检查流程。(a) 曼哈顿检测结合直方图切片提供粗略的平面先验。(b) 通过与精确的SAM片段集成来细化粗略平面。掩码约束的平面优化为了减少几何模型误差并细化平面参数，我们将几何区域提议与SAM提供的分割掩码协调。每个分割掩码与其最佳匹配的粗略平面假设相关联。为了确保稳健性，我们根据一致性过滤点：只有始终映射到相应平面区域的点（高命中次数）被保留为置信集??conf??，而异常值被丢弃。在每个掩码区域内的粗略先验点被细化后，我们执行二次受限RANSAC拟合。正式地，第k个平面Φ??被参数化为Φ??:????????+????=0（7），其中????是平面的单位法向量，????是偏移量。为了稳健性，我们通过最小化高置信度先验点的平方误差来优化平面参数，如下所示：min????,?????∑??∈??conf??(????????+????)2，其中∥????∥=1（8）。利用上述的局部-全局平面信息，我们将非均匀样本重新分配到相应的理想室内表面上。此操作防止了后续优化中的遮挡。4.2. 基于纹理的初始化在上面提取的几何框架基础上，我们现在结合光度信息来弥补纹理不足。为了实现这种几何-光度融合，我们采用一种基于局部场景复杂性的纹理自适应初始化。对于墙壁和地板等低纹理区域，其中几何先验是可靠的但光度信号较弱，我们直接从第4.1节中重新分配的平面点云初始化高斯，从而在均匀区域强制执行强规则化。相反，在几何假设失效的其他区域，我们利用基于像素相关的采样[51]从密集图像对应关系初始化高斯属性，保持光度保真度。这种分而治之的策略确保优化从平衡几何精度和视觉一致性的状态开始——在平滑区域避免局部最优解，同时在高纹理区域保留细节。高细节区域的密集特征匹配。对于高细节区域，由于低分辨率的几何先验缺乏足够的粒度，我们通过预训练的特征匹配器从密集对应关系初始化高斯。具体来说，我们采用预训练的模型[11]进行密集特征匹配。给定相机投影矩阵，我们对每个有效对应关系{??????????=???????????????????=?????????}进行三角测量（其中??? =(??,??,1)?表示均匀像素坐标，??表示投影深度）。通过叉积??? ×(???????) =??消除??，每个视图产生两个线性约束，形成标准的直接线性变换（DLT）系统[52]，如下所示：???????=??，其中??=?? ? ? ? ? ?????????????2?????0???????????2?????0???????????2?????1???????????2?????0???????????2?????1?? ? ? ? ? ??∈?4×4（9），我们通过SVD解决这个均匀最小二乘系统，取????为与最小奇异值相关联的右奇异向量，然后通过透视除法获得欧几里得坐标。对于每个????，我们按如下方式初始化高斯：颜色从相应像素采样，而比例与最近的相机距离成正比。这在???(??)时间和空间内运行，提供像素精确的种子，有效减少高纹理区域的模糊。4.3. 优化鉴于这种混合初始化（平滑区域的平面先验，细节区域的密集对应关系），优化过程通过调整正则化强度来适应这些不同的特征，以适应局部纹理密度。几何规则化。受[21,53,54]的启发，我们采用无偏深度公式来渲染低纹理区域的平面区域。具体来说，高斯被扁平化以更好地适应平面表面，从而获得更准确的几何和深度渲染。对于高斯法线的定义，遵循[53]，我们最小化???? =diag?(??1,??2,??3)中的最小缩放因子，并将法线定义为最接近相机光线的轴。当前视图的法线图通过??混合使用世界到相机旋转矩阵????渲染，如下所示：^??=??∑??=1????????????????????1∏??=1(1?????）（10）。每个高斯到相机的平面距离定义为???? =(???????(?????????))??????????????，其中????表示世界坐标中的相机位置，????是高斯中心。遵循[21]，我们通过??混合渲染平面距离图^??，如下所示：^??=??∑??=1?????????????1∏??=1(1?????）（11）。通过将此与法线图^??结合，我们获得无偏的平面深度，如下所示：^???(??)=^???(??)^???(??)????1????（12），其中?? =(??,??)??表示像素坐标，???表示相应的均匀坐标，??是内参矩阵。为了有效地监督主导平面区域，使用（8）中估计的3d平面先验，得到拟合的平面深度图????，如下所示：?????(??)=?????????????????????????(??）（13），其中???(??)表示从相机中心????发出的光线方向。为了在低纹理区域规则化几何形状，我们通过边缘检测[55]识别平面掩码???????，并将共面性损失公式化为??????????????????=????????(??)·∥?????(??)?^???(??)∥1（14）。虽然深度提供了位置和尺度约束，但法线监督通常提供更好的稳健性[21,56]。我们进一步强制渲染法线与从深度表面派生的法线（伪法线）之间的一致性。遵循[44]，这最小化了两者之间的偏差引起的伪影，如下所示：????????????????????????=∥^??????????∥1+(1?^??·???????）（15）。最后，我们约束渲染的GS法线^????和渲染的表面法线???????之间的一致性，如下所示：???????????????=1????????∥^?????^???????∥1（16）。结合上述整体几何损失，我们将它们组合在一起，如下所示：?????????=???????????????????·(??1???????????????????+??2?????????????????????????+??3?????????????????????????）（17）。通过用???????????????????屏蔽几何损失，我们在模糊区域纠正几何形状，同时防止损失干扰复杂对象的重建。在这里，??控制不同几何损失组分的权重。光度损失。我们通过一个边缘感知的权重???? =????????(??)实现这种调整，其中???(??)表示边缘响应[28,55]，通过Sigmoid函数归一化到[0,1]。在高细节区域，高????值保持光度保真度，而在平滑区域，低权重赋予几何规则化更大的权重，解决深度歧义。对于所有像素，无论区域如何，我们都应用标准的光度损失以确保视觉保真度，如下所示：?????????=(1???)?∥???????????????????????????∥1+????D-SSIM?(???????????????????,???????）（18）。总目标。最终损失函数结合了全局光度损失和掩码的几何规则化，并进一步通过??????????????? =∥????????2(??1,??2,??3)∥1来扁平化高斯，如下所示：???????????????=?????????+?????????+????????????（19）。这种策略允许在细节丰富的区域快速收敛，同时在具有挑战性的低纹理平面中确保几何一致性。5. 结果 5.1. 数据集和设置数据集。继之前关于高斯散布室内场景重建的工作[5,6]之后，我们主要在ScanNet++ [12]上评估我们的实验结果。ScanNet++是一个大规模的室内场景数据集；它包含超过460个室内场景，涵盖公寓、办公室和教室。为了我们的研究目的，我们遵循ScanNet++中的训练和测试划分，以进行无偏和稳健的评估。为了进一步评估框架在复杂场景下的能力，我们还采用了MuSHRoom [13]。该数据集的规模大约是ScanNet++的两倍，包含更复杂的物质，从而实现更全面的评估。除了真实世界数据集，我们还在合成数据集Replica [14]上评估实验。所选数据集确保了对性能和泛化能力的全面评估。评估指标。与预览工作[57,58]一致，为了评估我们框架的性能，我们分别从几何指标和光度指标进行评估。几何指标。我们采用四个标准指标来评估几何重建质量。设??表示重建的点集，??表示真实点集。准确性衡量每个重建点与其最近真实点的平均距离，量化预测表面的几何精度。完整性衡量每个真实点与其最近重建点的平均距离，评估方法是否捕获了完整的场景几何而没有遗漏区域。精确度和召回率在阈值?? =5厘米时进一步评估重建质量：精确度报告位于??范围内的重建点的比例，反映预测的可靠性，而召回率报告在??范围内成功覆盖的真实点比例，从真实覆盖的角度评估完整性。较低的准确度和完整性值表示更好的性能，而较高的精确度和召回率更受青睐。正式地，这些指标定义为：Accuracy=1|??|?∑??∈??min??∈??2∥?????∥2，Completion=1|??|?∑??∈??min??∈??2∥?????∥2，Precision=1|??|?∑??∈????(?min??∈??2∥?????∥2SSIM?(??,^??)=(2????????^??+??1)?(2??????^??+??2)(??2??+??2^??+??1)?(??2??+??2^??+??2)，
(23)
其中??,??表示局部均值和方差，??1,??2是稳定性常数。

LPIPS利用预训练网络（例如VGG）的深度特征来计算感知距离，数值越低表示感知相似度越高。它通过测量多层归一化特征表示??( ·)之间的?2距离来评估相似性：
LPIPS?(??,^??)=∑??∥????(??)?????(^??)∥2。
(24)

实施细节：所有实验均在Nvidia RTX 4090D GPU（24 GB VRAM）上进行。由于采用了密集初始化方法，我们省略了密集化步骤；我们框架中所有场景的训练迭代次数设置为15,000次。参数??1, ??3, ??3分别设置为0.05, 0.5, 0.2。根据3DGS [4]的方法，我们将室内场景的下采样比例设置为2。

5.2 重建结果
我们将我们的方法与几种高斯表面重建方法进行了比较：2DGS [19]、GaussianPro [50]、GOF [7]、PGSR [21] 和 DN-Splatter [6]，并将3DGS [4]作为基准。对于基于3DGS的方法，我们对高斯点的z坐标应用alpha混合积分来获得深度图，然后利用这些深度图通过TSDF生成网格。

5.3 定量结果
我们在三个数据集上的定量比较结果见表1和表2。我们的方法在NVS和重建性能方面均优于其他方法，同时保持了高质量的新视图合成效果（如表1所示）。此外，我们的训练时间不到1小时，与其他基于3DGS的方法相当。我们还直接使用TSDF从Fast3R的深度先验中提取网格，如表1所展示的，体现了高斯拼接方法的优越性。

表1. ScanNet++/MuSHRoom数据集上的重建比较定量结果。平均结果基于8个场景和2个场景。最佳结果用粗体标出。↓表示越低越好；↑表示越高越好。

表2. Replica数据集上的重建比较定量结果。平均结果基于8个场景。最佳结果用粗体标出。↓表示越低越好；↑表示越高越好。

5.4 定性结果
我们在图3中展示了网格比较结果。由于缺乏几何规则化，基准方法3DGS [4]生成的表面往往粗糙且不均匀。虽然2DGS [19]和PGSR [21]通过使用扁平化的高斯点来实现局部平滑，但在没有明确几何约束的情况下，它们会出现明显的弯曲伪影。GaussianPro [50]与3DGS有类似的局限性：虽然在深度分布一致的区域内能够生成可接受的网格重建，但在处理具有复杂几何形状的室内场景时难以生成完整平滑的表面。相比之下，我们的方法有效结合了平面和几何先验，既生成了几何上准确的平面，又生成了平滑的表面，成为高保真室内重建的可靠解决方案。表2中的新视图合成结果进一步验证了这一优势。

5.3 消融研究
为了系统评估我们方法中每个组件的贡献并评估预处理流程的鲁棒性，我们在ScanNet++数据集上进行了全面的消融研究。附录A提供了几何损失权重的详细敏感性分析。

几何约束的影响
我们方法的一个关键组成部分是几何平面先验，它在优化过程中对场景几何结构进行规范。如表3所示，引入我们提出的优化约束显著提高了重建质量。特别是如图4所示，共面约束通过强制同一区域内的点位于同一平面上，显著提高了重建的保真度。此外，法线一致性损失在将高斯基元与平面表面对齐方面起着关键作用。如果没有这一约束，优化后的高斯点往往会偏离底层几何结构，导致表面重建出现噪声和碎片化。消融结果证实，这种规则化对于保持平面区域之间的几何一致性至关重要。

表3. 在5个ScanNet++场景上评估的几何约束和特征先验的消融研究。“Full”表示包含所有组件的完整模型。??表示该组件已启用；–表示该组件已禁用。最佳结果用粗体标出。

图4. 几何约束的消融研究。从左到右：分别表示没有特征先验、几何先验、共面性和深度法线一致性约束的结果。

值得注意的是，当前分析将平面先验视为一个统一组件，包括粗略的曼哈顿平面提取和随后的基于SAM的细化过程。为了单独评估像素级SAM细化相对于原始粗略曼哈顿先验的贡献，我们在表4和图5中提供了更细致的比较。在验证SAM细化的有效性时，我们注意到之前的分析将平面先验视为一个统一组件——包括粗略的曼哈顿提取和像素级细化。为了区分它们的具体贡献，我们在表4和图5中提供了更细致的比较。粗略先验建立了合理的初始结构，但SAM细化证明是关键：将边界F1分数提高了4.1%，同时大幅减少了平面泄漏伪影。

表4. 在scene 66c98f4a9b上评估的初始化策略和SAM细化的消融研究。时间 = 收敛时间（分钟）。

图5. 在ScanNet++数据集上对SAM细化的消融研究。特征先验的有效性。除了几何监督外，特征先验模块还通过丰富细节来提高重建质量。虽然几何先验主要关注结构规则性，但特征先验捕捉了补充几何表示的外观级信息。如表3所示，结合特征先验可以提高纹理保真度和边界清晰度。当与完整模型中的所有几何约束结合使用时，特征先验使网络能够生成既几何准确又视觉上详细的重建。

6. 讨论
实验结果验证了我们的基于纹理复杂性的方法有效解决了高保真室内场景重建的挑战性问题。在ScanNet++、MuSHRoom和Replica数据集上的一致性能提升——分别达到了0.828、0.772和0.771的F分数——表明以纹理自适应的方式利用几何先验显著提高了重建质量。值得注意的是，与DN-Splatter相比，我们的方法在MuSHRoom上的相对提升达到了24.7%（0.772对比0.619），这归功于我们的双策略框架：在低纹理区域应用平面先验，而在高细节区域使用密集特征匹配。

尽管我们的方法在标准室内数据集上表现稳健，但我们认识到曼哈顿世界假设限定了其应用范围。在屋顶倾斜（图6）或墙壁弯曲的环境中，这一假设被打破，导致基于RANSAC的平面提取无法将这些非正交表面拟合到有效的曼哈顿平面上。因此，这些区域被排除在几何规则化之外，退化为普通的3DGS优化。在没有平面先验来约束几何结构的情况下，这些区域会出现重建伪影，因为仅靠光度监督不足以进行稳健的几何估计。

6. 讨论
实验结果验证了我们的基于纹理复杂性的方法有效解决了高保真室内场景重建的挑战性问题。在ScanNet++、MuSHRoom和Replica数据集上的一致性能提升——分别达到了0.828、0.772和0.771的F分数——表明以纹理自适应的方式利用几何先验显著提高了重建质量。值得注意的是，与DN-Splatter相比，我们的方法在MuSHRoom上的相对提升达到了24.7%（0.772对比0.619），这归功于我们的双策略框架：在低纹理区域应用平面先验，而在高细节区域使用密集特征匹配。

尽管我们的方法在标准室内数据集上表现稳健，但我们认识到曼哈顿世界假设限定了其应用范围。在屋顶倾斜（图6）或墙壁弯曲的环境中，这一假设被打破，导致基于RANSAC的平面提取无法将这些非正交表面拟合到有效的曼哈顿平面上。因此，这些区域被排除在几何规则化之外，退化为普通的3DGS优化。在没有平面先验来约束几何结构的情况下，这些区域会出现重建伪影，因为仅靠光度监督不足以进行稳健的几何估计。

尽管存在这些几何约束，我们的方法仍保持了具有竞争力的计算开销。我们的完整流程在相对高性能的消费级显卡上每个场景的运行时间为13.9分钟（399帧），各阶段的计算成本详见表5。虽然SAM细化引入了适度的预处理开销，但消除了高斯密集化阶段（在标准3DGS中耗时约10分钟），确保了我们的总运行时间与普通3DGS相当，同时保持了更高的重建精度。这种权衡验证了几何预计算有效简化了优化瓶颈，但仍留有较大的加速空间。

7. 结论
本文提出了一种自适应集成策略，通过基于纹理复杂性的动态场景划分来增强3D高斯拼接。我们的贡献在于系统地将曼哈顿对齐的几何先验与密集特征匹配相结合，在最有效的地方应用每种策略。在全面的几何规则化支持下，该方法在ScanNet++、MuSHRoom和Replica数据集上实现了最先进的性能，F分数提高了15-20%，并在一小时内完成了重建。虽然该方法特别适用于传统的正交室内环境，但它也为高保真网格提取建立了一种策略，并找到了处理室内几何结构和加速部署的途径。