《Displays》：CDGS: ConvNeXt-enhanced and depth prior-guided single-view 3D Gaussian splatting
编辑推荐：
•提出了一种用于单视图3D高斯散点重建的两阶段前馈框架。•ConVolNet-UNet残差融合策略提高了高斯预测的多尺度特征表示能力。•Depth Anything V2引导的几何正则化增强了重建高斯体的空间一致性。•大量实验证明了该方法在ShapeNet-SRN和GSO数据集上
- •
提出了一种用于单视图3D高斯散点重建的两阶段前馈框架。
- •
ConVolNet-UNet残差融合策略提高了高斯预测的多尺度特征表示能力。
- •
Depth Anything V2引导的几何正则化增强了重建高斯体的空间一致性。
- •
大量实验证明了该方法在ShapeNet-SRN和GSO数据集上提升了新视图渲染质量。
- •
所提出的方法在部署时无需额外的深度估计即可保持高效的前馈推理。
引言
单视图对象级3D重建长期以来一直是计算机视觉领域的核心研究课题，在自动驾驶、人机交互和数字孪生等多个工业场景中具有广泛的应用价值。这项任务的基本挑战在于仅从一张2D图像中恢复完整的3D几何形状和外观信息。由于深度信息的不确定性以及观测数据的不完整性，这对模型的特征表示能力、场景先验学习能力和推理效率提出了极高的要求。
近年来，大多数单视图3D重建方法都是基于隐式表示或神经辐射场框架开发的，这些框架共同建模了3D场景的几何结构和外观信息。Scene Representation Networks [1] 使用连续的3D结构感知场景表示实现了端到端的编码。NeRF [2] 将场景表示为神经辐射场，显著提高了新视图合成的质量，为该领域的后续研究奠定了基础。pixelNeRF [3] 结合了图像特征编码和通用场景先验，使得从单张或多张图像中进行少量样本的泛化重建成为可能。然而，这些方法通常仍然依赖于计算成本较高的体积渲染过程，导致推理成本较高，难以满足实时应用的需求。
为了克服隐式表示方法的效率瓶颈，3D高斯散点（3DGS）作为一种使用3D高斯椭球作为显式表示原语的方法应运而生。得益于轻量级的高斯参数化和适用于硬件的高效光栅化策略，这种方法实现了远超体积渲染方法的实时渲染速度，为单视图3D重建提供了新的技术途径。基于3DGS的当前单视图重建方法大致可以分为两大技术方向。第一类是生成式方法，能够生成细节丰富的重建结果。例如，DreamGaussian [5] 通过生成式高斯散点实现高效3D内容创建；GaussianDreamer [6] 利用点云先验进行快速文本驱动的3D高斯生成；BrightDreamer [7] 提出了一个通用的3D高斯生成框架用于快速文本到3D的合成；DreamScene360 [8] 通过全景高斯散点实现无约束的文本到3D场景生成；Zero-1-to-3 [9] 可以通过单张图像实现零样本3D对象重建；Wonder3D [10] 使用跨域扩散模型进行端到端的单图像到3D转换。然而，生成式方法通常具有较长的推理和渲染时间，并且容易产生形状失真和纹理伪影，更适合几何精度不是主要关注点的生成场景。
相比之下，基于纯2D监督的非生成式前馈方法保留了3DGS的高效渲染优势，同时实现了端到端的快速推理，已成为实时单视图3D重建的核心研究方向。代表性工作包括Splatter Image [11]，它实现了超快速的单视图3D重建；Gamba [12] 将高斯散点与Mamba架构结合用于单视图重建；AGG [13] 提出了一种用于单图像到3D转换的摊销生成式3D高斯方法。这些方法在平衡效率和重建精度方面取得了显著进展。其中，Szymanowicz等人提出的Splatter Image方法是基于3DGS的单视图对象重建领域的代表性工作。该方法利用3DGS实现了超快速的重建流程，能够在几毫秒内从单张图像生成高质量3D表示，并在包括ShapeNet、CO3D和Objaverse在内的多个主流数据集上表现出色。尽管Splatter Image在推理速度和重建效率方面取得了突破性改进，但该方法使用的原生UNet编码器在复杂几何结构、纹理较弱区域和遮挡边界处的多尺度特征表示能力有限，这可能导致初始高斯参数的预测准确性不足，从而限制了最终重建质量的上限。
为了解决这些限制，本研究开发了CDGS，即对Splatter Image框架的两阶段改进。在第一阶段，多级ConvNeXt-Tiny特征被投影并通过残差连接与相应的UNet编码器特征融合，为局部UNet特征补充了更广泛的语义上下文。在第二阶段，一个冻结的Depth Anything V2模型生成一个标准化的相对深度目标，用于尺度和平移不变的高斯几何损失。与单目相机对齐的高斯体的相机空间z坐标被组装成高斯深度图，并与该单目先验对齐，为高斯位置优化提供了直接的几何梯度。解码器、高斯参数化和渲染流程保持与基线一致。在ShapeNet-SRN和Google Scanned Objects上的实验使用PSNR、SSIM和LPIPS评估了渲染视图的真实度，而Chamfer Distance、F-Score和法线一致性则评估了位置一致性、表面覆盖率和局部表面方向。
快速的单视图重建直接关系到以显示为导向的应用。AR/VR系统可以将捕获的对象转换为可渲染的资源，减少内容采集延迟；数字孪生界面可以根据稀疏观测更新对象表示；交互式3D可视化系统可以提供即时的新视图反馈。CDGS通过优先考虑快速的单次通过重建工作流程而不是每个场景的迭代优化来针对这些场景。
本研究的主要贡献总结如下：
(1)开发了一种尺度对齐的残差融合方式，将ConvNeXt-Tiny语义特征与原生UNet编码器的局部层次特征结合。保留了原始的UNet特征路径和跳跃连接，而投影的ConvNeXt特征作为每像素3D高斯参数回归的残差校正。
(2)在两阶段训练协议中引入了基于深度先验的高斯几何正则化机制。与像素对齐的高斯体的相机空间z坐标形成了高斯深度图，该深度图通过尺度和平移不变的损失与冻结的Depth Anything V2模型的相对深度预测对齐。这种设计利用直接的几何约束提供了准确的几何监督。
保留了原始的UNet解码器、高斯预测头和可微分的散点渲染器，使得提出的特征增强和几何正则化可以在不重新设计下游预测和渲染组件的情况下被集成。
章节片段
基于优化的3DGS重建
原始的3D高斯散点框架使用可学习的双各向异性高斯原语表示场景，并从多个校准的视图优化它们的位置、协方差、不透明度和外观 [4]。这种基于优化的方法提供了高质量的渲染和明确的场景表示，但它需要特定于场景的迭代拟合和足够的多视图观测数据。除了以对象为中心的重建之外，最近的场景级研究还强调了一致性
方法
本节介绍了CDGS，即对前端Splatter Image框架的两阶段改进。所提出的方法旨在解决单视图3D高斯散点重建中的两个关键挑战：高斯参数预测的多尺度视觉表示不足以及从单张RGB图像中获得的模糊深度推理导致的几何不确定性。保留了原始的解码器架构、高斯参数化和渲染流程以保持兼容性
数据集
为了全面客观地评估所提出的两阶段增强单视图3D重建方法（即ConvNeXt-Enhanced和Depth Prior-Guided Single-View 3D Gaussian Splatting）的整体性能，在单视图3D重建领域的两个权威基准数据集ShapeNet-SRN [1]和Objaverse-LVIS [29]上进行了实验。数据集的分割和预处理程序严格遵循行业广泛采用的标准，以确保
结论
本研究提出了CDGS，即一种用于前端单视图3D高斯散点重建的两阶段增强框架。所提出的方法通过尺度对齐的ConvNeXt-Tiny残差特征融合改善了特征表示，并引入了基于深度先验的高斯几何正则化策略。通过将冻结的Depth Anything V2模型的单目深度先验与像素对齐的高斯体的相机空间z坐标通过尺度和平移不变的
利益冲突声明
作者声明他们没有已知的可能会影响本文所报告工作的竞争性财务利益或个人关系。
致谢
本工作得到了中国国家adaptive optics实验室（授权号：西南石油大学提供的高性能计算资源。
张倩|吴世豪|高国清|鲍华|岳静
