SDP-GS:通过基于分割的深度先验实现稀疏视图高斯插值
《Neurocomputing》:SDP-GS: Sparse-view Gaussian splatting via segmentation-aware depth priors
【字体:
大
中
小
】
时间:2026年05月03日
来源:Neurocomputing 6.5
编辑推荐:
**摘要**
3D高斯拼接(3DGS)算法在最近的稀疏视图合成任务中展现了令人印象深刻的性能。然而,现有的基于深度先验的稀疏视图合成算法并未完全解决单目深度先验中的异常值问题,而不准确的深度监督进一步阻碍了场景3D结构的学习。受到3D空间认知神经学假设的启发,该假设认为3D空
**摘要**
3D高斯拼接(3DGS)算法在最近的稀疏视图合成任务中展现了令人印象深刻的性能。然而,现有的基于深度先验的稀疏视图合成算法并未完全解决单目深度先验中的异常值问题,而不准确的深度监督进一步阻碍了场景3D结构的学习。受到3D空间认知神经学假设的启发,该假设认为3D空间认知由空间认知的子成分及其相对位置组成,我们提出了基于分割感知深度先验的稀疏视图高斯拼接(SDP-GS)方法。首先引入了一个分割级深度细化模块,该模块将稀疏的近似深度真实值与密集的单目深度估计相结合,以产生更准确和可靠的深度标签。实验结果证实了深度细化的准确性与分割区域之间存在强相关性。接下来,利用分割感知高斯拼接同时进行场景渲染并获取合成视点的标签,为伪视图中的分割级相关损失提供分割信息。此外,基于可靠的深度标签和分割掩码,应用深度一致性约束来监督已知和伪视点的渲染深度信息。在LLFF、Mip-NeRF360等公共数据集上的结果表明,该方法提高了边缘细节的清晰度,并在稀疏视图配置下实现了有竞争力的性能。项目页面:https://github.com/dengyangyan/SDP-GS。
**引言**
新颖视图合成(NVS)[1] [2] 从一组观测数据中生成场景的未见视图,实现逼真的3D重建和渲染。作为现代3D视觉的核心技术[3],NVS支持多种应用,包括3D内容生成[4]、场景编辑[5]和沉浸式可视化。通常,现有的NVS方法[6]高度依赖于密集采样的多视图数据来确保几何一致性和渲染保真度。这种对密集数据的需求成本高昂,限制了这些方法在现实世界场景中的应用。为了解决这一限制,人们越来越关注基于稀疏视图的NVS,该方法旨在仅使用少量输入图像合成新视图,为实际3D视觉应用提供了一种更高效和可扩展的替代方案[7]。
**稀疏视图NVS的核心挑战**
稀疏视图NVS的核心挑战在于减轻过拟合问题[8],这是由于视图监督不足导致的几何歧义和渲染质量下降。为了提高视图间的几何一致性,现有方法通常分为三类:基于表示属性的方法[9] [10] [11]、预训练模型基算法[12] [13] [14]以及基于深度先验的方法[15] [16] [17] [18]。基于表示属性的方法改进了NeRF的单峰不透明度分布[9] [10]。尽管基于表示属性的方法不需要显式的几何先验,但它们依赖于专门的辐射场架构,这限制了它们在其他框架(如高斯拼接)中的泛化能力。预训练模型基算法结合了2D神经先验来指导视图合成[12] [13],但这些先验中的固有噪声和歧义使得精确的辐射场学习变得困难。相比之下,基于深度先验的方法[15] [16] [17] [18]利用额外的深度信息(特别是来自结构从运动(SFM)或单目深度信息的稀疏深度估计)直接监督辐射场的几何结构。然而,仅依赖稀疏SFM深度或单目深度信息会导致全局深度约束不足或单目深度监督的不可靠性。
**本研究的工作原理**
遵循基于深度先验的范式,本研究将SFM深度估计和单目深度线索整合到一个基于分割感知的框架中,这一框架受到3D空间认知神经学假设[19]的启发,以细化深度先验并为稀疏视图合成提供更可靠的几何监督。根据Yamane等人的研究[19],3D空间认知由空间认知的子成分及其相对位置关系组成,如图1(a)所示。在这里,设计了类似的实验来检查单目深度估计模型中的3D空间认知,通过测量局部单目深度估计与近似深度真实值之间的线性关系。这提供了坚实的证据,表明单目深度估计在分割区域内表现出出色的线性,具体内容将在3.2.1节中详细说明。从单目深度估计模型的训练过程角度来看,这也是合理的,因为由于视图中的视差不连续区域,全局深度估计通常是不准确的。相比之下,分割区域内的局部深度估计可以提供更强的鲁棒性,受益于网络中的平滑性约束。
**提出的方法**
基于这些见解,我们提出了基于分割感知深度先验的稀疏视图高斯拼接(SDP-GS)方法,以减轻稀疏视图NVS任务中3D模型的几何不准确性。SDP-GS框架包括三个模块:首先,分割级深度细化模块将来自稀疏SFM深度和单目深度的尺度参数传播到缺乏足够SFM深度测量的区域;其次,标准3DGS框架增加了辅助分割特征,以支持新视图中的分割渲染并在优化过程中提供几何感知监督;第三,在伪视图和已知视图配置下通过分割级和全局深度监督实施深度一致性约束。然后在四个公共数据集(包括NeRF LLFF数据集、DTU数据集、MipNeRF360数据集和Tanks & Temples数据集)上评估了SDP-GS的效果。结果表明,新视图中的边缘细节显著改善,渲染的深度更加准确。PSNR、SSIM和LPIPS等渲染指标也取得了有竞争力的性能。
**总体贡献**
本研究的主要贡献如下:
- 受到3D感知神经学假设的启发,首次发现并验证了单目深度估计与真实值之间的分割级线性相关性,并在SDP-GS中利用这一相关性以获得更可靠的深度监督,有助于减轻3D重建中的过拟合问题;
- 提出了一种基于分割的深度细化策略,将辅助分割渲染与分割级深度校正和局部几何监督集成到一个统一的优化框架中;
- 从分割级细化的深度图中派生出深度一致性约束,应用于基于分割感知的高斯拼接,从而提高了新视图中的渲染质量,并在多个数据集上实现了有竞争力的性能。
**相关技术概述**
神经辐射场(NeRFs)[20]通过隐式3D表示彻底改变了新颖视图合成[21],但其庞大的计算开销和漫长的推理时间限制了其可扩展性。2023年,Kerbl等人[22]引入了3D高斯拼接(3DGS),利用各向异性的3D高斯和差分光栅化技术实现了实时渲染速度,同时保持了高质量图像。后续研究集中在减少存储需求[23]和加速渲染过程上。
**受3D空间认知神经学假设的启发**
我们开发了基于分割感知深度先验的稀疏视图高斯拼接(SDP-GS)。其核心思想是通过将分割与深度细化相结合来改进基于单目深度的几何监督。所提出的方法包括三个关键组成部分:首先,采用分割级深度细化模块在不同视图间产生更准确和一致的深度估计(第3.2节)。
**实验数据集**
我们在四个常用的新颖视图合成数据集上进行了实验评估:DTU数据集[43]、NeRF LLFF数据集[44]、Mip-NeRF360v2数据集[45]和Tanks & Temples数据集[46]。
**局限性**
我们的方法假设单目深度和真实深度在每个分割区域内表现出比全局对齐时更强的局部线性关系。这一假设在像素具有相似深度连续性和局部相关性时通常是成立的。然而,在某些具有挑战性的场景中,这一假设可能会失效。例如,树冠或茂密草地等区域在颜色和语义上往往表现出强一致性,这可能导致现有方法失效。
**结论**
本文介绍了SDP-GS,这是一种基于分割感知深度先验的稀疏视图高斯拼接方法。受到3D空间认知神经学假设的启发,该方法通过紧密结合分割与深度细化来改进基于单目深度的几何监督,从而降低了深度误差,优于传统的封闭形式方法。在此基础上,SDP-GS进一步整合了不同视图间的深度一致性约束,生成了更清晰的图像。
**作者贡献声明**
- 齐赵:方法论、概念化;
- 登阳燕:撰写——原始草稿、方法论、数据管理、概念化;
- 张家伟:调查、概念化;
- 张宏:监督;
- 杨一凡:撰写——审阅与编辑;
- 元丁:撰写——审阅与编辑、资金获取。
**利益冲突声明**
作者声明没有已知的财务利益或个人关系可能影响本文报告的工作。
**作者背景**
齐赵毕业于北京航空航天大学,获得通信与信息系统博士学位,目前在北京航空航天大学担任教授。2014年至2015年,她作为访问学者在匹兹堡大学电气与计算机工程系工作。自2016年以来,她一直从事基于可穿戴设备的第一视角图像处理和基于深度学习的图像识别研究。她的当前研究兴趣包括一次性语义分割。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号