CASA-SDF：基于课程意识的曲率引导密度空间自适应神经隐式表面重建方法

《Neurocomputing》：CASA-SDF: Curriculum-aware spatial adaptation with curvature-guided density for neural implicit surface reconstruction

　　杨磊|李伟清|苏志勇|肖亮南京科技大学计算机科学与工程学院，中国江苏省南京市小岭卫200号，邮编210094

摘要
神经隐式表示已成为3D重建领域的一种强大范式。然而，高精度室内表面重建仍是一项重大挑战，主要原因是室内场景存在显著的几何异质性。大面积无纹理的平面区域通常需要更强的正则化处理来抑制高频伪影，而细薄结构则需要更精确、更具适应性的表示方法，以减少多层感知器的分谱偏差并避免过度平滑。现有方法往往依赖于空间上不加区分的先验监督以及全局性的SDF到密度转换，这限制了它们在保持平面平滑性与细节保留之间的平衡能力。在本文中，我们提出了CASA-SDF（基于课程设计的SDF空间自适应方法），这是一种统一框架，通过互补的监督和表示能力调整来应对这一挑战。具体而言，混合空间自适应不确定性退火算法将语义不确定性和光度不确定性结合起来，为单目先验监督构建逐像素的课程计划。该策略在可靠区域保持正则化处理，同时在训练初期减弱不可靠的监督作用，以便后续进行数据驱动的光度精细化处理。与此同时，曲率感知的局部自适应密度转换算法通过曲率代理逐步调节SDF到密度映射的清晰度，从而更好地表现细薄结构。在多个基准室内数据集上的实验表明，CASA-SDF提升了高频结构的表面完整度和细节恢复效果，同时没有影响平面表面的稳定性。

引言
从经过校准的多视图图像中学习连续的神经隐式表示，已成为3D场景重建领域的主流方法，它有效地架起了深度表示学习与可微渲染之间的桥梁[2]、[3]、[4]。这一研究方向进一步扩展到了通用性和稀疏视图场景[5]、[6]、[7]、[8]，凸显了隐式神经场的多功能性。然而，复杂室内场景的高精度重建仍然是一项特殊挑战。室内环境具有显著的几何异质性，表现为低频平面区域与高频细薄结构的共存。在实际应用中，大面积无纹理的表面（如墙壁和地板）与细长的物体及尖锐的边缘（如椅子腿和家具边缘）并存。这种几何多样性带来了一个根本的优化难题：平面区域需要强正则化来抑制神经噪声，而细薄结构则需要更高频率的适应性以避免过度平滑（见图1）。

近期的室内重建方法通过引入深度和法线等单目先验，显著提升了几何质量[9]、[10]、[11]、[12]、[13]。尤其是MonoSDF[9]，证明了这类先验在稳定无纹理场景中的神经隐式重建方面的实用价值。更多近期提出的考虑先验和偏差的方法进一步认识到，这些先验在空间上的可靠性并不一致。DeBSDF[1]指出，在优化过程中应考虑不确定性和渲染偏差，而ND-SDF[14]则表明，纠正先验与场景法线的不匹配可以进一步提升室内重建的高精度。尽管有了这些进展，现有的室内SDF方法仍然主要单独改善先验的可靠性、先验校正或偏差降低，因此尚未完全解决同一场景内几何异质性的耦合效应。

第一个未解决的挑战是监督生命周期的适应性问题。虽然单目先验在主要的平面区域能提供可靠的指导，但在边界附近、细薄结构以及外观模糊的区域，其作用会下降。至关重要的是，它们的监督价值在训练过程中会发生变化：早期用于粗略稳定的先验，一旦神经场积累了足够的多视图证据用于更精细的几何细化，就可能变得过于严格。现有的策略——依赖静态加权、硬掩码或全局先验处理——忽视了监督价值的时间变化特性。

第二个相关的挑战是表示带宽的适应性问题。NeuS[3]和VolSDF[4]在SDF到密度转换中使用了一个全局共享的清晰度参数——即带宽。这种全局参数化带来了固有的权衡：较小的带宽可以抑制平面表面的噪声，但会使细薄结构模糊；而较大的带宽则能在保持高频细节的同时，增加平滑区域的噪声和不稳定性。现有的室内方法大多侧重于提升监督质量或纠正先验偏差，却忽略了SDF到密度映射中带宽需求的空间异质性。

在本文中，我们提出了CASA-SDF（基于课程设计的SDF空间自适应方法），这是一个统一框架，将室内几何异质性视为监督生命周期适应性和表示带宽适应性这两个问题的耦合。其基本思路是，不可靠的先验和不足的局部带宽源于相同的场景异质性，但通过不同的机制影响优化过程：大的平面区域需要持续的正则化处理，而细薄结构和尖锐边界则需要尽早放宽不可靠的先验，并实现更精准的局部表面定位。

为了解决第一个问题，我们引入了混合空间自适应不确定性退火算法，这是一种逐像素的课程计划，它将语义不确定性和光度不确定性结合起来，从而在整个训练过程中安排单目先验监督。SAUA在可靠的平面区域保持正则化处理，同时在边界和细薄结构等不确定区域迅速减弱先验的影响，从而使光度证据在优化过程中发挥更大的作用。为了解决第二个问题，我们提出了曲率感知的局部自适应密度转换算法，该算法利用曲率大小代理和训练进度来调节清晰度参数。CALADT为几何复杂的区域分配更高的带宽，同时在平面区域保持更平滑的表现，从而在不影响神经场整体稳定性的前提下提升细薄结构的恢复效果。这两种机制共同为室内神经表面重建提供了统一的时空自适应监督和表示带宽调整方案。

我们的贡献总结如下：
•我们将室内几何异质性视为监督生命周期适应性和表示带宽适应性这两个问题的耦合，为平衡平面平滑性与细薄结构保留提供了统一视角。
•我们提出了混合SAUA算法，这是一种基于不确定性的机制，它能谨慎地结合语义和光度不确定性，防止错误的单目约束破坏精细的几何结构。
•我们提出了CALADT算法，这是一种具有曲率感知能力的局部自适应清晰度调节方法，可通过渐进式激活实现空间上变化的表示带宽，从而精准定位细薄结构。
•在ScanNet和Replica数据集上的大量实验表明，CASA-SDF提升了高频结构及过渡区域的表面完整度和召回率，同时在平面表面和整体指标上保持了出色的性能。

章节摘录
神经隐式表面重建
由于具有连续的表示形式和可微渲染能力，神经隐式表示重新定义了多视图重建技术。NeRF[2]通过体积渲染学习体积辐射场，但从密度场中提取高质量表面仍然是一项艰巨任务。为了明确建模几何结构，人们提出了基于SDF/占据率的表面重建方法[15]、[16]。其中，NeuS[3]和VolSDF[4]建立了基于SDF的密度模型。

我们的方法
给定一组经过校准的多视图图像，我们的目标是重建高精度的室内表面几何结构。如第1节所述，面对几何异质性时，室内场景的隐式重建面临着一个根本性的矛盾：平面区域需要强正则化来抑制神经噪声，而细薄结构则需要更高频率的适应性来克服多层感知器的分谱偏差。为了解决这一难题，我们提出了CASA-SDF（基于课程设计的SDF空间自适应方法）。

实验
我们在具有挑战性的室内场景上评估了CASA-SDF，并分析了所提出的外部自适应机制（SAUA）和内部自适应机制（CALADT）对提升重建质量的贡献。鉴于我们关注的是几何异质性，我们重点研究了两种在室内重建中始终具有挑战性的场景：(i) 细薄结构和边界，此时单目先验往往不可靠；(ii) 大面积无纹理的平面区域，此时光度约束的信息量较少。

结论
本文提出了CASA-SDF，这是一种通过联合调整监督生命周期和表示带宽来解决室内几何异质性问题的框架。在ScanNet和Replica数据集上的评估表明，这种联合调整使得重建结果在完整性方面有所提升，同时能够保留精细的拓扑特征，而不会在大的平面区域引发不稳定性。

CRediT作者贡献声明
杨磊：撰写——初稿、可视化、验证、软件、方法论、研究、概念设计。李伟清：撰写——审阅与编辑、监督、形式分析、概念设计。苏志勇：撰写——审阅与编辑、监督、概念设计。肖亮：撰写——审阅与编辑、监督、资源协调、项目管理、资金获取、概念设计。

关于写作过程中生成式AI和AI辅助技术的声明
在准备和修改本文的过程中，作者们使用了AI辅助语言和编辑工具（如ChatGPT）来协助润色文本并检查一致性，包括确保符合期刊的作者指南要求。

利益冲突声明
作者们声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢
作者们感谢ScanNet和Replica数据集的创建者，以及Omnidata和AngMF模型的开发者，感谢他们将这些资源公之于众。

杨磊于2017年在中国广西大学获得软件工程学士学位。他目前在中国南京科技大学计算机科学与工程学院攻读计算机科学技术博士学位。他的研究兴趣包括深度学习和多视图3D重建。