多视图立体（MVS）技术可以从校准的图像集重建出密集的三维场景，并支持摄影测量[1]、地图绘制[2]和机器人导航[3]。基于学习的MVS技术已经超越了传统的几何处理方法[4]，但在光度线索微弱且缺乏显式几何控制的粗粒度到细粒度细化过程中仍会出现问题。两个主要问题如下：特征金字塔可能无法捕捉到微弱但可恢复的结构[5]；如果没有跨尺度的几何约束，早期的深度误差会传递到后续阶段并逐渐累积[6]。这与先前的观察结果一致，即多尺度纹理模式难以捕捉，且几何信息没有紧密集成到匹配和正则化过程中[7],[8]。
特征金字塔网络（FPNs）[5]常用于MVS中的多尺度特征提取。最近的方法通过可变形卷积[9],[10],[11]、注意力机制[11],[13]以及法线/曲率线索[14]来扩展功能。然而，仍存在方法上的不足：当单一尺度（或松散融合的）表示占主导时，真实纹理中的复杂尺度耦合微结构难以捕捉。纹理分析显示了丰富的跨尺度行为[15],[16]；低层CNN特征缺乏上下文信息，而高层语义信息则削弱了对于对应关系至关重要的像素级细节。这促使人们开发出编码光照鲁棒性微结构的补充先验[17]，当这些先验以多尺度方式融合时[18]，可以引导主干网络放大细微但具有判别性的模式，而不仅仅依赖于更深层次的神经网络。
在MVS中，有效的成本体积必须保留不同视图之间的差异以实现可靠的对应关系。然而，通用的3D CNN正则化器可能会过度平滑深度边界[14]，尤其是在局部证据较弱时，导致细节丢失和空洞出现。图1展示了这一点：Patchmatchnet[9]和CDS-MVSNet[14]在低对比度区域的重建结果中出现了缺失的细结构和空洞。这种平滑处理会降低边界清晰度，并抑制细粒度细节所需的各向异性支持。此外，当成本体积无法区分相似的假设时，粗粒度的深度估计可能不可靠；由于后续阶段依赖于这些估计结果，早期的错误会累积下来。因此，我们的首要目标是提高粗粒度的准确性和边缘感知能力，以减少下游误差的累积，同时保持细粒度的稳定性。
传统的成本聚合通常依赖于基于光度或方差的度量方法，这些方法通常采用近乎均匀的权重分配。在复杂场景中（如光照变化、遮挡边界和特征贫乏的邻域），这种不加区分的聚合方法会错误估计可见性或混合不兼容的支撑信息，从而在3D结果中引入结构偏差和噪声。基于学习的方案（如DeepMVS[19]、FADE[20]）通过多级融合和可见性预测来改进匹配效果；[12],[21]使用多尺度池化来调整权重。然而，仍存在两个限制：（1）平面/块状假设和密集采样会增加计算复杂性；（2）几何信息通常在聚合之后才进行处理——可见性或遮挡的判断规则存在于聚合器之外。如果没有在聚合过程中使用显式的几何先验，网络必须通过增加容量来隐式推断几何信息，这在处理细结构和非朗伯反射表面时较为脆弱。
为了解决线索微弱且容易混淆情况下的重建问题，我们提出了PDN-MVSNet。设计原则是：在微结构可恢复时利用互补的先验来增强特征，并嵌入显式的几何信息来调节不同尺度上的假设。我们通过一个逐步优化的框架来实现这一目标，该框架包含三个协同工作的组件，以解决上述问题。
图1中的证据表明，结合纹理线索和显式几何信息对现代MVS有益。图1(a)展示了带有黄色框的参考视图，该框标记了一个用于检查的低对比度屋顶区域。图1(b)至图1(d)展示了三个尺度感知指标：梯度幅度图揭示了在不同视图间保持一致性的微弱边缘流动；拉普拉斯响应突出了区分表面变化的细微强度变化；LBP图展示了具有单调灰度不变性的局部微模式。图1(e)和图1(f)展示了两种代表性的基于学习的基线方法[9],[14]的重建结果。在标记区域内，这两种方法在早期证据较弱时都表现出边界过度平滑和空洞现象。图1(g)展示了我们在同一位置的重建结果，具有更清晰的不连续性和更少的空洞。这种改进反映了三种信号的协同作用：纹理指标使微弱的高频结构变得可见，并在光度线索不足的情况下引导特征形成[15],[16]；几何感知的法线-深度一致性在不同尺度上稳定了假设并减少了漂移；法线引导的聚合通过将邻域支持与表面方向对齐来保持不连续性。所选的指标是一类典型的代表，涵盖了的一阶梯度、二阶拉普拉斯响应以及具有良好研究一致性的局部二值模式[17]。这些先验并不局限于这些选择，根据数据特征可以替换为其他经典滤波器或现代变体。在我们的框架中，这些通道是可以互换的，它们的效用来自于多尺度融合以及在推理过程中与几何推理的结合。
为什么选择这些先验？我们采用了三个基本的组成部分：（1）通过局部排名变换（LBP/Census）实现的单调灰度不变性和边界鲁棒性，这些经典的非参数成本在辐射度变化下已被证明对于对应关系具有鲁棒性[17],[23]；（2）通过一阶梯度捕捉到的定向结构，这是密集/块状描述符中的核心元素，在弱纹理或重复纹理下仍能保持可靠的匹配[24]；（3）通过二阶运算符强调的细微过渡和零交叉点，这些运算符基于边缘理论和尺度空间分析[25]。此外，结合一阶和二阶高斯导数可以产生互补（近乎正交的）响应，有助于纹理/材料的识别[26]。因此，我们采用了Sobel、Laplacian和LBP作为轻量级但原理性的先验，并在第3.2.2节中提供了具体实现细节。
PDN-MVSNet在DTU、Tanks and Temples和BlendedMVS基准测试中进行了评估。实验结果表明其性能处于领先水平：在DTU数据集上的整体准确率为0.303毫米，在Tanks and Temples数据集上获得了最高的平均F分数64.64，优于之前的方法。
总之，本文提出了一种基于纹理先验和几何感知的级联网络，用于多视图立体重建，具有三项关键创新：
(1) TP-MFE：一种纹理先验多尺度特征提取器，它将可学习的CNN特征与轻量级先验（如梯度/Laplacian/LBP）相结合。先验驱动的空间注意力和通道级重新校准能够自适应地降低不可靠先验的权重，从而在纹理质量较差的区域保持鲁棒性。
(2) DNDR：一种双法线-深度正则化器，它在深度和法线之间建立双向循环，强制边缘对齐的一致性并抑制从粗粒度到细粒度的漂移。
(3) NS-ACA：一种法线相似性自适应成本聚合机制，它根据法线一致性重新分配成本体积中的邻域权重，提高了对光照变化、遮挡边界和低对比度区域的鲁棒性。
本文的其余部分安排如下：第2节回顾相关工作；第3节详细介绍了PDN-MVSNet的架构和模块；第4节展示了实验和比较结果；第5节对本文进行了总结。
