VMPatch-MVSNet：一种基于并行视觉系统（Parallel Vision Mamba）的多视图立体成像方法，适用于纹理较为模糊的区域，并采用动态块匹配（dynamic Patchmatch）技术进行处理

《Displays》：VMPatch-MVSNet: Multi-View stereo with Parallel Vision Mamba and dynamic Patchmatch for weak texture areas

基于Vision Mamba的多尺度特征提取与动态自适应采样策略优化弱纹理区域三维重建

　　

宋丽梅|张月哲|王远瑞|王宏丽|左斌

中国天津300387，天宫大学电气设备智能控制重点实验室

摘要

基于学习的多视图立体（MVS）重建技术已经取得了显著进步，但在3D空间中重建大面积纹理较弱的区域仍然是一个具有挑战性的任务。本文提出了一种深度神经网络（VMPatch-MVSNet），该网络结合了Vision Mamba和动态Patchmatch算法。首先，设计了一个基于Parallel Vision Mamba（PVM）和卷积神经网络（CNN）组合的特征金字塔网络（FPN），并采用了跨尺度特征融合模块来强调长距离的上下文信息。其次，在每次深度传播迭代中动态调整Patchmatch算法的采样策略。构建了RGB-D双分支融合模块和可变形卷积网络，从每次迭代的粗略估计中提取深度信息和几何线索，从而实现自适应的动态采样。在DTU数据集上的全面测试表明，VMPatch-MVSNet显著提高了3D重建的完整性，并在纹理较弱区域的完整性方面取得了显著改进。与类似方法PatchmatchNet相比，我们的方法将整体误差降低了0.044毫米。在与基于Vision Transformer的TransMVSNet进行基准测试时，我们的方法在保持相似的整体性能指标的同时，还提供了更好的计算效率。此外，我们的方法在Tanks & Temples数据集上也取得了有竞争力的结果。

引言

多视图立体（MVS）作为一种基础方法，利用校准的多视图图像生成深度图并将其合并成密集的点云，已成为密集3D重建的关键技术。尽管取得了进展，MVS仍然面临着非理想表面属性带来的固有挑战[1]、[2]、[3]，尤其是在大面积纹理较弱的区域，现有方法的重建效果不理想。

传统的MVS方法使用手工制作的相似性度量来实现3D重建，从而能够获得较高的深度估计精度，但在纹理较弱的区域面临重大挑战。最近，一些传统的MVS方法采用了基础的Patchmatch算法[4]，该算法使用随机迭代方法计算近似最近邻场。通过利用深度图中的空间连贯性，有效减少了纹理缺陷对特征匹配的影响。

基于学习的范式通过整合成本体积构建和神经正则化彻底改变了MVS。自从开创性的MVSNet[5]以来，结合CNN或Vision Transformer（ViT）[7]与平面扫描立体技术的级联架构主导了该领域的发展。然而，尽管这些改进方法在可扩展性、内存效率和运行时间方面取得了显著进步，但它们对大面积纹理较弱区域的重建关注有限。基于CNN的方法通过有限的感受野优先考虑局部模式，忽略了纹理较弱区域所需的长距离依赖性。ViT通过全局注意力解决了这个问题，但存在二次复杂性问题，限制了高分辨率的可扩展性。

最近的研究进一步探索了在纹理较弱或模糊区域增强深度估计的策略。例如，MonoMVSNet[56]利用预训练的单图像深度模型的单目先验来指导多视图立体中的深度假设生成和正则化。类似地，PG-MVSNet[57]引入了平面引导的双深度估计，以提高低纹理区域的几何一致性。这些方法通过结合额外的先验或几何约束来提高鲁棒性。

尽管取得了这些进展，但在大面积纹理较弱区域同时实现重建完整性和计算效率仍然具有挑战性。从这个角度来看，我们通过架构设计来解决这个问题。我们提出了VMPatch-MVSNet，这是一个新颖的级联框架，它将基于Vision Mamba的全局上下文建模与动态PatchMatch传播相结合。通过结合高效的长距离依赖性建模和几何感知的深度假设细化，我们的方法旨在提高纹理较弱区域的重建完整性，同时保持可扩展性。

总结来说，主要贡献如下：

• 1)
  据我们所知，这是首次将Vision Mamba[9]集成到基于学习的MVS框架中。我们提出了一个新颖的金字塔结构特征提取模块，该模块结合了Parallel Vision Mamba块[10]和卷积神经网络。通过加入轻量级的跨尺度特征融合模块CCFM[11]，我们增强了纹理较弱区域内的特征自相关性，从而显著提高了3D重建的完整性。
• 2)
  我们更深入地关注基于Patchmatch算法的每次深度传播迭代中嵌入的几何线索和深度信息。我们设计了一个组合的自适应深度传播网络RDAP，该网络由双分支RGB-D融合模块和可变形卷积模块组成，从每次迭代的粗略估计中提取深度信息和几何线索，以指导下一次迭代的深度传播。它能够自适应和动态地采样与当前像素相同的表面上的有效像素，从而提高深度值的置信度。
• 3)
  我们在多个数据集上验证了我们方法的有效性和泛化能力，包括DTU[1]、BlendedMVS[3]和Tanks & Temple[2]数据集。与当前表现最好的模型相比，我们的结果显示在纹理较弱区域的完整性方面有显著改进。

相关工作

基于学习的MVS方法。

最近，基于学习的方法在传统方法的基础上取得了显著进展。MVSNet[5]通过结合深度特征和相机参数来构建成本体积，并使用3D CNN进行正则化。自[12]、[13]、[14]以来，基于学习的MVS的进步进入了金字塔模型时代。后续研究在这些概念的基础上进一步减少了3D正则化的GPU开销或提高了深度质量，例如

方法论

如图2所示，VMPatch-MVSNet架构使用多尺度特征提取模块（PMCF）处理输入的参考图像和源图像，在三个不同的尺度上生成特征。从初始尺度开始，基于学习的Patchmatch的自适应深度估计模块（Learned Patchmatch-Based Adaptive Depth Estimation Module）结合RGB-D融合的自适应传播模块（RDAP），迭代地估计当前尺度的深度图。然后，当前尺度的最终深度图作为

数据集

我们在DTU[1]和Tanks & Temples（T&T）[2]数据集上评估了我们的工作，通过消融研究检验每个新组件的效果。由于DTU是在室内环境中拍摄的，相机位置固定，我们的模型在BlendedMVS数据集[3]上进行了微调，该数据集包含多样化的场景和物体。这一步确保了模型能够更好地泛化到Tanks & Temples中更复杂的环境，遵循了[25]、[34]中概述的传统方法。

实现细节

训练。输入图像的数量设置为

$\text{N}$

局限性

如图16所示，并且表2中的对比实验表明，VMPatch-MVSNet在完整性方面取得了显著改进，但在准确性方面仍与当前表现最好的方法存在一些差距。消融研究揭示了三个关键局限性：

PVM在规则纹理中的效果有限。Parallel Vision Mamba（PVM）的集成在纹理较弱的区域取得了显著改进，但在规则纹理中提升效果不足

结论

在这项研究中，我们介绍了VMPatch-MVSNet，这是一种创新的多视图立体（MVS）重建方法，旨在解决大面积纹理较弱区域的挑战。作为基于学习的MVS领域的一项突破，我们引入了Vision Mamba，提出了一种结合Parallel Vision Mamba和卷积层的特征提取器，并引入了轻量级的跨尺度特征融合模块CCFM。这些新颖的设计有效地增强了模型捕捉特征的能力

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。

致谢

本研究得到了国家自然科学基金[编号：62573317]的支持。