用于神经多视图深度推断的可见性引导几何记忆网络

《Neurocomputing》：Visibility-guided geometry memory network for neural multi-view depth inference

　　

摘要

多视图立体（MVS）旨在从不同视角拍摄的图像中恢复稠密的三维场景几何。近年来，基于Transformer的MVS方法通过增强全局跨视图上下文建模，提升了在挑战性区域的匹配性能。然而，大多数现有进展仍主要聚焦于特征表示，而由粗到细的深度估计流程仍然高度依赖静态代价聚合和粗深度传播。因此，当前阶段的观测可靠性以及早期阶段形成的几何线索在后续精细化过程中未能得到充分利用。为应对这一问题，我们提出VGM-MVSNet，一个可见性引导的几何记忆网络，从深度推理的角度改进多阶段MVS。该方法不修改特征主干网络，而是通过重新设计的深度推理机制，重组多阶段MVS中的多视图证据组织与几何信息传播。具体来说，该方法首先基于结构化匹配证据和共识驱动的可见性建模，执行源视图可靠性估计和动态多视图聚合。随后引入显式几何记忆池，将逐阶段深度、方差、置信度和边缘线索传播到后续阶段，用于可见性估计和代价修正。通过这种方式，传统的逐阶段深度估计流程被重构为一种更具结构化的渐进推理过程，从而实现了对观测可靠性和跨阶段几何信息更有效的利用。实验结果表明，该方法在标准MVS基准上达到了具有竞争力的重建性能，验证了基于共识的可见性建模和显式几何记忆传播对于多视图深度推理的有效性。

引言

多视图立体（MVS）旨在从多张图像中恢复稠密的三维场景几何，是三维视觉、机器人感知、数字孪生和增强现实中的基础组件 [1], [2]。随着深度学习的快速发展，基于学习的MVS逐渐取代了依赖手工光度一致性和几何优化的传统重建流程，成为该领域的主流范式。现有方法通常遵循标准流程，包括特征提取、可微单应性扭曲、代价体构建、三维正则化和深度回归 [3], [4], [5], [6], [7], [8]。其中，级联由粗到细框架逐阶段缩小深度搜索范围，在重建精度、计算效率和内存消耗之间提供了实用平衡。

尽管取得了这些进展，复杂场景中的多视图深度推理仍面临若干持续性挑战。首先，在遮挡、弱纹理、重复纹理和大视角变化条件下，不同源视图对同一参考像素的贡献不均衡。静态或弱自适应的代价融合因此可能引入不可靠的观测并降低估计稳定性。其次，虽然当前的由粗到细MVS方法逐步缩小搜索空间，但跨阶段信息仍以粗深度结果为主导，这限制了后期阶段对先验几何判断的利用。第三，不确定性、置信度和边界结构等线索可能已在当前阶段显现，却往往既未被显式组织，也未在后续推理中被持续利用。因此，后期阶段通常表现为围绕粗深度估计的局部重采样过程，而非一个受累积几何证据约束的真正渐进精细化过程（图1）。

为提升复杂区域的匹配质量，Transformer近期被引入MVS领域，并显著增强了长程跨视图依赖建模能力。代表性方法如TransMVSNet通过显式建模参考视图与源视图之间的上下文交互来提升特征匹配质量，后续研究在全局特征建模和统一深度表示等方面进一步推进了基于Transformer的MVS [6], [16], [17], [34]。然而，这些改进仍主要聚焦于特征表示和阶段特定代价建模，而多阶段深度推理过程本身的信息组织却鲜少受到关注。换言之，现有方法在如何构建更强的跨视图表示方面取得了明显进展，但在渐进精细化过程中如何统一利用当前观测和跨阶段信息方面仍缺乏统一的框架。

基于上述观察，我们认为对于基于强表达力特征主干的学习型MVS，进一步提升重建质量的关键不应局限于堆叠额外的特征增强模块，而应更加关注信息在深度推理阶段如何被组织。换言之，后期阶段不应仅仅围绕粗深度结果进行局部搜索，而应更充分地利用当前观测、跨阶段线索和局部结构信息来支撑渐进精细化。受此观点启发，我们从深度推理机制的角度重新组织了由粗到细MVS中的多视图证据融合和跨阶段信息传递过程。

为此，我们提出VGM-MVSNet，一个用于多视图立体重建的可见性引导几何记忆网络。该方法基于级联Transformer-MVS框架构建，在基本保留原有特征提取流程和级联设计的前提下，专注于改进深度推理阶段的信息组织。具体来说，我们首先通过结构化匹配证据和基于共识的可见性建模实现鲁棒的多视图动态聚合。随后引入显式几何记忆池，在跨阶段推理中传播深度、不确定性和边界相关线索，并在后续阶段利用这些线索进行可见性估计和代价修正，从而增强由粗到细推理的连续性和稳定性。与现有方法相比，本工作的重点不在于重新设计完整的MVS系统或引入更复杂的特征主干，而在于围绕深度推理机制建立更清晰的信息流。因此，模型不再仅依赖当前局部观测进行逐阶段静态回归，而是可以在已形成的阶段特定线索辅助下进行更稳定的深度更新。我们的主要贡献总结如下：

• •
  我们提出VGM-MVSNet，一个从深度推理角度重新组织由粗到细MVS的可见性引导几何记忆框架。该设计解决了现有级联流水线中对观测可靠性和跨阶段几何线索利用不足的问题，将逐阶段精细化转变为更具结构化的渐进推理过程。
• •
  我们设计了用于源视图可靠性估计的基于共识的可见性建模和动态聚合机制。通过联合考虑源视图置信度、跨视图响应一致性与历史几何先验的吻合度，该机制抑制了不可靠观测并提升了挑战性区域中逐像素多视图证据的融合效果。
• •
  我们引入显式几何记忆池，将逐阶段深度、方差、置信度和边缘线索传播到后续阶段。该机制为可见性估计和代价修正提供了稳定的先验，从而带来更稳定的精细化效果、更好的边界恢复能力以及标准基准上更高的重建性能。

本文其余部分组织如下。第2节综述相关工作。第3节介绍所提出的方法。第4节描述实验协议并讨论定量和定性结果。第5节总结全文。

各节摘要

基于学习的多视图立体重建

基于学习的多视图立体重建的核心目标是在多视图几何约束下构建稳定的跨视图匹配表示，并据此在参考视图中恢复稠密深度。MVSNet通过在参考视锥下利用可微单应性扭曲构建代价体，并使用三维卷积网络进行正则化，率先建立了基本的学习型MVS框架 [3]。后续工作如R-MVSNet和Point-MVSNet进一步

概述

如图2所示，所提出的方法基于三阶段级联TransMVSNet框架构建。在保留原有特征提取主干和跨视图上下文建模模块的前提下，重新组织了深度推理阶段的信息流。给定参考图像和源图像及其对应的相机投影矩阵，我们首先使用FeatureNet提取多尺度金字塔特征，然后使用带通路的FMT增强跨视图特征

实验

本节首先介绍数据集、评估协议和实现细节。随后在DTU和Tanks and Temples基准上将所提方法与代表性现有方法进行定量比较，并通过消融实验和可视化分析进一步验证各关键设计的有效性。

结论

本文提出了VGM-MVSNet，一个用于多视图立体重建的可见性引导几何记忆网络。该方法将基于共识的可见性建模与显式几何记忆池相结合，重新组织了多视图证据的聚合方式以及跨阶段推理中几何线索的传播方式。该方法不修改特征主干网络，而是专注于通过联合建模源视图可靠性和

CRediT作者贡献声明

钟言杰： 撰写–初稿，验证，方法论。龚广洪： 撰写–审阅与编辑。曹蒙： 可视化。崔金伟： 验证。周赛阳： 资源。李霓： 撰写–审阅与编辑。

利益冲突声明

作者声明不存在可能影响本文所报告工作的已知竞争性财务利益或个人关系。

钟言杰 目前在北京航空航天大学自动化科学与电气工程学院攻读博士学位，导师为龚广洪教授。其研究方向包括三维重建、多视图立体重建和计算机视觉。

钟言杰|龚广洪|曹蒙|崔金伟|周赛阳|李霓

北京航空航天大学 自动化科学与电气工程学院，北京，100191，中国