C2A-MVSNet：基于交叉相关性与自适应聚合技术的鲁棒多视图立体重建算法

《Displays》：C2A-MVSNet: Cross-correlation and adaptive aggregation for robust Multi-view Stereo reconstruction

　　

• •
  提出了一种用于多视图立体（MVS）的新型互相关和自适应聚合网络。
• •
  新机制有效地平衡了全局语义和局部细节提取。
• •
  引入了无参数注意力机制以提高深度推断的鲁棒性。
• •
  该方法的性能优于现有技术，提升了2.7%。
• •
  在复杂数据集上展示了卓越的泛化能力。

引言

多视图立体（MVS）的主要目标是通过使用一组校准图像重建场景的3D结构，同时利用已知的内在和外在相机参数[1]。随着深度学习的迅速发展[2]，许多方法将神经网络集成到了MVS流程中。这一范式的转变在重建精度和计算效率方面都取得了显著提升。2018年出现的MVSNet[3]是第一个完全基于深度学习的系统。然而，由于依赖于大量的深度假设，MVSNet在计算和内存需求方面存在较大问题。

为了解决这个问题，R-MVSNet[4]引入了一种可扩展的架构，采用了循环神经网络（RNN）。通过沿深度轴对成本体积应用序列正则化以及门控循环单元（GRUs），它有效地降低了内存消耗，但代价是增加了推理时间。Point-MVSNet[5]通过直接操作场景的点云表示进一步提高了效率。Fast-MVSNet[6]构建了稀疏的成本体积来快速生成初始的稀疏深度图，并通过高斯-牛顿优化层进行精炼。Cascade-MVSNet[7]采用粗到细的策略，构建了级联的3D成本体积，从而在降低计算开销的同时实现了高分辨率的深度估计。CVP-MVSNet[8]引入了成本体积金字塔结构，生成了一个轻量级网络，在保持效率的同时提高了重建精度。

尽管现有算法性能出色，但它们往往难以在大的感受野范围内捕获具有区分性的高层次语义信息。因此，在纹理缺失区域、非朗伯反射或几何遮挡等具有挑战性的场景中，这些算法容易失败。这些语义表示对于界定精确的对象边界和保持结构真实性至关重要，这对于提高深度估计的完整性和准确性是必不可少的。此外，当前许多方法依赖于与内容无关的采样机制，忽略了内在的语义和结构先验。这种限制不可避免地导致在多尺度特征集成过程中丢失了细粒度细节。

C2A-MVSNet的核心概念在于通过内容自适应优化范式，弥合了全局语义完整性和局部几何真实性的表示差距。与依赖内容无关采样和孤立特征提取的现有级联架构不同，我们的框架将多尺度集成视为一个动态对齐过程。具体来说，我们认为鲁棒MVS的主要瓶颈在于静态卷积核无法感知内在的结构先验，如遮挡边界和不同的投影尺度。

为了解决这个问题，我们设计了自适应部分选择模块（APSM）和动态双卷积聚合模块（D2CAM）来感知和适应这些不规则性。此外，我们引入了Tied Squeeze-and-Excitation（TSE）机制来减轻跨视图特征隔离。通过使用共享的、关联的滤波器，TSE强制实施跨视图的几何规则化，确保了不同视角下的特征一致性。最后，在3D正则化阶段集成简单的无参数注意力模块（SimAM），实现了基于能量的特征选择，使网络能够自适应地突出关键和高置信度区域的响应。这种系统的协同作用将MVS流程从一系列离散阶段转变为一个统一的、内容感知的表示循环，在具有挑战性的场景中表现出更强的鲁棒性。

本文的主要贡献如下：

• •
  我们提出了APSM和动态D2CAM。通过创新采样策略和优化卷积拓扑，这些模块促进了粗粒度全局语义和细粒度局部细节的协同提取。
• •
  我们结合了TSE和SimAM策略来增强特征表示的区分能力。这种集成有助于捕捉长距离依赖关系，并抑制与任务无关的通道噪声，从而促进跨视图的一致性匹配。
• •
  实验表明，C2A-MVSNet在DTU基准测试中表现出竞争性性能，并且在Tanks和Temples数据集上具有鲁棒的泛化能力，如图1所示。

部分摘录

基于学习的MVS

传统的MVS方法在纹理模式低或重复的区域通常表现不佳，导致重建不完整或不准确。基于学习的MVS技术的出现，首次由MVSNet[4]示例，显著提高了该领域的鲁棒性和精确度。此后，许多研究从不同的方法和架构角度寻求改进这一框架。

MVSNet依赖于3D卷积神经网络

方法论

在这项研究中，我们提出了C2A-MVSNet，这是一个高效的MVS框架，其整体结构如图2所示。输入包括一张参考图像以及$I_{j=1}^N$' role="presentation">$I_{j=1}^N$ 来源图像。参考视图用于深度估计，而源视图通过相邻的视角提供补充的空间信息。一个多尺度特征提取模块在四个层次结构上生成深度相关特征，从粗到细逐步进行。

数据集

DTU数据集[31]是一个专门的室内MVS基准数据集，使用机械臂在受控光照条件下捕获。这种设置允许通过精确调整相机视角来进行精确的多视图成像。每个视图都提供了详细的内在和外在参数。该基准数据集包含128个不同的场景，图像采集来自49个或64个不同的相机姿态。

BlendedMVS数据集[32]是一个广泛的合成数据集。

结论

在本文中，我们提出了C2A-MVSNet，这是一个专门为MVS重建开发的网络。为了增强特征提取，C2A-MVSNet利用APSM模块捕获全局语义信息，利用D2CAM模块细化局部特征，有效缓解了传统方法中感受野有限和特征冗余的问题。为了进一步整合多个视图之间的语义一致性，我们加入了TSE模块，建立了长距离依赖关系

CRediT作者贡献声明

宗伟：撰写 – 原稿、软件、方法论、数据整理、概念化。冯立：撰写 – 审核与编辑、监督、项目管理、资金获取。朱宗海：撰写 – 审核与编辑、监督、项目管理。邢焕来：撰写 – 审核与编辑、监督、项目管理。万倩：验证、调查。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文所报告的工作。

致谢

本工作得到了四川省科学技术计划（2024NSFSC1472）和中央高校基本科研业务费（2682025ZTPY038）的支持。

Zong Wei|Li Feng|Zonghai Zhu|Huanlai Xing|Qian Wan