CPD-MVS：基于校准的单目先验与深度注意力的三分支融合多视图立体视觉方法

《Knowledge-Based Systems》：CPD-MVS: Tri-branch Fusion with a Calibrated Monocular Prior and Depth Attention for Multi-View Stereo

　　曹睿|李文婷|戴森|陈子阳|赵阳|吴亚波|赵世达|张永军|徐勇•我们提出了校准单目先验（CMP），通过轻量级注意力机制重新加权单目深度先验，对齐任务深度范围，缩小粗略假设空间，并减少尺度/位移的不确定性。•我们设计了三分支自上而下融合金字塔（TriFuse-Pyr），将CMP引导的几何线索与单目解码器特征融合，逐步注入浅层RGB线索，生成针对成本体积定制的多尺度特征。•我们开发了交叉引导通道门控（XCG），这是一种双向门控机制，能够自适应地协调几何信息与RGB信息，抑制分支间的冲突。•我们的模型在DTU数据集以及“坦克与神庙”高级子集上的性能处于行业领先水平，在官方“坦克与神庙”高级基准测试中排名第一。

引言多视图立体视觉（MVS）旨在从不同视角拍摄的多个图像中重建密集场景的几何结构，几十年来一直是3D计算机视觉领域的核心研究主题。基于学习的MVS方法通过从多视图图像中聚合成本体积，并利用神经网络对其进行正则化，从而实现比传统方法更高的精度。近年来，级联架构[1]、[2]、[3]已成为基于学习MVS中的常用设计方案。这类架构使用FPNs[4]进行特征提取，从粗到细逐步估计深度，不断缩小深度假设范围以降低计算量。然而，许多此类方法并未充分利用早期阶段可用的信息，通常将深度视为逐像素属性。这种纯粹局部化的特征提取方式会使聚合后的成本体积变得脆弱，尤其是在纹理较少且反射率较高的场景中，光度一致性容易遭到破坏。基于Transformer的架构[5]、[6]近期为特征表示带来了更多可能性，但它们仍然未能充分利用MVS中对于处理这些复杂场景至关重要的跨视图深度一致性和全局尺度线索。此外，已有研究表明几何信息在提升MVS重建精度方面起着关键作用[5]、[7]、[8]、[9]、[10]、[11]。例如，一些工作引入了图像法线[7]或注入粗略阶段的几何特征[8]来提升性能。不过，这些几何线索仍然来自相同的多视图特征，仅在粗略阶段提供较弱的、局部一致的引导。因此，粗略阶段往往缺乏强大的、具备尺度意识的几何先验来定位物体边界轮廓。此阶段产生的误差会在后续更精细的阶段被传播甚至放大，尤其是在长基线场景中，从而导致重建效果不佳。为了解决这一问题，我们借鉴了近期在大规模单目深度估计模型方面的研究成果。这些模型处理单张图像时就已经编码了场景级的几何结构及近似尺度线索，使得单目深度成为级联MVS中极具吸引力的先验来源。基于这一思路，我们的架构明确地在粗略阶段利用单目几何结构，并将其传递到更精细的网络层。我们提出了用于多视图立体视觉的带校准单目先验与深度注意力的三分支融合框架（CPD-MVS）。具体而言，我们引入了校准单目先验（CMP）模块。这里的“校准”指的是根据特定任务所需的MVS深度范围进行尺度和位移对齐，而非传统的相机标定。该模块首先将大型单目模型DepthAnythingV2 [12]（DA-V2）预测的逆深度转换为正向深度，再通过轻量级注意力网络重新加权这一深度先验。随后，一个可学习的仿射映射将该先验对齐到特定MVS任务要求的深度范围，从而将单目预测转化为具备尺度意识的几何先验，进而缩小深度假设范围并减少粗略阶段的不确定性。在更精细的尺度上，应用于深度的通道注意力机制进一步强化了来自单目模型的可靠几何线索。我们还引入了三分支自上而下融合金字塔（TriFuse-Pyr），用于融合三种类型的特征。为提升融合质量，交叉引导通道门控（XCG）融合网络会执行跨分支、按通道的交互式门控，抑制相互冲突的信息，增强互补的线索，先注入几何信息，再注入浅层RGB纹理。最终得到的多尺度特征被用于构建成本体积。CPD-MVS的设计旨在让单目几何先验适应级联MVS中的从粗略到精细的深度假设机制。为此，它采用了以校准几何信息为优先的融合设计。CMP首先将单目先验对齐到特定任务要求的MVS深度范围，然后TriFuse-Pyr在粗略尺度注入校准后的几何线索，再在更精细的尺度逐步引入RGB纹理线索。最后，XCG在特征混合之前执行轻量级的双向交叉引导通道调制。这种有序的设计直接针对复杂场景中粗略阶段的尺度不确定性和匹配不稳定性。总之，我们的主要贡献如下：•我们提出了校准单目先验（CMP），通过注意力重新加权及尺度和位移对齐，将原始的相对单目预测转换为与任务相匹配的几何先验。该设计利用单目深度作为经过校准的几何线索，减少级联MVS中的粗略阶段尺度不确定性。•我们设计了三分支自上而下融合金字塔（TriFuse-Pyr），该结构首先将CMP引导的几何线索与单目解码器的特征整合，然后再逐步注入浅层RGB线索，从而生成适用于构建成本体积的多尺度特征。•我们开发了交叉引导通道门控（XCG），这是一种双向门控机制，能够自适应地协调几何信息与RGB信息，同时抑制分支间的冲突。•所提出的模型在DTU数据集以及“坦克与神庙”高级子集上取得了业界领先的性能，在官方“坦克与神庙”高级基准测试中排名第一。

章节节选基于学习的MVS多视图立体视觉（MVS）旨在从已知相机姿态的多个图像中恢复3D场景信息。近年来，基于学习的MVS方法将密集场景重建分解为单视图深度估计和多视图融合两部分，不仅取得了优异的结果，而且在实际应用中具有很强的灵活性。深度学习极大地推动了这一领域的发展。MVSNet [13]利用通过仿射变换处理过的CNN提取的特征构建可微分的成本体积，并采用3D UNet

方法概述给定一张参考图像I0∈RH×W×3、N张源图像{Ii}i=1N，以及相机内参/外参{Ki}i=0N,{R0→i,t0→i}i=1N，目标就是估算出I0的深度图。整体架构如图1所示。我们的特征提取器由三个部分组成：校准单目先验（CMP）、三分支自上而下融合金字塔（TriFuse-Pyr）以及交叉引导通道门控（XCG）网络。它为成本体积的构建输出三个不同尺度的特征：stage1∈RB×32×H/4×W/4，stage2∈RB×16×H/2×

实验在本节中，我们在DTU [40]和“坦克与神庙”（TNT）[41]数据集上评估了我们的方法。除非另有说明，所有实验设置（输入视图数量、图像分辨率、深度假设、优化器以及学习率调度）都遵循统一的方案，以确保公平比较。所有实验都在配备有Intel Core i9-12900K CPU和两块NVIDIA RTX 3090 GPU（每块24 GB显存）的工作站上进行。我们的方法是用PyTorch实现的，支持CUDA以及混合精度训练。

结论我们提出了CPD-MVS，这是一种级联多视图立体视觉（MVS）框架，它整合了校准单目先验（CMP），并通过TriFuse-Pyr金字塔和交叉引导通道门控（XCG）模块实现以几何信息为优先、纹理信息为次要的三分支融合。通过将单目先验与级联深度范围进行尺度对齐，CPD-MVS在粗略阶段提供了具备几何意识的有效引导，同时还为成本体积的构建提供了更具区分度的多尺度特征。这种设计着重于

CRediT作者贡献声明曹睿：撰写——初稿，软件，方法论，概念构思。李文婷：资源获取，调研，资金筹集。戴森：撰写——初稿，软件，调研，形式分析。陈子阳：验证，监督。赵阳：监督，软件。吴亚波：撰写——审稿与编辑，数据整理。赵世达：验证，软件，资源获取。张永军：撰写——初稿，监督，资金筹集。徐勇：撰写——初稿

利益冲突声明作者声明不存在任何可能影响本文研究的已知财务利益或个人关系。

致谢本研究部分得到了中国贵州省科学技术厅的科技规划项目支持，项目编号为QianKeHe [2024] Key 001；还有部分得到了中国贵州省科学技术厅的科技规划项目支持，项目编号为[2023]159。