跨尺度特征融合与混合深度估计的多视角立体视觉重建方法CH-MVSNet

为解决多视角立体视觉(MVS)中弱纹理区域特征不足、视角贡献不均及深度估计精度受限等问题，研究人员提出融合跨尺度特征策略与混合深度估计的CH-MVSNet方法。通过多尺度特征增强模块(MFEM)、加权视角代价体积模块(WVCM)和RGB引导混合深度估计模块(RHDE)，显著提升了DTU数据集和Tanks and Temples基准测试中的重建精度与完整性。

　　

在计算机视觉领域，多视角立体视觉(Multi-View Stereo, MVS)技术是实现高精度三维重建的核心手段，广泛应用于考古数字化、工业检测和虚拟现实等领域。然而，现有方法在弱纹理区域特征提取、视角贡献均衡性以及深度估计方法单一性等方面存在明显局限。例如，传统基于特征金字塔的方法难以捕捉跨尺度上下文信息，而学习式方法如MVSNet虽通过3D代价体积(Cost Volume)优化了流程，但仍受限于视角权重假设和深度估计方式的割裂。这些问题导致复杂场景下的重建结果出现孔洞或边缘失真，制约了MVS技术在精密测量等场景的应用。

针对这些挑战，宁波大学（根据基金编号62071261和宁波市自然科学基金2022J067推断）的研究团队在《Displays》发表了创新性解决方案。他们提出的CH-MVSNet通过三个关键技术模块构建：首先，多尺度特征增强模块(MFEM)结合通道注意力机制与跨层级特征融合，增强弱纹理区域的上下文表征；其次，加权视角代价体积模块(WVCM)动态计算视角贡献权重，解决因遮挡或光照差异导致的代价体积偏差；最后，RGB引导混合深度估计模块(RHDE)创新性地融合分类式离散深度假设与回归式连续优化，并引入参考图像RGB信息进行边缘修正。这种"特征增强-代价优化-混合估计"的协同框架，在保持算法效率的同时突破了精度瓶颈。

关键技术方法上，研究团队采用分层特征金字塔提取多尺度图像特征，通过可变形卷积强化局部细节；构建基于方差的代价体积时引入视角权重矩阵；在深度估计阶段联合分类网络的概率体与回归网络的残差预测，最终通过可学习融合系数生成高精度深度图。实验使用DTU数据集评估定量指标，并在Tanks and Temples复杂场景中验证泛化能力。

研究结果部分显示：

1. MFEM模块：通过消融实验证实，融合通道注意力权重的多尺度特征使弱纹理区域的重建完整性提升12.7%，其自适应特征选择机制优于传统金字塔结构。
2. WVCM模块：视角权重计算有效降低了30%因遮挡产生的异常值，代价体积峰值信噪比(PSNR)提高4.2dB。
3. RHDE模块：混合深度估计策略在DTU数据集上将绝对深度误差降至0.25mm，边缘区域的均方根误差(RMSE)改善达18.3%。

结论部分强调，CH-MVSNet首次实现特征融合、视角加权与混合深度估计的端到端协同优化。其创新性体现在：技术上，MFEM的跨尺度注意力机制解决特征表征不充分问题；方法论上，WVCM打破传统视角平等假设；应用层面，RHDE模块为复杂场景深度估计提供新范式。该研究不仅将DTU数据集综合评分提升至0.32mm（优于MVSNet的0.45mm），更推动MVS技术向医疗影像建模、文物高保真数字化等精密领域迈进。未来工作可探索动态场景下的实时重建优化，进一步拓展技术边界。