基于几何感知控制的遥感三维重建网络Joint-MVSNet

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》：Joint-MVSNet: Geometry-Controlled 2-D/3-D Interaction for Aerial Multi-View Stereo Reconstruction

　　

摘要：

基于学习的方法推动了利用遥感图像进行大规模三维重建的航空多视图立体（MVS）技术的发展；然而，在城市场景中，由于存在较大地形起伏、有限的视角重叠、遮挡、弱纹理、重复模式以及辐射不一致性等因素，可靠的深度推断仍然十分困难。这些因素会破坏跨视图采样，产生宽泛或多峰的成本响应，而这些响应可能在级联精化过程中被进一步放大。针对这一问题，我们提出了Joint-MVSNet，这是一个几何控制的框架，将稀疏三维先验信息与深度方向的成本校准以及可靠性感知的残差校正相结合。首先，几何消息控制注入（GMCI）模块将粗略深度和后验概率反投影为稀疏伪点，并在构建成本体之前，将可靠性加权的跨视图几何消息写入参考特征中。其次，深度方向小波校准（DWC）将深度方向的成本序列分解为低频趋势和高频细节，并自适应地重新加权这些成分以抑制模糊响应。第三，边界原型残差校正（BPRC）从可靠的边界敏感区域提取结构原型，并在低置信度区域进行有界校正。实验结果表明，在WHU-MVS上均方根误差为0.078 m，在LuoJia-MVS上为0.108 m，在WHU-OMVS上为0.1078 m（均基于各自对应的五视图评测设置）。