基于Mamba增强特征金字塔与可变形RPC采样的卫星多视角立体匹配方法

《Remote Sensing》：MambaDPSMVS: Remote Sensing Multi-View Height Estimation Based on Mamba-Enhanced Feature Pyramid and Deformable RPC Sampler

　　

摘要

针对卫星遥感图像多视角立体匹配（MVS）中RPC几何建模复杂、跨视角遮挡和光照不一致导致显著特征噪声以及高度图边缘细节模糊等问题，本文提出了一种基于Mamba增强特征金字塔和可变形RPC采样的卫星MVS高度估计网络——MambaDPSMVS。在特征提取阶段，设计了跨视角Mamba模块和单视角自Mamba增强模块，通过方向预测、方向路由、几何门控融合和状态空间序列建模实现视角之间和视角内部特征的显式交互，并从源头抑制视角噪声。提出了一种RPC几何可变形采样器RPC-DPSampler，通过3D可变形粗对齐、块采样、2D亚像素精调以及视角级注意力加权聚合，实现源视角特征与参考视角的精确对齐。随后构建级联代价，并利用循环编码器-解码器正则化完成由粗到精的高度估计。在WHU-TLC和US3D数据集上的实验表明，所提方法的MAE/RMSE分别达到1.688 m/2.867 m和1.744 m/3.847 m，PAG_{<1 m}分别达到61.81%和62.18%，均优于Sat（Red-Net）和Sat（CasMVS-Net）等基线方法。消融实验进一步验证了Mamba增强特征与RPC-DPSampler模块在特征表达和几何对齐方面的互补性。