《Remote Sensing》：Stereo Matching in Satellite Imagery: A Depth Estimation Foundation Model-Assisted Iterative Approach
编辑推荐：
在高分辨率光学遥感三维重建中，卫星立体匹配是一项关键任务，但其面临极端成像几何条件、弱纹理与重复纹理模式、遮挡以及时空异质性引起的场景变化等挑战。为此，研究人员提出了一种名为IFMA-Stereo的创新性双目视差估计方法，该方法利用单目深度估计基础模型。该方法
在高分辨率光学遥感三维重建中，卫星立体匹配是一项关键任务，但其面临极端成像几何条件、弱纹理与重复纹理模式、遮挡以及时空异质性引起的场景变化等挑战。为此，研究人员提出了一种名为IFMA-Stereo的创新性双目视差估计方法，该方法利用单目深度估计基础模型。该方法构建了多尺度空间信息金字塔（Multi-scale Spatial Information Pyramid），将基础模型与视差提取网络进行联合整合。在特征层面，注意力交互机制（Attention Interaction Mechanism）捕获多维上下文依赖关系，并将通用场景理解先验转化为适用于立体代价体（Cost Volume）构建的长程关联特征。在像素 analog 素层面，循环迭代细化模块（Cyclic Iterative Refinement Module）将基础模型的深度信息嵌入整个迭代过程并进行联合优化，增强了模型在几何复杂区域的适应性。在美国摄影测量与遥感学会（US3D）和高分七号（GaoFen-7）数据集上的实验表明，IFMA-Stereo在挑战性区域（弱纹理区域、视差不连续区域、重复纹理模式）表现优异，并有效缓解了时空异质性引起的预测误差，尽管与基线方法相比推理时间有所增加。定量而言，该方法在US3D数据集上达到端点误差（End-Point Error, EPE）1.347和D1误差7.26%，在GaoFen-7数据集上EPE为1.585、D1误差为13.41%。值得注意的是，该方法对未见过的城市区域也能产生精确预测，表明其具有强大的泛化能力。这些结果证实了IFMA-Stereo在遥感视差估计中达到了最先进的精度。
卫星影像立体匹配是遥感摄影测量领域的核心研究方向之一。过去三十年来，ENVI、ERDAS、Catalyst（原PCI Geomatica）等商业软件包被广泛用于卫星影像的 operational 匹配与地形制图，构成了众多生产工作流的基础。立体匹配的核心任务是从多视角卫星影像中推断像素级对应关系，从而生成密集视差图。此处，视差被正式定义为经核线几何纠正后，参考影像（如左影像）与目标影像（如右影像）之间同名点的水平坐标偏移。这些视差图与几何重建管线直接关联：基于摄影测量三角测量原理，在准确掌握卫星轨道参数的前提下，视差值可转换为相对于参考面的高程信息，进而生成密集三维点云、数字表面模型（Digital Surface Model, DSM）和数字高程模型（Digital Elevation Model, DEM）。因此，精确的视差估计是从立体卫星影像获取可靠高度测量的先决条件，在大比例尺地形制图、三维城市建模、灾害损毁评估和基础设施监测等领域具有广泛应用前景。
传统立体匹配中，半全局匹配（Semi-Global Matching, SGM）是一项极具代表性的技术，对后续研究产生了深远影响。其流程主要包括四步：匹配代价计算、代价聚合、视差计算和视差细化。然而，SGM及类似传统方法存在显著局限：其一，计算需求往往巨大，导致效率低下且时间成本高；其二，这些方法严重受限于初始步骤中采用的手工设计代价计算策略，对复杂多变的遥感场景（如大坡度地形、城市峡谷和多源卫星影像对）适应性不足。
近年来，受大规模高质量数据集 availability 驱动，基于学习的立体匹配算法占据主导地位，尤其在近景场景中。RAFT-Stereo、IGEV-Stereo和Selective-IGEV等模型采用迭代优化策略，结合代价体（Cost Volume）与全局对相关（All-pairs Correlation）来缓解病态区域的不确定性以及边界和精细细节处的过度平滑问题，在近景立体匹配中建立了最先进的性能。
然而，由于空间几何、环境条件和系统约束的根本差异，遥感成像场景与近景成像场景存在 substantial 区别，导致两类模型的设计要求显著不同。首先，遥感影像覆盖广阔的地面区域，场景复杂且高度不可预测。其次，弱纹理区域（如道路、河流）、重复纹理模式（如森林、农田）和遮挡区域（如高层建筑）在卫星影像中更为普遍且广泛分布。第三，卫星影像对往往具有固有的时空异质性，由于两幅影像通常并非同时拍摄，获取之间可能存在物理场景变化。最后，与近景场景受益于早期发布的大量高质量标准数据集不同，遥感立体匹配起步较晚。尽管已公开若干优秀数据集，但数据的整体规模和多样性仍相对有限，在一定程度上制约了该领域立体匹配技术的发展。
研究人员的研究架构受单目深度估计基础模型启发。这些模型通过半监督方法在大量无标注真实世界图像与高质量合成数据上训练，产生了在单目场景中具有强大泛化能力的深度基础模型。将深度估计基础模型应用于遥感数据后，研究人员观察到其已具备一定的相对深度提取能力，表明该模型展现出不受立体影像对约束的一定程度的场景泛化能力。然而，这种相对深度提取能力主要反映宏观深度变化，在细粒度纹理细节方面通常表现不佳。基于这些观察，研究人员提出了IFMA-Stereo，一种集成深度基础模型以增强特征层面和像素层面泛化能力的迭代立体匹配网络。
该架构纳入多尺度空间信息金字塔（Multi-scale Spatial Information Pyramid），用于基础模型与视差提取网络之间的协同特征融合。交替自注意力和交叉注意力机制（Alternating Self- and Cross-Attention Mechanism）将立体结构信息编码为适应卫星视差范围的双向代价体（Bidirectional Cost Cube）。级联循环网络（Cascaded Recurrent Network）通过可学习变换将基础模型深度图与视差对齐。最终，单目-立体联合迭代模块（Monocular–Stereo Joint Iterative Module）利用像素级深度先验引导病态区域的立体匹配，同时立体匹配细化深度预测中的精细细节，实现相互协同优化。
研究人员采用的关键技术方法包括以下核心模块：基于视觉基础模型的特征提取、通过交替自注意力与交叉注意力机制生成代价体、单目与双目联合迭代模块，以及多因素视差优化。样本队列来源于US3D数据集（美国WorldView-3卫星获取的Jacksonville和Omaha地区影像对）和GaoFen-7数据集（中国高分七号卫星获取的广东英德市影像对）。
研究结果部分，研究人员首先在标准数据集上验证了方法的整体性能。
在US3D数据集结果方面，为评估模型跨城市泛化能力，所有方法仅在Jacksonville区域子集上训练，在Omaha区域影像对上测试。与经典方法SGM及多种深度学习方法的定量比较显示，IFMA-Stereo在EPE和D1指标上均优于其他方法，相对领先方法HMSM-Net将EPE和D1分别降低0.067和0.56%，推理时间从497 ms增加至843 ms。
在GaoFen-7数据集结果方面，所有方法使用US3D预训练权重初始化。与现有方法相比，研究人员的方法在EPE和D1指标上均有提升，相对HMSM-Net分别降低0.177和1.33%，表明所提方法在比较模型中达到最佳性能。
在模拟低分辨率结果方面，研究人员通过将US3D图像降采样至1/2、1/4和1/8原始尺寸来模拟地面采样距离（Ground Sampling Distance, GSD）变化。实验显示，所有模型性能随分辨率降低而下降，但IFMA-Stereo在所有测试分辨率水平上始终优于基线方法，且在GSD超过米级时表现出最小的性能下降，显示出对分辨率退化的优越鲁棒性。
在基于高度的评估方面，研究人员将预测视差图转换为估计高度值，与AGL（Above Ground Level）真值比较。IFMA-Stereo在US3D验证集上达到最低RMSE（2.838 m）和MAE（1.719 m），相对HMSM-Net分别降低5.2%和2.4%，表明该方法在处理遮挡边界和地形突变等挑战性区域的大高度估计误差方面更为鲁棒。
复杂区域分析部分，研究人员针对卫星影像中的典型困难场景进行了详细评估。
弱纹理区域结果。通过白色建筑屋顶和单色道路等地物的误差可视化分析，PSMNet和HMSM-Net在大面积屋顶预测中存在大量黄绿甚至红色误差像素，而IFMA-Stereo的误差图几乎全为深蓝色和浅蓝色像素，表明其在弱纹理区域实现高精度预测。D1指标较两种基线方法有 substantial 提升，反映出模型在精确匹配困难区域的强大能力。
重复纹理模式区域结果。在密林、密集建筑群和体育场等场景的比较中，PSMNet和HMSM-Net在树冠区域出现大片深红色误差像素团块，而IFMA-Stereo的误差图主要由深蓝和浅蓝像素组成。体育场场景中IFMA-Stereo的误差图几乎全为深蓝色，显示其在重复纹理区域的卓越预测精度。
视差不连续区域结果。在立交桥和高层建筑的比较中，基线方法在高度变化边缘出现大面积浅蓝甚至绿色像素，而IFMA-Stereo在立交桥区域几乎全为深蓝色像素。高层建筑边缘的定量比较显示，IFMA-Stereo达到EPE 0.7106和D1 1.032%，大幅优于PSMNet（EPE 1.2476, D1 2.569%）和HMSM-Net（EPE 1.2399, D1 2.760%）。
时空异质性区域结果。在植被变化、建筑扩建和天气影响等场景的测试中，PSMNet和HMSM-Net在变化区域出现明显性能退化，而IFMA-Stereo的结果几乎不受影响（几乎全为深蓝色像素）。天气导致左影像整体朦胧的场景中，基线方法出现大面积黄绿甚至红色误差，而IFMA-Stereo主体仍为蓝像素，显示对天气因素的显著韧性。第一场景中极低的D1指标表明其对常规物理场景变化的强大适应性。
消融研究方面，研究人员在US3D数据集上系统评估了各组件贡献。以适配遥感数据的双向几何编码量的基IGEV迭代架构为基线（Model 1），逐步添加深度估计基础模型特征级交互（Model 2，EPE降低2.08%，D1降低1.12%）、像素级交互与互补迭代模块（Model 3，EPE降低4.37%，D1降低2.23%）、自注意力和交叉注意力机制（Model 4，EPE降低6.03%，D1降低9.06%），最终整合所有模块并添加视差优化模块（Model 5，EPE降低6.59%，D1降低9.93%）。推理时间分析表明，基础特征提取模块是主要时间开销来源，而视差优化模块时间成本增幅仅2.4%且针对局部错误区域具有针对性效果。
基础模型深度预测偏差影响分析方面，研究人员通过线性变换将单目深度映射至视差空间，发现对齐后的视差在宏观结构层面能实现准确判别，但局部细节可靠性低。定量分析显示初始对齐单目视差存在相当偏差。进一步分析常规迭代过程与单目-立体联合迭代的进化曲线发现，单目视差分支在第26迭代因深度估计未对齐出现性能下降，但单目-立体联合迭代在第28迭代即迅速恢复并超越常规迭代先前最优结果。69.57%的影像对在单目分支出现EPE下降，55.28%出现D1下降，退化主要集中于复杂局部细节区域。这证实了单目深度提供的、不受双目约束的宏观结构信息能够有效改善标准视差，克服遥感场景中双目匹配失败导致的局限性。
研究结论部分翻译如下：本文提出了一种利用深度基础模型的新型遥感视差估计方法，通过循环迭代框架纳入非局部几何和上下文信息。所提多尺度融合实现了跨层级对应关系学习，增强了挑战性区域的适应性。为提高病态场景预测精度，研究人员在特征和图像层面联合引入深度估计基础模型，利用其泛化表征。在迭代框架内，非局部几何和上下文线索被编码至循环特征中以逐步细化视差，推进立体匹配精度。US3D和GaoFen-7数据集上的实验在弱纹理、视差不连续、重复纹理和时空异质 areas 取得显著增益。尽管性能优越，该方法因使用高维度信息和迭代细化过程在推理时间方面存在一定局限。未来，研究人员计划进一步研究各模块精度与效率的权衡，旨在开发兼具高精度和计算效率的遥感立体匹配方法。
