TriGeoNet：一种面向高精度卫星立体匹配的三特征拆分网络与几何-统计协同优化方法

《International Journal of Applied Earth Observation and Geoinformation》：TriGeoNet: A Triple-Feature-Split network with geometry-statistics co-optimization for high-accuracy satellite stereo matching

　　

尽管卫星立体匹配技术取得了显著进展，现有的深度学习模型在生成准确的数字表面模型(Digital Surface Model, DSM)时仍面临计算成本高以及在复杂场景下性能受限的挑战。为此，研究人员提出了TriGeoNet，这是一种高效的端到端架构，旨在通过三项关键创新解决上述局限性：(1) 三特征拆分(Triple-Feature-Split)代价体策略，能够同时建模特征间的相似性、差异性和互补性关系，从而在无纹理区域实现鲁棒的匹配；(2) 几何-统计协同优化框架，结合了熵增强各向异性几何感知与跨尺度动态注意力融合，在加强几何约束的同时降低了计算复杂度；(3) 梯度引导的不确定性感知边缘细化模块，该模块将低级图像梯度与高级视差置信度图连接起来，以实现精确的边界保持。大量实验表明，该方法达到了业界顶尖(state-of-the-art)水平，在US3D数据集上端点误差(End-point Error, EPE)为0.983像素(D1-error为4.92%)，在WHU-Stereo数据集上为1.511像素(D1-error为11.18%)。在地形重建任务中，与其他顶尖方法相比，TriGeoNet生成的DSM在平均均方根误差(Root Mean Square Error, RMSE)和平均绝对误差(Mean Absolute Error, MAE)上分别提升了24.6%和28.9%。该研究为开发现代卫星立体视觉系统提供了新见解。代码已开源。

论文解读：TriGeoNet：一种面向高精度卫星立体匹配的三特征拆分网络与几何-统计协同优化方法

研究背景与开展原因

随着WorldView系列和中国高分七号(Gaofen-7)等亚米级分辨率卫星成像系统的出现，大规模三维地形重建迎来了前所未有的机遇，支撑了城市数字孪生、灾害响应和环境监测等关键应用。然而，从双目卫星影像生成准确的数字表面模型(Digital Surface Model, DSM)的标准摄影测量流程仍受限于计算效率和几何模糊性解决的挑战。其中，密集视差估计是决定最终DSM质量的关键瓶颈。尽管半全局匹配(Semi-Global Matching, SGM)等传统方法以及深度神经网络(Deep Neural Network, DNN)模型取得了一定进展，但在应用于卫星影像时仍面临三大难题：首先，卫星影像较大的基高比(base-height ratio)导致透视畸变和几何变形，传统代价体难以有效捕获复杂的特征对应关系；其次，卫星立体像对之间的辐射差异和视角变化导致匹配模糊，尤其是在弱纹理区域；第三，高分辨率卫星影像中建筑物边缘和高度不连续性的精确重建需要更复杂的边缘保持机制。此外，现有的3D代价体计算复杂度随分辨率和视差范围呈立方级增长，且各向同性卷积算子未能充分利用对极几何的方向约束。针对这些痛点，研究人员开展了本研究，旨在提出一种高效且高精度的端到端卫星立体匹配架构。

关键技术方法

研究人员采用PyTorch框架，在NVIDIA Tesla V100 GPU上进行模型训练，并在RTX 3080Ti GPU上进行推理。研究使用了三个数据集：包含RGB影像及视差和DSM真值的US3D数据集（WorldView-3卫星，涵盖Jacksonville和Omaha），包含全色影像及视差真值的WHU-Stereo数据集（Gaofen-7卫星，涵盖多个中国城市），以及用于DSM验证的自收集武汉数据集（Gaofen-7卫星）。模型采用Adam优化器进行端到端训练，并使用端点误差(End-point Error, EPE)、D1错误率、均方根误差(Root Mean Square Error, RMSE)和平均绝对误差(Mean Absolute Error, MAE)作为评估指标。

研究结果

1. 视差估计结果

在US3D数据集上，TriGeoNet在未引入额外语义先验的情况下，实现了1.054像素的EPE和5.81%的D1错误率；经过微调后，指标进一步提升至0.983像素和4.92%，优于SGM、PSMNet、HMSMNet以及依赖语义辅助的S2Net和S3Net等方法。在更具挑战性的WHU-Stereo数据集上，TriGeoNet同样表现最佳，EPE和D1分别达到1.565像素和11.81%（微调后为1.511像素和11.18%），超越了MaskCRNet等先进模型。这表明TriGeoNet在处理复杂城市场景和低分辨率全色影像时具有极强的鲁棒性。

2. DSM生成结果

在US3D数据集的四个代表性区域评估中，TriGeoNet生成的DSM在RMSE和MAE指标上均持续最优。微调后的模型在JAX_020区域的RMSE和MAE分别降至2.88 m和1.89 m。在自收集的武汉数据集上，微调后的TriGeoNet平均RMSE达到5.875 m，MAE达到4.17 m，相比HMSMNet分别提升了24.6%和28.9%。误差区间分析显示，TriGeoNet在[0, 1)米低误差区间内的比例最高，证明了其在低误差区域的高精度优势。

讨论与结论

讨论

研究人员通过消融实验验证了各核心模块的有效性。三特征拆分代价体(Triple-Feature-Split Cost Volume, TFSCV)通过同时捕捉相似性、差异性和互补性，降低了计算量并减少了无纹理区域的误匹配；熵增强各向异性几何感知(Entropy-Enhanced Anisotropic Geometric Perception, EAGP)和跨尺度动态注意力融合(Cross-Scale Dynamic Attention Fusion, CDAF)协同优化了代价聚合过程，自适应地调整了水平和垂直路径权重；梯度引导不确定性感知边缘细化(Gradient-Guided Uncertainty-Aware Edge Refinement, GUER)模块则显著提升了建筑物轮廓等边缘区域的保持能力。此外，研究指出当前领域存在一个关键脱节，即视差估计指标（如EPE）的优越并不等同于DSM生成质量的实际提升，实际应用中低误差区域（如[0, 1)米）的准确性往往更为关键。研究人员也坦承了模型的局限性，包括下采样导致的目标边缘模糊、固定视差搜索范围难以应对剧烈海拔变化以及未考虑立体采集间的时间变化等。

结论

综上所述，研究人员提出的TriGeoNet是一种端到端的深度学习网络，专为提升卫星立体匹配的视差估计和数字表面模型(Digital Surface Model, DSM)精度而设计。其核心贡献在于：(1) 引入了用于鲁棒特征匹配的三特征拆分代价体技术；(2) 构建了结合熵增强各向异性几何感知与跨尺度动态注意力融合的几何-统计协同优化框架，在强化几何约束的同时降低了计算复杂度；(3) 设计了分层梯度引导不确定性感知边缘细化模块，提高了高程突变区域的准确性。实验结果证实，TriGeoNet在多项基准测试中优于现有顶尖方法，特别是在处理重复纹理和显著视差不连续性等复杂场景时表现出色。未来工作将聚焦于整合语义信息、探索自适应视差搜索范围以及引入多时相融合技术。