基于置信度的立体匹配方法结合视差空间优化，用于光学遥感图像的3D重建

《Optics and Lasers in Engineering》：Confidence-guided stereo matching method with disparity space refinement for 3D reconstruction from optical remote sensing images

　　

杨书婷|陈浩|何发川|陈婷|何建军

• •
  一种基于置信度的新型立体匹配框架，用于从城市地区的光学遥感图像中进行3D重建。
• •
  根据每个超像素的置信度及其与相邻超像素的视差关系，为每个超像素分配独立的视差搜索空间。
• •
  在优化后的视差空间中采用基于对象的迭代优化方法，使得立体匹配算法能够更快、更精确地收敛。

引言

在过去的十年中，自动进行城市场景的3D重建一直是计算机视觉和遥感应用领域的热门研究方向，因为3D信息在构建数字城市、导航等诸多领域发挥着重要作用[[1], [2], [3]]。得益于卫星传感器以及轨道重访技术的进步，许多高分辨率的光学地球观测卫星被发射升空，比如WorldView系列、GeoEye-1、GF-7和SuperView-1等。卫星图像在数据获取成本和覆盖范围方面具有明显优势，能够为特定区域提供高质量且重叠度高的立体图像对，从而激发了人们对于大规模3D重建的兴趣。

在立体图像对之间准确建立对应关系仍然是一个尚未解决的难题，尤其是在纹理较弱、存在遮挡、视差不连续或辐射度不一致的区域。为了解决这些问题，许多研究人员提出了多种稳健的立体匹配方法[[4], [5], [6], [7], [8]]。Hirschmuller提出了被广泛应用的半全局匹配（SGM）算法[9]，该算法是许多卫星图像3D重建方案的核心。Yang等人[4]提出了一种基于层次图结构一致性成本迭代优化的立体匹配方法，通过图结构构建与映射来处理卫星图像之间的辐射度差异，同时利用迭代可见性和视差不连续性项来优化边界视差。Wang等人[10]利用开源GIS数据对城市场景中的视差进行了优化，他们将基于GIS数据生成的精确建筑掩模融入到分两步进行的全球-局部优化策略中，以此提高数字表面模型（DSM）的精度以及建筑重建的质量。Zhao等人[6]提出了一种用于从卫星图像进行城市3D重建的双传播立体匹配方法，该方法着重于优化存在视差不连续、倾斜表面和遮挡区域的匹配成本。He等人[11]提出了一种端到端的层次多尺度匹配网络，用于高分辨率卫星图像的视差估计，能够应对无纹理区域、重复图案、视差不连续以及遮挡等问题。Chen等人[12]开发了一种基于自相似卷积和受RFM约束的变形推理网络的卫星图像3D提取方法。Luo等人[13]提出了一种端到端的边缘引导多尺度匹配网络，用于光学卫星立体图像对的处理，该网络采用了自上而下的多尺度融合网络以及可在视差优化过程中进行训练的引导滤波层，以此提升边缘细节的恢复效果。

然而，仅依靠稳健的成本度量标准并不能完全解决立体匹配固有的局限性。将置信度估计纳入立体匹配过程被认为是一种潜在的解决方案[[14], [15], [16], [17]，这些方法既包括传统方法也包括深度学习方法。Li等人[18]提出了一种基于置信度匹配的层次化框架，该框架利用四种常用的置信度度量标准，在控制条件不佳的场景中实现高效且稳健的深度重建。Park等人[19]使用随机森林回归器筛选出具有影响力的置信度特征子集，然后再利用回归森林根据这些选定的特征来预测置信度，随后将预测得到的置信度用于调整匹配成本。上述方法并未考虑置信度的空间上下文信息。为了解决这一缺陷，Kim等人[20]提出了一种改进的置信度估计方法，该方法通过考虑超像素和像素的局部上下文来提取一组稳健的置信度特征。此外，还在像素级和超像素级应用K最近邻聚合机制进一步优化置信度图，最终将优化后的置信度用于指导立体匹配过程的进行。有一些研究人员探索了利用深度学习网络来进行立体图像的置信度估计。Kim等人[21]提出了一种通过深度网络同时估计立体图像对中的视差和置信度的方法。Chen等人[22]提出了一种用于深度立体匹配中的视差与不确定性联合估计的新损失函数。Zeng等人[23]设计了一种端到端的层次化架构，并在成本聚合网络中提出了可微分的置信度传播（DCP）模型，用于立体匹配。鉴于城市建筑结构的复杂性，根据估计得到的置信度来优化不同物体的视差空间，能够有效指导后续优化步骤中匹配成本的更新。Shen等人[24]提出了一种基于方差的视差范围搜索算法以及逐像素置信度图，以此自适应地确定搜索范围。Tao等人[14]设计了一种具有置信度感知能力的级联网络，用于极高分辨率遥感图像的多尺度立体匹配，该网络中的可学习置信度预测网络能够估算出逐像素的置信度，由此产生的置信度图能够在后续阶段动态调整视差搜索范围。不过，这些用于调整视差搜索范围的方法并未结合邻域信息，仅依赖像素级的置信度值，这可能会带来稳定性问题。

由于深度学习方法对训练样本和GPU内存的需求较高[25]，传统方法仍然是处理卫星图像的有效解决方案。因此，针对卫星图像中的城市区域开展3D重建，设计基于传统置信度的立体匹配方法依然十分重要。

本文提出了一种基于置信度的立体匹配方法，用于从光学遥感图像中进行3D重建。首先，根据构建的匹配成本生成多种常见的置信度度量指标。接着，筛选出一组具有影响力的置信度特征，并通过整合上下文信息对这些特征进行进一步优化，从而提升置信度特征本身的质量以及估计得到的置信度水平。最终，将优化后的置信度用于指导视差空间的优化以及匹配成本的调整。通过整合相邻点的置信度与视差值，可以分析出某个像素的视差值的可能性，从而在置信度估计时具备一定的容错能力。最后，将优化后的视差空间和调整后的匹配成本输入到迭代优化过程中，以便在后续步骤中持续更新匹配成本。实验结果验证了所提出的基于置信度的立体匹配方法的有效性。本文的主要贡献如下：

• (1)
  将置信度引入立体匹配流程，该置信度由多种具有影响力的度量指标构成，并通过整合上下文信息得到进一步优化。这些置信度信息可用于区分可靠的匹配区域与不可靠的区域，为限制和调整视差空间提供依据，进而提升视差估计的稳健性与准确性。
• (2)
  提出了一种基于置信度约束的视差空间优化策略，用以考虑小目标以及地面干扰的影响。根据目标超像素与其相邻超像素在视差值和置信度方面的条件关系，采用不同的优化方案。之后将优化后的视差空间纳入迭代优化过程，从而使立体匹配算法能够更快、更精确地收敛。

章节要点

方法

本文提出了一种基于置信度的新型立体匹配方法，并结合视差空间优化技术，用于从光学遥感图像中对城市场景进行3D重建。首先，通过构建匹配成本来确定初始的视差值和匹配成本。接着，利用自适应流形滤波技术优化置信度特征，再将估计得到的置信度与上下文信息相结合，从而得到优化后的置信度。在此基础上形成一种基于置信度约束的视差空间

结果

本节对卫星图像对进行了定性和定量实验。实验内容包括实验数据与评估指标的介绍、实验参数的设置、置信度分析，以及将所提方法与主流方法的端到端性能进行对比。

超像素分割与置信度图的可视化

超像素分割与置信度生成是本研究的基础。图6展示了典型建筑目标对应的超像素分割结果以及置信度生成结果。在立体匹配的成本优化过程中，进行超像素级别的优化具有显著优势。在超像素范围内汇总匹配成本可以有效降低噪声，提升局部一致性，进而增强视差估计的稳健性。此外，这样的计算方式还能

结论

为提升城市地区3D重建的效率，同时应对卫星立体图像对中多尺度物体以及复杂区域所带来的挑战，本文提出了一种基于置信度的立体匹配方法，并结合视差空间优化技术。首先构建匹配成本，得到初始的匹配成本和初始视差图。接着生成超像素级别的置信度特征集，再应用自适应流形滤波器对这些特征进行优化

资金支持

民用航空航天技术高级研究项目（D010405）。

CRediT作者贡献说明

杨书婷：撰写——审稿与编辑，撰写——初稿，结果验证，方法设计，概念构思。陈浩：监督，资源协调，项目管理，资金申请，数据整理。何发川：可视化处理，软件应用，实验研究，形式化分析。陈婷：资源协调，实验研究，数据整理。何建军：资源协调，实验研究，数据整理。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究成果的已知利益冲突或个人关系。