用于自动驾驶的实时立体匹配与双向交互聚合技术

《Engineering Applications of Artificial Intelligence》：Real-time stereo matching with bilateral interaction aggregation for autonomous driving

　　赵晓阳|王卓|邓忠超|秦洪德|朱中本 中国哈尔滨工程大学，哈尔滨150001

摘要：立体匹配是自动驾驶车辆感知外部环境的重要手段，已被广泛应用。尽管已有大量研究，但最先进的方法在保持实时性能的同时，仍面临保留边缘结构以及处理重复纹理的挑战。本文提出一种新型的双向交互聚合网络（BINet），该网络能够在实时约束下实现高精度的视差估计，并增强边缘细节。具体而言，我们将成本体积分为细节成本体积和平滑成本体积，然后进行双向交互聚合。这种双向交互聚合使得这两个组成部分能够多阶段融合、互补互衬。不同的聚合过程还配备了自适应信息交换机制。为准确区分低频区域和高频区域，我们引入了池化空间注意力模块，该模块利用池化特征生成注意力图，有效分离细节区域和平滑区域。此外，在特征提取网络中，我们设计了小波特征增强模块，以提升特征质量并减少未经过处理的上采样带来的边界模糊问题。我们的模型包含三维版本和二维版本。实验表明，在Karlsruhe Institute of Technology和Toyota Technological Institute（KITTI）2012数据集上，BINet的性能比基准方法高出约21.8%。此外，BINet在Sceneflow数据集上的推理速度仅为25毫秒，而BINet-2D仅需5.9毫秒。这些结果表明，所提出的模型在推动自动驾驶应用发展方面具有巨大潜力。代码可在https://github.com/heuzxy/BINet获取。

引言：立体匹配是自动驾驶系统中的关键技术之一，它能够从捕获的立体图像对中推断出三维场景中物体的几何形状。立体匹配的核心在于找到左右视图之间的对应点，这些对应点的位置差异被称为视差，可用于深度估计、导航、表面缺陷检测以及重建视差图（Sivaraman和Trivedi，2013；Biswas和Veloso，2012；Engel等人，2015；Chen等人，2025）。尽管有大量文献研究立体匹配算法，但最先进的方法在处理重复纹理区域和边缘结构时仍面临挑战。此外，对于工业应用而言，在保持实时性能的同时实现高精度也极具难度。本文旨在探索一种对边缘友好的实时立体匹配算法，使其在保持实时性能的同时提升边缘细节。

近年来，基于卷积神经网络的立体匹配方法在立体匹配领域展现出惊人的能力。许多算法（Guo等人，2019；Xu等人，2023b；Chang和Chen，2018）通过引入复杂的成本体积来提升立体匹配算法的性能。GwcNet（Guo等人，2019）通过组合分组成本体积，明确编码立体匹配中的多通道相似性。ACVNet（Xu等人，2023b）提出了注意力串联成本体积，利用轻量级注意力过滤冗余信息，同时提高成本体积的精度并降低其参数数量。PCWNet（Shen等人，2022）则通过金字塔级联成本体积和变形优化实现高精度立体匹配。然而，成本聚合可能会导致边缘过渡过于平滑，从而引发边缘模糊，同时还会带来较高的计算成本，难以保证实时性能。

随着电动汽车的发展，自动驾驶对实时立体匹配的要求越来越高。为提升实时性能，后续研究采用低分辨率特征或稀疏成本体积来构建立体匹配网络。StereoNet（Khamis等人，2018）和BGNet（Xu等人，2021）通过降低特征分辨率来构建成本体积，从而提升实时性能。DeepPruner（Duggal等人，2019）和Fast-ACVNet（Xu等人，2023b）则通过剪除视差候选范围来构建稀疏成本体积。虽然这些方法显著提升了立体匹配算法的速度，但如图1所示，这些方法得到的成本体积在预测边缘区域或平滑区域的视差图时精度不足。

为解决这一问题，我们提出了一种新的双向交互聚合网络（BINet），它能够在确保实时性能的同时提升边缘区域的预测精度。考虑到图像中存在高频细节区域和低频平滑区域，之前的方法Fast-ACVNet（Xu等人，2023b）直接使用3D卷积进行成本聚合，这往往会导致边缘模糊、边缘纹理细节丢失，以及在纹理较弱或无纹理的区域出现不匹配现象。为解决这一问题，BINet将成本体积分为平滑成本体积和细节成本体积，然后通过交互聚合模块对细节分支和平滑分支进行聚合，并提供细节与平滑性的交叉信息。所提出的方法能够在复杂场景中保持清晰的边缘和细节信息，如图1所示，BINet很好地平衡了精度与推理速度。

此外，准确划分细节成本体积和平滑成本体积是准确预测视差图的关键。一些现有方法（Guo等人，2019；Xu等人，2023b）通常直接构建成本体积并使用3D卷积，从而导致平滑区域和边缘区域的视差图出现不连续现象。因此，我们提出了池化空间注意力（PSA）模块，用于区分高频细节区域和低频平滑区域。最大池化能够捕捉更多高频细节信息，平均池化则能捕捉更多低频平滑区域信息。我们的池化空间注意力充分利用不同的池化特性生成准确的注意力图，有效区分细节区域和平滑区域。

另外，特征提取网络需要获得更详细的特征图，这对于后续的成本体积频率分离至关重要。然而，特征提取网络中单独的上采样往往会导致边界模糊。因此，我们提出了小波特征增强模块，将其嵌入特征提取网络的上采样模块中，避免简单插值带来的边界模糊问题，提升特征质量。

为验证该方法的有效性，我们在Sceneflow（Mayer等人，2016）、KITTI 2012（Geiger等人，2012）和KITTI 2015（Menze等人，2015）数据集上进行了实验。在KITTI 2012和KITTI 2015的排名中，BINet的性能优于其他实时算法。此外，我们还在Sceneflow数据集上测试了其速度，如图1所示。

总结而言，我们的贡献可归纳为以下几点：
•本文提出了一种双向交互聚合网络，能够在确保实时性能的同时获得高精度的视差图。
•本文还提出了池化空间注意力模块，用于区分高频细节区域和低频平滑区域。
•为避免在特征提取网络中仅使用上采样模块时特征图质量下降，我们提出了小波特征增强模块，提升特征图质量。
•此外，BINet同时提供三维和二维版本，用户可根据所用设备自由选择。

相关工作：成本体积聚合方法。目前，立体匹配算法可分为两大类：基于成本体积聚合的方法和基于迭代优化的方法。其中，成本体积聚合方法的典型代表是PSMNet。PSMNet（Chang和Chen，2018）构建了级联的4D成本体积，并使用3D卷积构建堆叠的沙漏形网络来聚合成本体积。由于其出色的性能，许多后续研究都采用了这一方法。

方法：在本节中，我们将重点介绍如图2所示的BINet网络架构。它由四个部分组成：特征提取、成本体积构建、成本聚合以及视差预测。大多数现有方法直接对成本体积进行成本聚合，这很容易导致视差图中的边缘细节模糊，以及出现无纹理或纹理不匹配的区域。所提出的BINet能够有效解决边缘模糊和不匹配问题，同时确保……

数据集与评估指标：Scene Flow是一种广泛使用的合成数据集，包含三个子数据集：Flyingthings3D、Driving和Monkaa。总共有35,454个训练样本和4370个测试样本，所有样本的分辨率为960×540。评估指标包括端点误差（EPE）以及视差大于3像素的像素占比（Bad 3.0）。

KITTI 2012和KITTI 2015则是真实场景的数据集。KITTI 2012是该领域广泛使用的基准数据集。

泛化性能：获取大规模真实世界数据集极为困难，因此模型的泛化能力反映了其在真实场景中处理新数据的能力。为更好地测试模型的泛化性能，本文使用Middlebury半分辨率数据集和ETH3D数据集进行测试。如表8所示，与基准方法（单分支聚合网络）相比，BINet的性能有了显著提升。此外，BINet-2D……

局限性与讨论：尽管BINet能够在确保实时运行的同时有效提升边缘区域的性能，且所提出的模块也能有效提升模型的泛化性能，但与其他模型相比，其在泛化性能方面仍有不足。例如，在处理水下场景时，大面积的无结构场景可能会对模型产生较大影响。未来将进一步研究探索解决方案。

结论：本文提出了一种新的实时立体匹配算法，它能够在保持实时性能的同时，提升边缘区域和平滑区域的视差图精度。我们所提出的BINet能够将成本体积分为细节成本体积和平滑成本体积，并在细节聚合和平滑聚合过程中交互式地提供边缘信息和平滑信息。此外，PSA模块能够更有效地将成本体积分为细节成本体积和……

CRediT作者贡献声明：
赵晓阳：写作——审阅与编辑，写作——初稿撰写，可视化，验证，监督，软件，资源，项目管理，方法论，研究。
王卓：资金获取，形式分析，数据整理，概念构思。
邓忠超：研究，形式分析，数据整理，概念构思。
秦洪德：资金获取，形式分析，数据整理，概念构思。
朱中本：形式分析，数据整理，概念构思。

利益冲突声明：作者声明没有已知的可能影响本文研究的财务利益或个人关系。

致谢：本研究得到了中国国家重点研发计划（项目编号2023YFB4707000）和中国国家自然科学基金（项目编号52025111和52131101）的支持。