TSWNet：通过小波重构和边缘特征增强实现的热立体匹配

《Infrared Physics & Technology》：TSWNet: Thermal stereo matching via wavelet reconstruction and edge feature enhancement

　　

摘要

热成像在低光照环境具有明显的感知优势。然而，大多数现有的立体匹配网络是为可见光图像设计的，直接应用于热图像时往往表现不佳。这是因为热图像通常包含稀疏的纹理、模糊的边界和热噪声，这使得可靠的对应关系估计变得困难。为了解决这些挑战，我们提出了TSWNet，这是一种基于Fast-ACVNet+轻量级立体框架的高效热立体匹配方法，它包含了两个面向热图像的增强模块：小波重建增强（WRE）模块和边缘驱动特征提取（EDF）模块。WRE结合了Haar小波分解、可学习的频率weighting和逆重建技术来抑制热噪声并恢复有用的结构信息。EDF结合了模糊差异响应和Scharr梯度线索来提取稳健的边缘优先级，有助于补偿热特征提取过程中边界和纹理信息的丢失。此外，我们采用多阶段监督策略来提高立体视差估计的准确性，同时保持效率。在MS2和CATS热立体数据集上的实验表明，所提出的方法在保持高推理效率的同时，实现了具有竞争力的立体视差精度。在MS2数据集上，TSWNet的平均EPE最低为0.2747。与Fast-ACVNet+基线相比，TSWNet将平均EPE降低了17.2%，并且运行时间为9.41毫秒。

引言

准确的实时深度获取对于视觉感知任务（如机器人技术[1]和自动驾驶[2]）至关重要。作为3D环境感知的主要技术之一[3]，双眼立体匹配通过估计左右视图之间的像素对应关系来恢复场景深度。近年来，端到端的深度立体网络[4],[5]在精度方面显著超过了传统方法。大多数网络采用多尺度粗到细的推理架构和多阶段残差细化策略[6],[7],[8],[9]，以在精度和计算开销之间取得良好的平衡。然而，大多数现有方法是为可见光图像设计的，在低光照环境中的表现往往不佳。

相比之下，热成像相机[10]不依赖于环境可见光，可以在夜间、雨天和雾天等复杂条件下连续工作[11]。然而，热图像通常具有稀疏的纹理、模糊的边界和强烈的热噪声[12]。尽管存在多个多光谱热数据集[13],[14]，但带有立体视差注释的热立体数据集仍然有限[15],[16]。这些因素导致现有的立体匹配网络在直接转移到热成像场景时会遇到特征表示退化、边界模糊和累积的匹配错误等问题。

实际上，很少有研究讨论热成像的立体匹配网络。早期的研究主要集中在跨光谱[17]立体匹配上，试图结合可见光和红外图像的互补优势来应对低光照环境，但这受到模态差异和匹配困难的影响。尽管最近出现了一些纯热立体方法[18]，但它们大多遵循可见光网络的范式[18]。这些方法并没有专门针对具有稀疏纹理和高噪声的热图像进行设计，在具有挑战性的热场景中可能仍然难以平衡匹配精度和实时性能。

为了解决这些挑战，我们提出了TSWNet，这是一种基于Fast-ACVNet+轻量级立体框架的高效热立体匹配方法。TSWNet旨在实现具有高推理精度的竞争性立体视差精度。具体来说，我们通过将频率域增强[20]和边缘引导特征[21]融合到基线框架中，改进了热特征表示，而无需重新设计整个立体处理流程。热立体匹配中的一个关键问题是，卷积神经网络（CNN）在特征提取过程中容易将有用的结构与热噪声混合，从而降低了匹配的可靠性。为了解决这个问题，我们引入了小波重建增强（WRE）模块。其基本思想是分别处理不同频率带的热信息。如图1所示，通过小波分解，图像被分为高频和低频成分。高频成分主要包含边缘纹理和相对强的热噪声，而低频成分主要保留目标的整体轮廓和主要结构。这样，网络可以分别处理不同频率的信息，抑制高频噪声同时保留整体结构。通过重建，可以获得更清晰、更稳定的特征表示。基于这一观察，提出的WRE模块结合了Haar小波分解和卷积特征学习。在分解和重建过程中，我们引入了可学习的频率增强和自适应加权，以便抑制噪声高的高频干扰并保留有用的结构。这样，重建的特征变得更加清晰和稳定，有助于立体匹配。

为了进一步增强边界感知，我们设计了边缘驱动特征提取（EDF）模块。EDF结合了模糊差异响应和Scharr[22]梯度线索，从原始热图像中提取稳健的边缘优先级。这些边缘优先级被注入到多尺度深度特征中，有助于缓解由稀疏纹理和模糊边界引起的匹配歧义。此外，我们采用多阶段监督策略来提高立体视差估计的准确性，同时保持效率。实验在两个热立体数据集MS2[16]和CATS[15]上进行。MS2是一个大规模的室外驾驶数据集，带有基于LiDAR的立体视差注释。CATS包含室内和室外热立体场景，用作性能评估的额外基准。结果表明，所提出的方法在保持高推理效率的同时，实现了具有竞争力的立体视差精度。

本文的主要贡献总结如下：

• 1.
  我们提出了一种用于热立体匹配的小波重建增强（WRE）模块。该模块结合了Haar小波分解和卷积特征学习，并在重建过程中引入了自适应加权和学习频率增强。这种设计使得高频和低频信息可以分别处理，抑制热噪声，并保留有用的结构线索。
• 2.
  我们提出了一种用于热立体匹配的边缘驱动特征提取（EDF）模块。该模块结合了模糊差异响应和Scharr梯度线索，并进一步使用轻量级卷积细化从原始热图像中提取稳健的边缘优先级。这种设计有助于补偿热特征提取过程中边界和纹理信息的丢失。
• 3.
  我们基于轻量级框架构建了一个端到端的熱立体匹配模型。它结合了上述面向热图像的增强模块和多阶段监督。在两个热立体数据集上的实验表明，所提出的方法实现了具有高推理精度的竞争性立体视差精度。在MS2数据集上，TSWNet的平均EPE最低为0.2747，比基线降低了17.2%。

章节摘录

基于可见光的立体匹配

立体匹配是3D视觉领域的核心技术。近年来，基于深度学习的方法主要分为两类：成本-体积聚合和迭代优化。成本-体积方法通过构建和规范4D成本体积来估计立体视差。代表性的模型如GCNet[23]、PSMNet[24]和GANet[25]在精度上取得了显著提高，但它们严重依赖于计算密集型的3D卷积。

提出的TSWNet架构

图2展示了TSWNet的整体架构，其中彩色部分表示提出的模块，灰色部分表示继承的轻量级立体框架。该方法基于轻量级的粗到细立体框架，包含四个阶段。

(1) 浅层特征提取。左右热图像由两个并行分支处理。特征提取分支基于MobileNetV2[39]，在1/4、1/8、1/16和1/32的比例尺提取多尺度特征

数据集

MS2数据集：我们主要在MS2数据集上评估我们的方法。MS2包含大约195,000对同步捕获的可见光图像、红外热图像和LiDAR数据。在这项工作中，我们使用了校准的热立体图像对及其相应的立体视差注释。该数据集涵盖了多样的城市驾驶场景，包括白天、夜晚和雨天条件。由于真实立体视差是通过前向投影LiDAR点云获得的，

结论

在本文中，我们提出了TSWNet，这是一种基于轻量级框架的高效热立体匹配网络。我们没有重新设计整个立体处理流程，而是专注于改进具有稀疏纹理、模糊边界和强噪声的热图像的热特征表示。为此，我们设计了一种小波重建增强（WRE）模块，以目标明确的方式处理高频和低频信息。它抑制了热噪声，同时保留了有用的

CRediT作者贡献声明

Jiaying Mei：撰写——原始草案、方法论、概念化。Weikai Jiang：资源、调查。Xiang Zhu：可视化、数据管理。Yu Cheng：验证、监督。Yi Fang：撰写——审稿与编辑、项目管理。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

致谢

本项工作部分得到了中国国家自然科学基金（资助编号：62322106和62571142）和广东省基础与应用基础研究基金会（资助编号：2022B1515020086）的支持。

Jiaying Mei|Weikai Jiang|Xiang Zhu|Yu Cheng|Yi Fang

广东工业大学信息工程学院，广州，510006，广东，中国