《Signal Processing: Image Communication》：StereoDiffuer: Diffusion-based progressive geometry modeling with Saliency Attention Perception for stereo matching
编辑推荐：
摘要随着深度神经网络的进步，通过立体匹配获得的视差图质量不断提升。然而，现有的立体匹配方法仍难以保留精细的几何细节，导致在复杂区域出现边缘模糊和预测过度平滑的问题。为解决这些局限，我们提出了StereoDiffuer，这是一种基于迭代扩散的立体匹配框架，能够明确建模几何细节并逐步
摘要
随着深度神经网络的进步，通过立体匹配获得的视差图质量不断提升。然而，现有的立体匹配方法仍难以保留精细的几何细节，导致在复杂区域出现边缘模糊和预测过度平滑的问题。为解决这些局限，我们提出了StereoDiffuer，这是一种基于迭代扩散的立体匹配框架，能够明确建模几何细节并逐步优化视差估计。该框架引入了显著性注意力感知模块，用于提取包括物体边界、细长结构及锐利边缘在内的显著几何特征。结合初始视差估计与经过置信度筛选的显著性特征，该框架可驱动迭代去噪扩散过程，从而纠正残余的视差误差，并恢复在成本体积正则化及上采样过程中被压制的几何细节。在Scene Flow和KITTI基准测试上的实验结果表明，所提框架具有优异的性能，优于其他对比的立体匹配方法。
引言
在双视图图像中建立对应关系，即所谓的双目立体匹配，在3D视觉感知中起着关键作用。它是众多3D视觉应用的基础，包括自动驾驶、机器人导航、增强现实以及工业制造[1]、[2]、[3]、[4]、[5]、[6]、[7]、[8]。近年来，这一领域取得了显著进展，深度神经网络在处理高度复杂的真实场景时展现出卓越性能[9]、[10]、[11]、[12]、[13]、[14]、[15]、[16]、[17]。尽管现有的最先进网络架构不断进步，但在处理对应关系匹配中的歧义问题时仍面临挑战，尤其是在涉及无纹理区域、重复图案、细长结构、遮挡物以及反射表面等复杂场景时。这些问题导致了不准确的视差预测现象普遍存在[17]、[18]、[19]、[20]、[21]、[22]。
现有的方法通常依靠正则化技术来应对立体匹配中的匹配歧义。早期的方法[23]、[24]、[25]通过结合特征相关性与2D卷积来编码并正则化匹配成本体积，从而选出最优的视差值。后续的研究[8]、[14]、[15]表明，特征拼接以及基于3D-CNN的成本体积正则化虽能提升匹配质量，但会带来更高的计算成本。为提高效率，近期的技术[26]、[27]、[28]、[29]、[30]、[31]采用了从粗到细的立体匹配框架，通过逐步融合多尺度成本体积的信息来降低计算负担。
尽管在提升匹配精度和计算效率方面已取得一定成果，但估计得到的视差图中仍存在边缘模糊和边界过度平滑的问题[32]、[33]、[34]。这类缺陷源于对精细几何细节的提取与保留不足。为解决这些问题，另一类研究引入了基于GRU的架构[22]、[35]、[36]、[37]，通过迭代优化来实现可靠的视差估计。不过，这些方法通常仅使用低级上下文特征来优化初始视差，未能明确建模精细的几何细节[35]、[36]、[37]。此外，基于ConvGRU的优化方式在多次递归更新过程中可能会积累误差[38]、[39]。
基于以上分析，我们提出从输入的立体图像中提取独特的几何信息，以补充初始的“不完美”视差值。与以往研究中所采用的GRU机制不同[35]、[36]、[37]，我们采用生成式去噪扩散模型，基于马尔可夫链逐步优化估计结果[17]、[40]、[41]。作为一种新兴的生成建模方法，扩散模型在马尔可夫链的每一步都会构建中间目标分布，从而将学习复杂经验分布这一艰巨任务分解为一系列多步骤的分布转换过程[17]、[41]。考虑到3D场景感知的复杂性，这种顺序建模策略特别适用于我们的立体匹配任务，它能够帮助我们将复杂的视差预测转化为逐步的深度分布建模过程。
为此，我们引入了显著性注意力感知模块，用于捕捉几何知识与精细细节，这些信息会被整合到条件迭代去噪扩散过程中，从而逐步优化初始的“不完美”视差图。该模块能够生成注意力图，明确标识输入图像中边缘的高频细节、清晰的物体边界以及其他重要的视觉显著性特征。扩散模型以初始视差图和显著性注意力图作为条件，逐步构建可靠的几何分布。这两种信息相互补充：初始视差图提供粗略的几何先验，而显著性注意力图则用于识别精细的几何细节。如图1所示，在道路标志的示例中，所提出的优化方法明显减少了匹配误差和边界过度平滑的现象。
StereoDiffuer的设计着眼于立体匹配中的一个特定问题：虽然成本体积聚合与视差上采样能够提供可靠的全局几何信息，但往往会导致物体边界、细长物体及锐利边缘周围的高频结构被抑制。为恢复这些缺失的几何细节，我们引入了SAP模块，从图像特征中提取具有显著性意识的边界与结构线索，并利用成本体积的置信度来选择可靠的显著性信息。随后，这些选定的显著性特征会与初始视差图结合，为去噪扩散模块提供协同条件。在这种条件下，扩散过程会通过纠正几何结构复杂区域的残余误差来逐步优化初始视差，而非仅仅作为通用的后处理步骤。我们工作的主要贡献如下：
- •
我们提出了一种深度显著性注意力机制，用于明确提取几何知识并区分高频细节，以此解决立体匹配中的过度平滑问题。
- •
我们提出将互补的初始视差图与显著性注意力图作为条件，用于驱动迭代去噪扩散模型，从而实现可靠的连续视差优化。
- •
在Scene Flow[25]和KITTI[42]基准测试上的实验结果表明，所提方法效果显著，能够生成准确且几何一致性良好的视差图。
章节要点
基于学习的双目立体匹配
近期立体匹配领域的研究重点在于运用深度神经网络进行对应关系计算[22]、[23]、[25]、[43]、[44]、[45]、[46]、[47]、[48]。Zbontar等人[12]首次提出使用连体网络来预测两幅图像块之间的相似度。Mayer等人[25]则设计了一种端到端的2D卷积架构，无需后续处理即可完成匹配。CRL[43]进一步构建了包含级联残差学习的两阶段网络，以提高性能。然而，这些
方法
在本节中，我们将详细介绍所提出的立体匹配方法。如图2所示，整个框架包括特征提取、成本体积构建、视差回归以及基于扩散的迭代优化四个部分。下面将分别阐述各部分的详细内容。
实验
在本节中，我们将介绍所提方法的实现细节，并通过一系列标准立体匹配基准测试来评估其性能。
结论
在本研究中，我们提出了StereoDiffuer，这是一种基于迭代扩散的立体匹配框架，能够明确建模几何细节并逐步优化视差估计。SAP模块负责提取空间和通道层面的显著性特征，而成本体积的置信度则用于筛选可靠的几何信息，这些信息将与初始视差图一起作为条件，驱动反向扩散过程。在Scene Flow和KITTI上的实验表明，StereoDiffuer具有出色的整体精度，能够生成
伦理声明
作者声明，本研究未涉及任何人类或动物实验对象。
利益冲突声明
作者声明，他们不存在任何可能影响本文研究成果的已知财务利益或个人关系。
Bohan Li
