DegMamba：利用退化引导技术实现增强深度的超级分辨率

《Pattern Recognition》：DegMamba: Mamba-enhanced depth super-resolution with degradation guidance

　　吴启月|严志强|王正学|杨健|李军
中国南京理工大学PCA实验室

**摘要**
深度超分辨率（DSR）旨在从低分辨率输入重建高分辨率深度图，这对于机器人技术、3D重建和增强现实至关重要。然而，现有方法在处理大规模放大时存在困难，并且当仅依赖深度特征时，尤其是在存在噪声和结构退化的真实世界场景中，常常会产生伪影。为了克服这些限制，我们提出了DegMamba这一新颖的DSR框架，它引入了两项关键创新：（1）引导状态空间（GSS）模块，通过融合RGB和深度特征来捕捉长距离依赖性，从而在抑制噪声的同时实现缺失区域的稳健重建；（2）退化引导RGB融合（DGF）机制，该机制动态整合多模态特征，选择性地聚合与深度相关的线索，并减轻误导性纹理的干扰。与传统的基于CNN或Transformer的方法不同，DegMamba通过结合状态空间的全局建模能力和对退化的感知特征融合，在真实世界环境中表现出色。在合成数据和真实世界基准测试上的广泛实验表明，我们的方法在处理大规模放大和严重退化方面显著优于现有的DSR技术。例如，在NYU-v2数据集上，DegMamba的RMSE分别比次优方法降低了20.0%和21.0%。这些结果表明，DegMamba能够有效重建高分辨率深度图，为增强现实、虚拟现实和3D重建等下游任务提供准确的深度信息，从而提升它们对复杂场景的感知和理解能力。

**引言**
高分辨率（HR）深度图能够提供精细的几何细节，对于推进机器人导航、增强现实、自动驾驶和3D重建等众多应用中的场景理解至关重要[1]、[2]。然而，由于消费级传感器硬件的限制以及真实世界环境的复杂性，捕获的深度数据通常为低分辨率（LR）。为此，已经提出了许多深度图超分辨率方法[3]、[4]，这些方法利用HR RGB图像来辅助超分辨率过程。

在真实世界场景中，LR深度图经常受到噪声、缺失值和模糊等多种复杂且不可预测因素的影响而退化。这种严重的退化会导致RGB图像与深度图之间的显著结构不对齐，从而在RGB-D融合过程中遇到两个主要问题：跨模态不一致性和结构不一致性。核心挑战在于如何有效地将高质量RGB图像中的结构和几何信息传递给受损的深度结构，同时防止纹理过度传输等伪影的产生。

早期的仅基于深度的方法，如双线性插值和引导滤波[3]，依赖于手工制作的先验，常常导致边缘模糊和结构扭曲。基于学习的CNN方法[5]通过卷积特征提取改善了局部细节的恢复；然而，它们有限的感受野使得它们在处理大规模放大（例如×32）时效果不佳。例如，标准的5×5卷积或膨胀卷积无法有效促进空间上相距较远但相关的像素（如图1中的点A和B）之间的信息交换。为了捕捉全局上下文，一些基于Transformer的方法[6]采用了自注意力机制，但由于计算复杂度与输入序列长度成二次方关系，限制了其在高分辨率DSR中的应用。总体而言，尽管现有方法取得了显著进展，但在处理真实世界中的未知退化方面仍存在局限性。这些局限性主要体现在两个方面：（1）对全局信息建模不足。有效捕捉长距离依赖性有助于DSR模型更全面地理解场景，区分表面纹理和真实结构细节，从而减少纹理复制等问题；（2）多模态融合不加区分。LR深度图中的平滑区域相对容易恢复，而退化的结构区域则更具挑战性。现有方法通常对所有区域进行统一处理，难以准确利用RGB图像的指导来增强严重退化的区域，尤其是在RGB图像和LR深度图之间存在结构不一致性（如图2）的情况下。

为了解决这些限制，我们提出了DegMamba这一新框架，它将状态空间建模与对退化的感知处理相结合。该框架包括两个组成部分：

**引导状态空间（GSS）**。受高效长距离建模需求的启发，最近的结构化状态空间模型（SSM）在计算复杂性和长距离依赖性建模能力方面取得了进展，使其特别适合用于真实世界的DSR。在本文中，我们提出了一种GSS，它将深度图转换为线性序列表示，使得所有像素对之间可以直接交互（如图1所示）。此外，我们的GSS将Mamba的序列建模能力扩展到2D图像领域，实现了高效的长距离依赖性建模，同时保持了准确性。

**退化引导融合（DGF）**。为了选择性地传输RGB信息以增强退化的深度区域，DGF模块通过动态评估输入深度图中的退化模式（如噪声水平、结构缺失）来智能地整合RGB图像的补充信息。这种自适应融合机制仅选择性地整合与深度最相关的RGB特征，保持严格的几何一致性，并有效抑制纹理干扰。如图2所示，在真实世界退化条件下，退化引导的门控机制会影响中间RGB特征。

GSS和DGF的协同整合使DegMamba能够在具有挑战性的条件下（如严重噪声和大规模放大）产生稳健的高质量重建结果。例如，DegMamba能够有效处理极端的分辨率差异（例如从20×15到640×480）。总之，我们的贡献总结如下：
- 我们提出了一种新颖的DSR解决方案DegMamba，它巧妙地将退化感知与状态空间模型相结合，动态聚合与退化深度区域对应的RGB信息。
- 引导状态空间（GSS）模块将Mamba风格的序列建模扩展到2D深度特征，实现了RGB和深度特征之间几何相关信息的有效长距离交互，从而将RGB信息适应性地传递到深度数据中。
- 退化引导融合（DGF）模块估计LR和HR深度图之间的退化模式，并利用该模式作为门控信号，选择性地整合与退化表示对齐的RGB线索，从而增强几何一致性并抑制纹理复制伪影。

**实验验证**
我们在多个数据集和任务上的广泛实验确认，DegMamba在有效性、鲁棒性和泛化能力方面显著优于现有方法。

**本文结构**
第2节首先回顾了深度超分辨率和基于Mamba的图像恢复的相关工作。第3节介绍了所提出的DegMamba框架及其核心组件：GSS模块和DGF模块。随后，第4节详细说明了实验设置，并在合成数据和真实世界基准测试上提供了定量和定性比较，验证了DegMamba的有效性。第4.7节展示了典型失败案例并分析了该方法的局限性。最后，第5节总结了本文并指出了未来可能的研究方向。

**数据集**
我们通过五个基准数据集对方法进行了全面评估，包括三个合成数据集（NYU-v2 [23]、Middlebury [24]、[25] 和 Lu [26]）以及两个真实世界数据集（RGB-D-D [27] 和 TOFDSR [28]）。

**作者贡献声明**
吴启月：撰写——原始草稿、软件、资源、方法论。
严志强：方法论、数据管理。
王正学：软件、数据管理。
杨健：验证、资源、项目管理。
李军：资源、方法论、形式分析。

**利益冲突声明**
作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。

**致谢**
本工作得到了国家自然科学基金（项目编号U24A20330和62361166670）的支持。需要注意的是，PCA实验室隶属于教育部的高维信息智能感知与系统重点实验室以及南京理工大学计算机科学与工程学院的社会安全图像与视频理解重点实验室。