基于展开双边界一致性约束优化的可解释深度图超分辨率方法

《Pattern Recognition》：An interpretable Depth Map Super-Resolution method via unrolling dual-boundary consistency constrained optimization

　　

赵立军|任浩|张金晶|白慧慧|王安红

• •
  针对深度图超分辨率问题，提出了一种基于双边界一致性度量的三任务优化模型。
• •
  该模型被转化为对四个变量进行迭代优化的形式，从而构成一个可解释的ADMM网络。
• •
  通过高精度子网络逐步提取结构信息，以精细化深度边界。
• •
  提出了多级交叉关联补偿融合模块，通过三级交叉关联实现逐步融合。

引言

深度图对于感知3D世界至关重要，在自动驾驶、语义场景理解以及3D重建等应用中发挥着重要作用。虽然常见的获取设备包括飞行时间传感器和Kinect相机，但这些传感器的固有局限性严重制约了基于深度信息的计算机视觉应用的发展。因此，深度图超分辨率技术便成为从低分辨率输入数据估计高分辨率深度图的关键手段。由于低分辨率深度图通常存在严重的结构扭曲和细节失真问题，因此从单一低分辨率输入中恢复出最优的高分辨率深度图是一项极具挑战性的任务。幸运的是，在实际应用中，深度传感器常常与RGB相机搭配使用，这样就可以同时获取颜色图像和深度图像。与单图像深度图超分辨率方法不同，联合深度图超分辨率方法利用深度图与其对应的颜色图像之间的结构一致性，来提升深度边缘的质量和分辨率。目前的联合深度图超分辨率技术会明确或隐含地利用颜色边缘先验信息来改善深度重建效果。不过，尽管RGB图像既包含物体边界信息，也包含丰富的内部纹理信息，而深度图通常只包含分隔不同距离物体的稀疏边界信息。因此，基于颜色引导的深度图超分辨率方法面临的主要挑战在于：如何有效利用颜色引导来改善质量较差的深度图，以及如何在严格避免纹理复制伪影的同时融合跨模态特征。

近年来，人们尝试利用边缘先验信息来指导深度图重建工作[1]、[2]、[3]。然而，许多现有方法只是简单提取颜色边缘或深度边缘，然后将其与深度特征直接拼接在一起。这种单向的信息传递方式无法生成准确的深度边界信息，而且不可避免地会在不连续区域周围产生模糊现象或纹理复制伪影。此外，该领域中基于卷积神经网络的现有方法由于其固有的黑箱特性，通常缺乏数学上的可解释性。

基于上述分析，我们工作的核心贡献在于重新思考深度图与其对应颜色图像之间的结构一致性信息的利用方式，如图1所示。图中绿色框标示出那些在颜色图像上存在但在深度图上不存在的边缘。受此启发，我们提出了一种明确考虑双边界一致性约束的三任务优化模型。以往的双任务框架[4]将颜色边缘视为固定且不变的先验信息，这必然会导致纹理复制伪影的产生。而我们将颜色边缘视为可优化的变量而非常量，使得模型能够在深度边界约束下动态调整优化过程。基于交替方向乘子法的理论，该模型被转化为一个包含颜色边缘更新、深度边缘更新、深度图更新以及增广拉格朗日乘数更新的迭代子优化过程。这样一来，这一过程就被转化为一个可解释的ADMM网络，从而形成了一个具有强数学可解释性的优秀深度图超分辨率模型。在各个子优化模型中，双边界一致性被明确用于预测深度图边缘和颜色图像边缘的信息。此外，颜色边缘特征重建子网络与深度边缘特征重建子网络还会相互利用对方的信息，以此提供可靠的深度边缘不连续性信息。有一些深度图超分辨率方法[3]、[4]会在将预测得到的深度图边缘与深度图、颜色图像拼接后再输入到深度图超分辨率重建网络中，利用深度图的边缘先验信息，但这不可避免地会导致边缘模糊和伪影等问题。需要说明的是，本文是我们之前工作[5]的扩展版本。与我们在会议上发表的工作[5]相比，我们新增了多级交叉关联补偿融合模块，用以近似近端算子，从而更好地整合不同特征，并在不同阶段实现高效的数据传输，这带来了两项改进：首先，该模块明确建模了颜色边缘、深度边缘与深度图之间的动态交互关系，为基于双边界引导的重建提供了更为严谨的融合机制；其次，它通过高效的数据传输方式解决了各阶段之间的信息瓶颈问题，使得多通道特征状态和单通道图像估计值能够在ADMM迭代过程中并行传播，从而有效保留结构细节。本文的贡献如下：

• •
  受现有基于边缘的深度图超分辨率方法的启发，我们提出将深度边缘与其对应的颜色边缘之间的定量一致性度量指标明确纳入深度图超分辨率优化模型中，以此帮助恢复上采样后深度图中的不连续边缘，进而得到了一个明确考虑双边界一致性约束的三任务优化模型。
• •
  所提出的EDC三任务优化模型可以通过ADMM算法转化为对四个变量进行迭代优化的形式，而且这一过程还可以被转化为一个可解释的ADMM网络。
• •
  在我们的ADMM网络中，结构信息会首先从颜色边缘特征重建子网络和深度边缘特征重建子网络中逐步提取出来，之后这些结构信息又会通过高精度子网络被用来进一步精细化深度边界。
• •
  与以往仅采用简单融合策略融合两组特征的不同，我们所提出的MAF模块能够以渐进的方式，通过三级交叉关联机制融合四组特征。同时，该方法还利用高效的数据传输机制在不同阶段之间传递信息，从而提升网络的表征能力。

本文的其余部分结构如下：第2节简要回顾相关研究工作；第3节详细介绍所提出的方法；第4节给出实验结果及分析；最后在第5节对全文进行总结。

章节要点

基于经典优化的深度图超分辨率方法

基于经典优化的深度图超分辨率方法通常会将深度图上采样问题转化为各种数学优化问题。例如，Park等人[6]在马尔可夫随机场模型中引入了基于边缘的非局部正则化项，利用非局部图像块之间的相似性，从而更准确地恢复出关键的深度结构。与假设像素仅与其直接相邻像素存在外观相似性的马尔可夫随机场模型不同，Yang等人[7]提出了

所提出的方法

由于现有的深度图超分辨率方法中静态边缘先验往往会导致纹理复制伪影，因此我们将深度图超分辨率问题转化为一个明确考虑双边界一致性约束的三任务优化模型。接着，我们将这个数学模型转化为一个名为EDC-Net的深度可解释ADMM网络，该网络能够动态更新颜色边缘和深度边缘信息，以实现两者之间的相互优化。本节的其余内容结构如下：3.1节介绍问题的建模方式，3.2节

实现细节

为了验证所提出方法的有效性，我们在两个具有代表性的基准数据集上进行了实验，这两个数据集分别是Middlebury RGB-D数据集和Lu RGB-D数据集。我们从Middlebury RGB-D数据集中收集了36张1312×1072分辨率的RGB-D图像用于训练，这些图像分别来自Middlebury RGB-D(2001)、(2006)和(2014)三个版本，其中每个版本各有6张、9张和21张图像；同时我们还从该数据集中收集了6张640×480分辨率的RGB-D图像用于测试，这些图像的主题包括艺术、书籍、玩偶、衣物、莫比乌斯图案和驯鹿。为了便于

局限性及未来工作

尽管我们的模型取得了不错的效果，但它仍存在一些局限性。首先，该模型依赖于固定的上采样因子，且对特定的环境条件较为敏感；其次，双边界一致性假设存在严格的空间相关性，如果颜色与深度信息出现严重不对齐，就可能会导致RGB先验信息出现偏差，进而引发纹理复制伪影；最后，虽然三任务架构的精确度很高，但其计算开销也高于那些极其轻量级的架构

结论

在本文中，我们通过将基于双边界一致性约束的优化算法转化为神经网络形式，提出了一种可解释的深度图超分辨率方法。通过引入可学习的双边缘度量指标，并交替更新颜色边缘和深度边缘信息，我们的多任务模型有效地克服了静态先验带来的限制，同时也降低了纹理复制伪影的出现概率。实验结果表明，相较于现有的先进方法，我们的方法在保留细节精度和图像清晰度方面表现更为优异

CRediT作者贡献说明

赵立军：文章撰写——审阅与编辑、文章撰写——初稿编写、可视化处理、结果验证、研究指导、软件开发、实验研究、资金筹集、概念构思。任浩：文章撰写——审阅与编辑、文章撰写——初稿编写、软件开发、方法设计、实验研究、数据整理、概念构思。张金晶：文章撰写——审阅与编辑、软件开发、实验研究、资金筹集。白慧慧：文章撰写——审阅与编辑、研究指导、资金筹集。王安红：文章撰写——审阅

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知利益冲突或个人关系。

致谢

本研究得到了以下机构的支持：中国山西省奖学金委员会（项目编号：2024–130）、山西省基础研究计划（项目编号：202503021211182）、国家自然科学基金委员会（项目编号：62202323、62331003）、山西省基础研究计划（项目编号：202103021223284）、2022年山西省第三批优秀博士科研启动资金项目（项目编号：98001836）以及2023年第一批博士科研启动资金项目（项目编号：110136051）。