《Neurocomputing》：DCIRNet: Depth completion with iterative refinement for dexterous grasping of transparent and reflective objects
编辑推荐：
摘要在日常环境中，透明和反光物体因其独特的视觉特性，如镜面反射和光线穿透，给深度传感器带来了巨大挑战。这些特性往往导致深度估计不完整或不准确，从而严重影响基于几何结构的视觉任务，包括物体识别、场景重建以及机器人操作。为了解决透明和反光物体深度信息缺失的问题，我们提出了DCIRNe
摘要
在日常环境中，透明和反光物体因其独特的视觉特性，如镜面反射和光线穿透，给深度传感器带来了巨大挑战。这些特性往往导致深度估计不完整或不准确，从而严重影响基于几何结构的视觉任务，包括物体识别、场景重建以及机器人操作。为了解决透明和反光物体深度信息缺失的问题，我们提出了DCIRNet，这是一种新颖的多模态深度补全网络，能够有效整合RGB图像和深度图，提升深度估计的质量。我们的方法包含一个创新的多模态特征融合模块，用于提取RGB图像与不完整的深度图之间的互补信息。此外，据我们所知，这是首个成功将深度惩罚机制应用于透明和反光物体深度补全并取得优异效果的研究。通过建立多尺度监督深度惩罚框架，我们的方法有效解决了边界模糊问题。我们将深度补全模型集成到灵巧抓取框架中，使得透明和反光物体的抓取成功率提升了44个百分点。我们在公共数据集上进行了大量实验，DCIRNet表现出更优的性能。实验结果验证了我们方法的有效性，并证明了其在各种透明和反光物体上的强大泛化能力。我们的项目代码可在
https://github.com/hitxraz/DCIRNet查看。
引言
透明和反光物体在日常生活中随处可见，且在工业制造、物流以及家庭服务等多个领域发挥着重要作用。然而，由于它们具有光线穿透和反射的特性，现有的深度传感器难以准确获取其深度信息，这给基于视觉的感知和检测任务带来了很大挑战[1]、[2]。
许多基础任务都依赖于完整的深度信息[3]、[4]，而透明和反光区域缺乏深度信息会导致下游子任务的输入特征不完整，进而影响任务执行。以多指手的灵巧抓取为例[3]、[5]，通过深度补全可以为透明和反光物体提供更完整的深度信息，从而提高灵巧抓取的成功率，如图1所示。在灵巧抓取检测过程中，透明或反光区域缺失的深度信息会导致两种类型的检测失败。对于完全透明的物体，由于深度信息严重缺失，抓取检测会完全失败；而对于部分透明的物体，检测器往往只关注不透明区域，忽略透明部分的干扰，从而导致预测的抓取姿态与透明区域发生冲突。深度补全可以恢复这些区域的缺失深度信息，从而显著提高下游多指灵巧抓取检测任务的成功率。
针对透明和反光物体的深度补全是一项极具挑战性的任务，因为传统的深度感测技术往往无法捕捉到这类物体特有的光学特性所带来的准确深度信息。近年来，基于深度学习的视觉感知技术在诸多领域取得了显著进展[6]、[7]、[8]、[9]。受此推动，使用深度神经网络进行透明和反光物体的深度补全已逐渐成为该领域的主流方法[4]、[10]。许多研究者致力于解决透明和反光表面深度信息缺失的问题，以提高基于视觉的感知系统的可靠性和准确性。Ba等人[11]提出了一种依靠专用设备来获取透明和反光表面几何信息的方法，但这种方法难以适配常见的深度传感器，如RGB-D相机，因此实际应用受限。此外，尽管多视图方法[12]、[13]在深度估计方面展现出良好潜力，但由于通常需要多个视角，其在实际应用中会带来诸多限制，不适合仅有一个视角的场景，大大降低了其在实际深度补全任务中的可行性。
在透明和反光物体的深度补全任务中，多分支网络架构逐渐成为主流方案。然而，目前仍缺乏一种统一且有效的框架来融合RGB图像和深度图等多模态输入，这仍是该领域的重要研究难点。同时，深度惩罚机制在户外自动驾驶场景中被广泛用于优化极度稀疏的深度图[14]，但在以密集深度图作为输入的透明和反光物体深度补全任务中却鲜有应用。在这项工作中，我们致力于解决在单视角RGB-D图像输入条件下透明和反光物体深度信息缺失的问题。为此，我们提出了DCIRNet，这是一种新型的多阶段监督与深度优化模型，能够有效融合RGB和深度信息，提升深度补全的效果。我们的方法旨在利用RGB图像与深度图之间的互补信息，提高深度估计的准确性和稳定性。
本研究的主要贡献如下：
- •
设计了一种全新的多模态特征融合模块。该模块有助于实现RGB和深度信息之间的有效交互，实现信息互补，显著提升网络的特征提取能力。
- •
据我们所知，这是首个成功将深度惩罚机制应用于透明和反光物体深度补全并取得优异效果的研究。通过建立从粗到细的监督机制，该方案显著提升了边界清晰度。
- •
在公共数据集上的全面测试表明，DCIRNet在多项基准测试中均表现优异。实验结果验证了我们方法的有效性，同时也证明了其在各种透明和反光物体上的强大泛化能力，显示出其在实际深度补全任务中的广泛应用潜力。
- •
我们将深度补全框架应用于多指灵巧抓取任务，使得透明和反光物体的抓取成功率提升了44个百分点。
章节节选
透明和反光物体的机器人抓取
目前，抓取检测网络高度依赖深度信息[5]，而透明和反光物体中普遍存在的深度信息缺失问题会大幅降低抓取成功率。在透明和反光物体的机器人抓取任务中，一个核心挑战在于获取完整且准确的深度信息[10]、[15]。现有研究主要致力于从不完整的深度观测数据中恢复相对完整的深度图，而这
方法
所提出的深度补全模型主要由双分支编码结构、多模态融合模块以及深度优化模块组成。双分支编码器用于从RGB图像和深度图中提取特征表示，多模态融合模块则整合这两种模态的信息以获得融合特征，这些特征随后会被送入解码器以生成初步的深度预测结果。深度优化模块则通过迭代方式对预测结果进行优化
数据集
我们在DREDS[16]和TransCG数据集[31]上对所提方法进行了评估。DREDS数据集包含两个子集：DREDS-CatKnown，其中包含来自7个不同材质类别的1801种物体的10万多张RGB-D图像；DREDS-CatNovel则包含60种新类别物体的11,520张图像，用于评估在复杂材质条件下的跨类别泛化能力。TransCG数据集包含来自130个不同背景场景的57,715张RGB-D图像，这些图像是由两台相机拍摄的，该数据集也被进一步划分
局限性与讨论
尽管在多个基准数据集上取得了良好效果，但当前模型的参数量相对较大。此外，迭代的深度惩罚机制也在一定程度上限制了推理速度，这对在资源有限的嵌入式设备上实现实时应用构成了挑战。在未来的工作中，我们将重点考虑模型的轻量化设计，可能的改进方向包括探索更轻量、更高效的Transformer架构，以及设计
结论
在这项工作中，我们提出了一种专为透明和反光物体深度补全设计的双分支多阶段优化监督网络。该模型已在多个公开数据集上进行了广泛测试，实验结果充分证明了我们多模态融合模块以及多阶段深度优化监督策略的显著有效性。我们的方法有效解决了深度补全任务中物体边界模糊的问题
CRediT作者贡献说明
谢广虎：撰写——审稿与编辑，撰写——初稿，方法设计，数据整理。蒋志铎：研究调研，数据整理。李明旭：结果可视化，数据整理。张永龙：数据整理。刘洋：监督指导。谢宗武：监督指导。曹宝石：监督指导。
利益冲突声明
作者们声明以下可能被视为潜在利益冲突的财务利益/个人关系：
刘洋表示，他获得了黑龙江省自然科学基金“优秀青年学者”项目的资金支持，同时还得到了中国青年人才支持计划的资助。其他作者则声明自己不存在任何可能构成利益冲突的财务利益或个人关系
谢广虎于2020年在哈尔滨工业大学获得机械电子工程学士学位，2022年又在该校获得机械工程硕士学位。他目前正在哈尔滨工业大学攻读机械工程博士学位，主要研究方向为利用机器臂和手进行灵巧操作。
谢广虎|蒋志铎|李明旭|张永龙|刘洋|谢宗武|曹宝石
中国黑龙江省哈尔滨市150001，哈尔滨工业大学机器人及系统国家重点实验室
