基于多分支协同优化的动态场景自监督单目深度估计

《Pattern Recognition》：Dynamic scene self-supervised monocular depth estimation based on multi-branch collaborative optimization

　　

• •
  MDL-Depth：用于自监督动态深度的统一轻量级架构。
• •
  通过光流进行显式运动补偿，高效对齐动态对象。
• •
  自适应损失掩码过滤噪声，显著提高训练稳定性。
• •
  知识蒸馏以零推理开销提升性能。

引言

精确的 3D 环境感知是现代 AI 系统的核心使能技术，为自动驾驶、3D 重建 [1] 和增强现实（AR）等应用中的空间理解提供了不可或缺的基础。在各种方法中，单目深度估计（MDE）由于其硬件要求最小、性价比高且适用性广泛 [2] 而仍然具有极高的吸引力。MDE 旨在从单个 2D 图像中解码密集的深度信息，高效重建 3D 世界。然而，传统监督方法严重依赖大规模、像素级精确的真值深度数据。数据收集和标注的高成本严重限制了深度学习模型在多样化现实场景中的快速部署和迭代。

为了克服这种数据依赖，自监督 MDE 已成为主流范式。该方法使用未标记的单目视频流，通过视图合成的代理任务生成监督信号 [3]。其基本原理涉及联合优化深度和位姿网络：使用预测的深度和相机位姿将相邻帧重新投影到目标视图上，通过最小化重建图像与原始图像之间的光度一致性误差来实现端到端训练。虽然最近的研究通过知识蒸馏 [4] 等策略推进了性能，并专注于为边缘部署设计轻量级架构 [5]，但仍存在一个关键局限性。

核心瓶颈源于固有的“静态世界假设”。在城市交通等动态环境中，独立移动的对象（如车辆和行人）无处不在。这些动态对象从根本上破坏了基于相机运动的静态几何约束，将错误的监督信号引入光度损失函数。这不仅损害了对动态对象的准确深度预测，还会在遮挡的背景区域产生伪影，严重限制了模型的可靠性。

为了应对动态场景，演化出两种主要策略：多帧输入和显式动态建模。多帧输入通过融合时间信息提供丰富的几何线索来增强鲁棒性（例如，DualRefine [6]）。同时，对效率的需求推动了 Lite-Mono [7] 等轻量级架构的发展。显式动态建模通常涉及使用光流进行数据级补偿，以检测和抵消独立对象的运动（例如，DS-Depth [8] 和 ManyDepth2 [9] 构建鲁棒的代价体）。动态感知多帧模型提高了鲁棒性，但它们通常依赖于重型代价体或 Transformer 骨干网络，且很少公开可以独立部署的单帧路径；相反，轻量级单帧网络降低了成本，但无法利用时间线索来处理独立移动的对象。因此，先前的尝试将数据级运动补偿、损失级动态掩码和跨分支蒸馏视为独立的附加组件，而不是单个共享权重网络的一部分。因此，我们针对的差距不仅仅是结合光流对齐、动态掩码和知识蒸馏，而是将它们统一在单个共享权重网络中，以便轻量级单帧分支可以在没有额外推理成本的情况下从多帧教师模型中继承动态场景的鲁棒性。

为了应对这些挑战，我们提出了一个面向动态场景的多分支协同优化轻量级自监督 MDE 框架。而不是将这些组件堆叠成重型流水线，我们的关键想法是在单个共享权重网络内进行协作式多层优化，其中三种机制相互增强：光流特征对齐在数据级消除独立对象运动，使得基于重投影误差的动态掩码接收更干净的残差，并在损失级产生更可靠的掩码；由此产生的更干净的多帧监督随后作为更强的教师模型用于跨分支蒸馏，使单帧分支能够继承动态场景的鲁棒性。关于部署，单帧分支是我们针对资源受限实时应用的主要目标，而多帧分支主要作为更高精度的教师模型，以及当有时间输入时的选项。图 1 展示了定性结果，表明我们的方法比基线方法更能有效处理移动对象。本文的主要创新和贡献如下：

• •
  提出一种轻量级统一框架。通过共享权重的双分支架构，协同优化单帧和多帧深度估计。该设计利用从多帧分支到单帧分支的跨分支知识蒸馏，在不增加推理成本的情况下显著提高了单帧模型的准确性和效率。
• •
  构建显式运动补偿模块。采用光流网络（GMFlow [10]）来精确捕获像素级运动，并对多帧特征执行显式扭曲操作。该方法有效地对齐了动态对象的特征视角，在特征融合之前从根本上解决了运动错位问题。
• •
  设计运动感知损失函数。通过分析帧间重投影误差，生成自适应动态掩码，以识别和掩码包含移动对象的区域。该策略消除了损失计算中的不可靠梯度信号，显著提高了移动对象和静态背景的重建精度。

章节摘要

相关工作

本节系统地回顾了自监督 MDE 的相关研究，分析了在单帧、多帧和多分支协同优化三个维度上的发展、主流方法及其各自的权衡。该分析澄清了研究背景，并突出了当前论文的贡献。

方法论

本文提出了一种针对动态场景的轻量级自监督深度估计框架。如图 2 所示，它采用统一的双分支架构，以三个连续帧 $\{I_{t?1},I_t,I_{t+1}\}$ 作为输入，同时处理单帧和多帧估计。一个共享的轻量级编码器（$\text{轻量级编码器}$），其权重完全由单帧学生分支和多帧教师分支共享，提取一致的特征 $\{F_{t?1},F_t,F_{t+1}\}$，减少内存使用

实验

为了全面客观地评估本文提出的轻量级多帧动态场景深度估计框架，我们在多个权威公共数据集上进行了严格的实验研究。

结论

为了解决动态场景自监督 MDE 中平衡精度和轻量级效率的挑战，本文提出了 MDL-Depth——一个基于多分支协同优化的动态场景轻量级自监督 MDE 框架。通过统一的双分支架构，该方法系统地集成了三个核心机制：(1) 基于光流的特征对齐，以在数据级补偿对象运动；(2) 基于

CRediT 作者贡献声明

刘佳：监督、概念化、初稿撰写。卢国瑞：方法论、软件、验证、初稿撰写。王一洋：调查、数据整理、正式分析、可视化。魏丽娜：资金获取、审稿与编辑。陈大鹏：资金获取、资源、审稿与编辑、项目管理。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。

刘佳|卢国瑞|王一洋|魏丽娜|陈大鹏