STATIC：表面法线引导的双分支对齐与时间融合方法用于实现一致的视频深度估计

《Pattern Recognition》：STATIC: Surface-normal-guided Two-branch Alignment and Temporal Integration for Consistent Video Depth Estimation

　　**摘要要点**- 提出了一个用于时序一致视频深度估计的两帧框架。- 表面法线变化提供了深度导出的、几何感知的时序引导。- 互补的MS和SNS模块在稳定区域和不稳定区域提升了一致性。**引言**深度估计旨在从RGB图像生成密集像素级深度图，在自动驾驶、AR/VR和机器人等领域至关重要。近期基于Transformer的单目深度估计模型[1][2][3]凭借其强大的泛化能力展现出优异性能，依赖于大规模配对的单视角图像与深度图数据集。在许多应用中，通常需要从连续视频帧获取深度图。单目深度估计可逐帧预测深度，但无法考虑帧间深度关系。如图1(a)所示，逐帧预测存在较低的帧间一致性。为应对这些问题，若干近期方法利用多帧推断的全局上下文增强时序维度上的连接[4][5][6]。通过使用多帧输入，模型从多样场景中学习，提升了帧间一致性。其他方法使用光流[7][8][9]或相机参数[10][11]等显式线索，结合高质量运动估计增强深度预测的时序一致性。然而，每种先前的时序一致性方法都面临重大问题。首先，许多多帧方法往往关注整体的帧间变化而非细致的局部运动，使模型更难捕捉细微运动。此外，同时处理多帧导致低效和高内存消耗。其次，依赖显式运动线索的方法在动态或不规则运动存在时往往不可靠，可能导致时序传播错误。此外，它们通常在场景中应用共享的运动表示，难以以差异化方式处理移动前景区域和相对稳定的背景区域。如图1(b)所示，这一局限性导致前景对象和背景区域在帧间的保持一致性不足。此外，如文献[13]所述，方法可能过度依赖这些额外线索，将运动错误直接传播到深度预测中。为应对这些问题，我们提出了一个新型视频深度估计模型——基于表面法线引导的双分支对齐与时序集成的时序一致视频深度估计方法，称为STATIC。通过使用仅两帧相邻帧，我们的模型避免了多帧融合的沉重开销，并保持时序输入设置轻量。STATIC从表面法线变化构建深度导出的几何感知差异掩码，将几何稳定和不稳定区域分开进行区域特定的时序处理，在推理时无需依赖外部运动先验。这使模型能够在不显式估计相机-物体运动的情况下处理不同类型的帧间深度变化。为获得该引导图，我们使用从深度相关表示导出的表面法线。由于表面法线编码了局部表面朝向和形状，它们提供了识别时序深度预测可能变得不稳定的区域的内部几何线索。因此，差异掩码从帧间方向变化计算得出，而非从外部运动线索推断。通过差异掩码分离区域后，STATIC通过两个专门模块处理几何稳定和不稳定区域。掩码稳定（MS）模块关注帧间表面法线变化小的区域，而表面法线相似度（SNS）模块利用深度-法线特征相似度估计具有较大几何变化的区域中的帧间对应关系。最后，一个细化过程统一了独立学习的稳定和不稳定特征，使STATIC能够提升连续帧间的时序一致性。如图1(c)所示，所提出的STATIC在几何稳定和不稳定区域均提升了空间与时序一致性。我们的方法在广泛使用的数据集上进行了评估：KITTI Eigen split [14]、NYUv2 [15]和MPI-Sintel [16]。STATIC在这些数据集上实现了最先进的性能，在推理时无需依赖外部运动先验，仅使用两帧相邻RGB帧。近期的视频深度稳定、基于基础模型的以及基于扩散的方法在截然不同的监督设置下解决视频深度问题；我们在第4.4节讨论它们与我们设置的关系。**章节摘要***视频深度估计*视频深度估计通过纳入时序一致性和跨帧运动线索扩展了单目深度预测，随着时间推移提升了稳定性和准确性。与单帧方法不同，它捕捉时序依赖关系以减少动态场景中帧间不一致。近期方法利用RNNs [5][17]和光流[18]进行时序对齐。RNN通过记忆将帧间深度预测连接起来，而光流提供显式运动线索用于...*预备知识*表面法线描述场景表面的局部朝向，并提供与深度密切相关的几何信息线索。与对光照变化敏感的RGB值相比，基于深度梯度的法线表示捕捉深度结构的局部变化而非图像外观。尽管该表示可能受深度尺度和相机运动影响，但其在连续帧间的变化提供了识别...的有用几何线索。*实施细节*所提出的方法使用AdamW [28]优化器实现，β参数为0.9和0.999，批量大小为2且每批2帧，权重衰减设为10?2。所有注意力模块使用8个头实现。对于帧对采样，我们在训练和标准评估期间使用两个时序相邻帧作为输入对。在推理期间，STATIC使用相同的两帧公式应用于连续帧对，预测的深度图被评估...*MS模块效果*如表5所示，MS模块主要提升几何稳定区域的时序一致性。由于几何稳定区域占据场景的大部分，移除MS模块会增加无法适当学习时序一致性的区域，导致RMSE增加1.77%。这一结果突显了MS模块在维持整体性能方面的重要性。*SNS模块效果*表5也显示了SNS模块的贡献，该模块提升了...区域的时序一致性。*表面法线真值生成*我们采用监督学习用于表面法线，这需要真值（GT）数据。为简化GT获取，我们通过将Sobel滤波器应用于深度图生成表面法线GT。然而，基于LiDAR的深度图非常稀疏，使Sobel滤波器难以有效应用。为解决这一局限性，我们首先使用Depth Anything V2 [12]生成密集深度图。具体而言，给定密集深度图D，我们使用Sobel滤波器Kx和Ky计算深度梯度，以及...**结论**我们提出了STATIC，一个通过利用表面法线的内在几何线索提升时序一致性的视频深度估计框架。与依赖外部运动先验或沉重多帧融合的先前提法不同，STATIC仅使用两帧相邻帧，并分别学习几何稳定和不稳定区域。所提出的差异掩码从表面法线变化识别具有明显帧间几何变化的区域，而MS和SNS模块...**作者贡献声明****Sunghun Yang：** 写作 – 审阅与编辑，写作 – 原稿撰写，可视化，验证，监督，软件，项目管理，方法论，形式分析，概念化。**Minhyeok Lee：** 写作 – 审阅与编辑，验证，方法论，数据整理，概念化。**Suhwan Cho：** 验证，方法论，概念化。**Jungho Lee：** 写作 – 审阅与编辑，验证。**Sangyoun Lee：** 写作 – 审阅与编辑，写作 – 原稿撰写，监督，概念化。**利益冲突声明**作者声明不存在已知的竞争财务利益或个人关系可能影响本文中报告的工作。**致谢**本工作得到韩国产业技术规划评价院（KEIT）资助的韩国政府（MOTIE）拨款支持（编号：RS-2024-00442120，开发能够在夜间和恶劣天气条件下稳健识别异常和危险情况与行为的AI技术），以及韩国研究基金会（NRF）资助的韩国政府（MSIT）拨款支持（编号：RS-2024-00423362）。**作者简介****Sunghun Yang**自2024年起是延世大学电气与电子工程学院的硕士/博士一体制学生。他是一名计算机视觉与机器学习/深度学习研究者，专注于自动驾驶。他当前的研究兴趣包括视觉-语言技术的各个方面，如基于推理的视频分割。