通过混合几何-语义约束提升自监督多帧深度估计的性能

《Neural Networks》:Boosting Self-Supervised Multi-Frame Depth Estimation with Hybrid Geometric-Semantic Constraints

【字体: 大 中 小 】 时间:2026年04月08日 来源:Neural Networks 6.3

编辑推荐:

  自监督多帧单目深度估计通过融合语义与几何信息提升预测精度,针对低纹理、遮挡和动态区域的一致性问题,提出自适应混合几何-上下文注意力模块与迭代多尺度跨线索融合模块,有效修正成本体积异质性并增强多线索融合效果,在KITTI、Cityscapes等多样化数据集验证其鲁棒性和高泛化能力。

  
Jiaojiao Fang
西安交通大学电子与信息工程学院,中国陕西省西安市西安北路28号,710049

摘要

自监督多帧单目深度估计利用语义外观和几何匹配信息,通过时间线索来提高深度预测的准确性,但在低纹理、遮挡和动态区域中仍面临语义和几何不一致性的挑战。虽然现有方法通常依赖空间上下文来解决这些不一致性,但它们往往忽略了显式的几何先验。为了克服这一限制,我们引入了一个自适应的混合几何和上下文感知注意力模块,该模块通过聚合局部几何和语义信息,并利用表面法线和极线几何来传播一致的邻近成本,从而修正损坏的成本体积。为了补充这一设计,我们提出了一个迭代的多尺度混合解码器,能够有效融合成本体积中编码的多帧和单帧线索。在包括室外驾驶数据集(KITTI、Cityscapes)、室内环境(NYUv2、ScanNet)以及具有挑战性的恶劣天气条件(DENSE)在内的多种真实世界场景中进行的广泛实验,验证了所提出方法的鲁棒性、准确性和强大的泛化能力。

章节片段

引言

单目深度估计旨在从单张RGB图像重建场景的3D结构,这对于3D重建(Luo等人,2020年)、自动驾驶(Geiger等人,2012年)和增强现实(Newcombe等人,2011年)等应用至关重要。虽然像LiDAR或结构光系统这样的专用深度传感器可以提供准确的测量结果,但使用单张RGB相机是一种更具成本效益和可扩展的替代方案。近年来,自监督方法

相关工作

本节概述了自监督单帧和多帧单目深度估计方法的相关最新发展,以及注意力机制在几何学习和多线索信息融合中的作用。此外,我们将所提出的方法与大规模和跨领域3D重建的更广泛领域联系起来,强调了为陆地和水下多视图立体视觉开发的方法如何解决类似的挑战

提出的方法

所提出的框架旨在解决多帧深度估计中的两个核心挑战:(i) 动态或无纹理区域中几何不一致和损坏的匹配成本;(ii) 单帧(单目)和多帧线索之间的融合效果不佳。为了解决这些问题,我们引入了两个基于不同信息路径的协同组件:用于成本体积校正的混合几何-上下文注意力模块,以及用于

实验

在本节中,我们进行了广泛的实验来验证所提出的自监督多帧单目深度估计框架的有效性,该框架集成了几何-上下文感知注意力进行成本聚合和迭代多尺度跨线索融合。我们首先介绍了实现细节和数据集描述。为了全面评估所提出方法的性能和泛化能力,我们采用了双重评估策略。

结论

在本文中,我们提出了一种自监督多帧单目深度估计框架,旨在解决动态场景中的匹配不一致性问题。该方法的核心是一个混合几何-语义聚合模块,它能够迭代地修正损坏的成本体积,在纹理稀疏区域、遮挡和物体运动等具有挑战性的条件下实现鲁棒的深度推断。通过整合表面法线约束、上下文线索和基于注意力的特征

CRediT作者贡献声明

Jiaojiao Fang:撰写——原始草案,方法论。

利益冲突声明

我们特此声明,与本出版物无关的已知利益冲突不存在,且本工作未获得可能影响其结果的任何重大财务支持。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号