通过轻量级时空相关性实现基于视觉的占据网络去闪烁

《Pattern Recognition》:Deflickering vision-based occupancy networks through lightweight spatio-temporal correlation

【字体: 大 中 小 】 时间:2026年09月22日 来源:Pattern Recognition 9.1

编辑推荐:

   •一种用于消除基于视觉的占据网络闪烁现象的即插即用框架。 •利用历史静态和运动线索的稀疏时空相关性。 •用于轻量级占据校正的双重交叉注意力。 •一种用于量化占据闪烁的时间一致性度量。 •在几乎可忽略的计算开销下提高了准确性和一致性。 简介 基于视觉的占据网络(VONs)[1

  

•一种用于消除基于视觉的占据网络闪烁现象的即插即用框架。
•利用历史静态和运动线索的稀疏时空相关性。
•用于轻量级占据校正的双重交叉注意力。
•一种用于量化占据闪烁的时间一致性度量。
•在几乎可忽略的计算开销下提高了准确性和一致性。

简介
基于视觉的占据网络(VONs)[1]、[2] 已成为一种强大的范式,用于从自我中心的多视图图像重建周围环境。通常,VONs 通过学习从 2D 视觉线索到 3D 占据表示的准确映射,将场景表示为结构化的体素网格 [3]。这种方法能够提取几何结构和语义理解,从而促进各种应用,包括室内导航 [4] 和自动驾驶 [5]。

尽管取得了这些进展,但现有 VONs 生成的占据结果通常表现出准确性和视觉上的不完美。一个特别成问题的现象,我们称之为闪烁,表现为构建场景的不稳定性:物体可能会突然消失或出现,并伴有各种伪影。这种缺乏时间一致性和准确性不仅会混淆驾驶控制系统,还会严重降低人驾驶者的视觉体验。闪烁的主要原因包括传感器噪声、遮挡、模型限制和阈值问题。如图 1 所示,被树遮挡的行人提供了不完整的视觉线索,这对预测模型构成了重大挑战。在这种情况下,在逐帧“检测”范式中运行的 SurroundOcc [6] 在第 24 帧未能检测到行人。人物的暂时缺席会在结果展示给用户时产生闪烁效果。

一种缓解时间不一致问题的有效方法是在预测当前占据时纳入历史信息。最近的历史感知 VONs 探索了这一方向,并大致可分为两类:密集的鸟瞰图(BEV)/体素基于的时间融合方法(如 BEVDet4D-Occ [7] 和 ViewFormer [8]),以及稀疏查询或表示基于的方法(如 OPUS [9] 和 SparseOcc [10])。具体来说:
•密集方法(如 BEVDet4D-Occ [7]、FB-Occ [11] 和 ViewFormer [8])通过将历史 BEV 特征或体积表示传播、对齐或聚合到当前帧来进行密集时间建模。这些方法会带来巨大的计算和内存成本,通常限制了可行的时间窗口或空间分辨率。例如,如图 2 所示,BEVDet4D-Occ 产生的推理延迟最大。此外,密集时间聚合可能会在整个空间区域传播冗余或噪声特征,导致动态区域预测不稳定。如图 1 下半部分所示,在 BEVDet4D-Occ 结果中行人显得不清晰,这可能是由于粗粒度的时间融合造成的。
•稀疏方法旨在通过操作稀疏查询 [9] 或表示 [10]、[12] 来减少密集体素融合的复杂性。通过专注于相关潜在区域的计算,SparseOcc 和 OPUS 系列等方法通常实现更低的推理延迟(见图 2)。这些方法通常需要多阶段恢复或解码过程来重建密集占据。例如,SparseOcc 采用基于扩散的传播结合特征金字塔来跨尺度加密非空区域,而 OPUS 采用由粗到细的交叉注意力机制将稀疏查询逐步解码到 3D 空间。这些设计增加了内存使用并降低了体素级准确性。

与现有方法不同,我们探索了一种替代方法:通过轻量级插件模块增强时间一致性,利用历史信息而无需重新设计骨干网络、更改融合策略或从头重新训练基础 VON。具体来说,我们的方法只需要在现有 VON 预测或中间特征之上训练一个轻量级模块,使其既实用又具有广泛适用性。

为此,我们提出了一种名为 OccLinker 的新方法。我们的方法通过区分和提取历史帧中的相关运动和静态线索来改善占据预测,强调轻量级而有效的时空相关性建模。OccLinker 遵循三阶段框架。首先,它通过稀疏分词将历史静态和运动线索转换为查询。其次,引入一个独立的潜在相关性模块,在共享潜在空间中注意地关联当前特征与历史线索。最后,系统生成校正占据,从而改进基础网络的结果。我们的方法提供两个关键优势:
•与最先进(SOTA)VONs 无缝集成以提高预测准确性。当在其基准上集成到 SurroundOcc [6] 时,它将移动物体的 IoU 和时间一致性(如第 4 节所定义)分别提高了 1.63% 和 2.31。同样,当在 Occ3D [3] 基准上与 ViewFormer [8] 结合时,它在 IoU 上实现了 0.24% 的提升,时间一致性提升了 2.87;
•通过轻量级相关性操作实现低成本,以远低于最近历史感知 VONs [7]、[13] 的计算成本超越它们。例如,OPUS-L [9] 需要 10.33 GB 的 GPU 内存和每帧 0.16 秒的推理时间。相比之下,ViewFormer+OccLinker 只需要 4.58 GB 内存和 0.12 秒。值得注意的是,OccLinker 插件本身仅使用 105 MB 内存,仅增加 0.01 秒的延迟。

这两个优势共同将我们的方法推到了通常的准确性 - 效率帕累托前沿之外。如图 2 所示,现有的历史感知方法表现出性能和成本之间明显的权衡。相比之下,我们的方法在与 ViewFormer 结合时,在不牺牲效率的情况下实现了更优的准确性。

总之,本文的贡献有三点:
•我们引入了 OccLinker,一个参数高效的插件,可无缝集成到现有 3D VONs 中,无需对基础网络进行任何修改。它仅产生极小的 GPU 内存开销和可忽略的推理延迟,同时一致地提高预测准确性。
•我们提出了一种轻量级时空相关性学习方法,有效地融合历史线索、稀疏运动特征以及当前静态令牌。这些线索被映射到共享的紧凑潜在空间,通过自适应 3D 占据聚合实现像素到体素的相关性。
•我们设计了一种新的时间一致性度量,以帮助分析各种占据方法的有效性。在 SurroundOcc [6] 和 Occ3D [3] 基准上进行了大量实验,展示了我们方法在保持实时推理效率的同时在准确性方面的优势。

章节片段
3D 场景重建
3D 场景重建技术在自动驾驶中迅速发展。早期工作从显式相机模型中恢复几何结构。El Hazzat 等人 [14] 使用增量运动恢复结构、自标定和光束法平差从未标定视频中重建场景。MonoScene [15] 从单个单目 RGB 图像推断密集几何和语义,并成为将 2D 观测提升到 3D 的参考。基于学习的方法通过

问题形式化
在自动驾驶基于视觉的占据网络(VONs)[2]、[5]、[6] 的背景下,自车通常收集两类数据:(i) 来自环视相机(通常为六个)的多视图 RGB 帧,以相对较低且固定的频率捕获——我们称之为关键帧;(ii) 关键帧之间更高频率的运动信息,如光流或帧差。
如图 3 所示,给定长度为 L 的时间窗口 W,输入包括一个序列

实验设置
基准。我们在两个成熟的占据基准上进行评估:(i) SurroundOcc 基准 [6]、[30],通过在自车坐标系中对聚合的多帧 LiDAR 进行体素化来生成占据标签,并使用手动标注的 3D 边界框来分配语义类别;以及 (ii) Occ3D 基准 [3],通过自动 LiDAR 聚合和网格重建提供 0.4m 分辨率的体素级标签及遮挡状态。这两个基准都覆盖了 1050 个驾驶场景,每个场景最多有

结论
本文介绍了 OccLinker,一个轻量级即插即用模块,无需修改或重新训练基础网络即可减少 VONs 中的时间闪烁。它将历史静态特征和帧差运动线索编码为稀疏令牌,通过双重交叉注意力建模其时空相关性,并将学习到的校正添加到基础占据 logits 中。我们还基于 MOC/SOC 体素变化类别引入了 $\overline{S_m}$ 和 $\overline{S_s}$ 来评估移动和静态

CRediT 作者贡献声明
Fengcheng Yu:撰写 - 原稿,可视化,软件,方法论,形式分析。Haoran Xu:撰写 - 原稿,可视化,方法论,调查,概念化。Canming Xia:撰写 - 审阅与编辑,验证。Ziyang Zong:撰写 - 审阅与编辑,验证。Guang Tan:撰写 - 审阅与编辑,监督,资金获取,概念化。

生成式人工智能及人工智能辅助技术声明
在准备本工作期间,作者使用了 ChatGPT (OpenAI) 和 Claude (Anthropic) 来支持语言编辑,提高可读性,并协助手稿组织。使用这些工具后,作者根据需要审阅和编辑了内容,并对已发表文章的内容负全部责任。

利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系,这些关系可能会影响本论文中报告的工作。

致谢
本研究由深圳市科技计划资助,项目编号 JCYJ20241202130025030。

Fengcheng Yu|Haoran Xu|Canming Xia|Ziyang Zong|Guang Tan
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号