ObsRank-GC：一种用于驾驶场景中冻结单目深度预测的事后局部风险层

《Neurocomputing》：ObsRank-GC: A post-hoc local risk layer for frozen monocular depth prediction in driving scenes

　　

• •
  ObsRank-GC 对冻结预测器的输出进行局部深度风险排序。
• •
  几何条件查询将深度与图像边界线索相结合。
• •
  排序器在 $$ 配置下仅使用 0.023 M 参数和 0.224 GMACs。
• •
  受控研究检验采样、描述子冗余以及训练来源。
• •
  实验涵盖冻结扩散输出和保留深度的 BEV 几何结构。

引言

单目深度预测能够从单个摄像头提供稠密几何线索，是驾驶场景感知中的常见组件。近期的预测器通过自监督学习、轻量化混合架构和大规模预训练得到了改进 [1], [2], [3], [4]。尽管平均精度较高，但在图像退化、恶劣天气、夜间场景或跨数据集迁移时仍会出现局部失效。在感知流水线中，下游模块可能将预测的深度图作为几何信息使用，即使部分像素严重不可靠。

本文考虑一种冻结的单目深度预测器，其最终深度或视差图暴露给下游可靠性层。预测器仅运行一次，并通过其最终输出进行访问。可靠性层从该输出和可用的图像证据中评估残余的局部深度风险并对其进行排序。

在此约束下，可用的线索张量为 $$：$$ 是预测器输出的近大几何线索，$$ 是低成本 RGB 衍生的外观边界证据，$$ 是由输出的几何结构诱发的边界结构。这些线索概括了局部结构失效，如边界溢流、纹理复制伪影、悬浮深度边缘以及外观与几何冲突。其信息含量为局部的：全局度量尺度漂移、语义错误、时序不一致和多传感器范围不匹配需要额外的证据通道。这一区别反映在本局部最终输出线索空间的操作范围内。

ObsRank-GC 是一种适用于此冻结输出场景的紧凑排序器。它从归一化预测几何、图像边缘和深度梯度结构构建线索张量。一个小型编码器-解码器校准线索状态并查询局部几何以产生稠密风险。线索扰动仅在训练期间使用，不引入额外的测试时证据或深度模型前向传播。在冻结预测器之后，排序器为可靠性评分增加 0.224 GMACs。

主要贡献如下：

• 1.
  我们提出 ObsRank-GC，一种紧凑的几何条件排序器，通过线索状态校准和局部隐式风险查询来聚合最终输出线索张量。
• 2.
  我们定义了排序器所采用的冻结输出风险排序协议：目标预测器保持不变，可靠性层仅使用输出的深度和 RGB 衍生的边界证据。
• 3.
  我们在退化、数据集迁移和夜间场景下评估五种冻结预测器，并进行受控分析，涵盖采样、二阶线索、训练来源、扩散目标、效率以及保留深度行为。

本文其余部分组织如下。第 3 节定义了事后风险排序协议、指标、部署一致的线索构建以及 ObsRank-GC 排序器。第 4 节描述了评估协议和实验结果。第 5 节讨论了适用范围、部署假设和可能的特定任务应用。

章节摘要

单目深度预测与鲁棒性

单目深度预测已从有监督的多尺度和序数回归网络发展到基于立体或单目视频的自监督训练 [1], [5], [6], [7]。近期的预测器结合了高效卷积设计、Transformer 特征和大规模预训练 [2], [3], [4], [8]。面向应用的研究也涉及综述级组织、自监督训练、量化部署和图卷积深度估计 [9], [10], [11], [12]。近期

问题设置与指标

设 $$ 为 RGB 图像，$$ 为冻结的单目深度预测器。预测器输出原生深度或视差估计 $$。可部署的事后排序器接收由 $$ 构建的线索，记为 $$。它预测一个稠密像素风险图$$$$较大的值表示预测深度误差较高的像素。排序器针对帧内局部可靠性的排序进行训练。真值深度定义了训练目标和离线评估指标。推理使用从冻结

实验与结果

表 2 定义了接口和指标范围。

冻结输出接口下的解读

预测器家族与线索证据。

边界溢流、纹理复制伪影和物体边缘错误可能在 $$ 中留下可观测的痕迹。但在低光照或域迁移条件下，平滑且局部一致的预测也可能是错误的：仅凭 $$ 与 $$ 之间的一致性并不能确立深度准确性。此类歧义促使需要补充语义、时序和范围证据。粗粒度语义标记、地平线或地面平面一致性、时序运动线索和稀疏范围锚点提供了不同的

结论

我们研究了冻结单目深度预测在预测器输出最终深度图之后的事后局部风险排序。ObsRank-GC 是一种在最终输出线索接口下运行的紧凑几何条件排序器：它使用输出的深度/视差图、RGB 衍生的边界证据以及冻结预测所诱发的几何梯度结构，不修改目标深度模型，也不要求额外的深度预测器前向传播。在 KITTI-C S1–S5 上，

CRediT 作者贡献声明

姜海燕：写作 – 审阅与编辑、可视化、监督、数据管理。钟彦鹏：写作 – 初稿、验证、软件、方法论、形式化分析。王彤：验证、资源、调查。魏翔宇：写作 – 审阅与编辑、可视化、形式化分析。杜中野：写作 – 审阅与编辑、资源、调查。宋清军：写作 – 审阅与编辑、监督、项目管理、概念化。

资助

本工作得到国家自然科学基金 (52174145)、山东省重点研发计划 (2024TSGC0655) 和泰安市科技中小企业创新能力提升项目 (2024TATSGC002) 的资助。

利益冲突声明

作者声明不存在已知的可能影响本文报告工作的竞争性经济利益或个人关系。

姜海燕 现为山东科技大学副教授。她的研究兴趣包括计算机视觉、模式识别、智能控制、机器人和智能感知。

姜海燕|钟彦鹏|王彤|魏翔宇|杜中野|宋清军