基于多模态伪标签不确定性的半监督消失点检测

《Pattern Recognition Letters》：Semi-supervised Vanishing Point Detection based on Uncertainty of Multi-modal Pseudo-Labels

　　

• •
  基于不确定性的伪标签选择，用于筛选高质量样本。
• •
  融合RGB与光照不变的表面法线（SN）图，以增强复杂场景下的消失点检测。
• •
  基于图块的强增强策略提升热图一致性，解决像素级消失点检测难题。
• •
  构建KITTI-VP数据集，支持半监督消失点检测。

引言

消失点（VP）标识了延伸的平行道路边界的交点，对于理解道路方向和三维场景至关重要。传统消失点检测方法依赖于线段[1]、颜色[2]或纹理滤波器[3]、[4]，但在光照不均、低图像分辨率或复杂环境下存在不稳定性；即使是基于纹理分析的方法[5]也计算代价高昂。

近期的深度学习消失点检测器[6]将几何工具（如Hough变换）与监督学习相结合，但仅限于具有清晰几何线索的场景。RGB数据能很好地捕捉外观变化，但在强光条件下失效。相比之下，由深度数据衍生的表面法线（SN）图反映表面朝向，不受光照影响[7]。摄像头前方的路面局部为平面，其表面法线近似恒定。由于消失点是道路平行边界的投影汇聚点，其位置与道路平面的三维朝向在几何上相关联；SN图以光照不变的方式编码了这种朝向，因此为复杂光照条件下的鲁棒消失点定位提供了互补线索。

一个关键挑战是鲁棒的消失点检测需要大规模标注数据集。半监督学习（SSL）提供了一种解决方案：一致性正则化[8]、[9]或伪标签过滤[10]、[11]等方法利用未标注数据，而两者结合[12]可进一步提升性能。然而，现有的SSL方法主要面向分类任务[13]，其中预测置信度作为伪标签质量的代理。这一假设在消失点检测中并不成立，因为置信度仅反映热图中存在消失点的可能性，而非其定位的准确性。此外，像素级消失点检测仍未被传统SSL策略充分解决。我们此前的工作CLVP [14]通过对比学习和π模型推进了半监督消失点检测，实现了自监督特征提取（无需人工标注）以及针对非结构化和结构化道路的多层级/全局-局部特征融合。然而，该方法存在两个关键局限：第一，它依赖对比学习得到的特征生成伪标签，但缺乏评估和过滤其质量的机制，从而引入了潜在的训练噪声；第二，其单一RGB输入限制了在严重遮挡或强光等极端场景下的检测鲁棒性。

为了解决这些局限，我们提出了一种带有不确定性估计模块的多模态半监督消失点检测方法，其核心设计在于应对伪标签噪声问题。与置信度不同，我们的方法通过评估多个增强视图之间的一致性来量化伪标签的预测不确定性，从而能够有效地选择可靠的伪标签用于训练。此外，为增强复杂环境（如强光或阴影）中的鲁棒性，我们将RGB图像与从深度数据中获取的光照不变表面法线（SN）图[7]进行融合。在半监督框架方面，我们的方法基于Mean Teacher框架[15]（其噪声抑制能力优于π模型），并辅以基于图块的操作策略。该操作在全局（整幅图像）和局部（图块）两个层级上加强了一致性正则化，直接应对像素级消失点检测挑战。我们的方法在KITTI-VP（我们的KITTI扩展[16]）和CULane [17]上优于传统的、有监督的和半监督的深度学习的方法。

各章节摘要

道路消失点检测

传统消失点方法使用线和边几何[18]、[19]、[20]或纹理投票[5]、[21]，但纹理方向估计对光照变化敏感。基于深度学习的方法如[22]、[23]显著提高了精度，但通常采用完全监督的方式运行。近期的URVP [24]和基于SSL的检测器（如使用热图回归[25]的CLVP [14]）展示了潜力。但其单一RGB输入限制了在强光或遮挡条件下的性能。我们的

方法论

对于半监督消失点检测，关键在于利用未标注数据以提高泛化能力、减轻过拟合并增强鲁棒性。我们的框架建立在Mean Teacher范式[15]之上，包含三个主要贡献：一种新颖的基于不确定性的伪标签过滤器、一种基于图块的增强策略以及多模态RGB-SN融合。整体流程如图1所示。

我们将消失点检测建模为热图回归任务：通过二维高斯函数生成

数据集

我们使用KITTI-VP，一个包含12,000张结构化道路图像的数据集，源自KITTI [16]。为防止数据泄漏，我们确保同一视频序列的图像不会被划分到训练集和测试集之间。数据集被划分为10,000个无监督样本、1,000个有监督样本和1,000个测试样本。消失点通过LabelMe [37]进行标注。该数据集包含多种场景：约60%为直路、30%为弯路和10%为交叉路口；其中约20%的图像拍摄于

结论

本研究专注于复杂结构化道路上精确的消失点（VP）检测，通过一种基于多模态伪标签不确定性的半监督消失点检测方法来应对繁重的人工标注问题。我们框架的有效性体现在三个关键设计中：(1) 通过预测热图和增强样本的多维不确定性评估伪标签质量，以选择可靠的表示；(2) 融合RGB和表面法线（SN）数据以增强检测

CRediT作者贡献声明

Yukun Wang（王育坤）：撰写 – 审阅与编辑、撰写 – 原稿、可视化、软件、项目管理、方法论、调查、形式化分析、数据整理、概念化。Shuo Gu（顾硕）：撰写 – 审阅与编辑、项目管理、资金获取。Zhiyuan Zhang（张致远）：撰写 – 审阅与编辑、验证、监督。Huajun Liu（刘华军）：撰写 – 审阅与编辑、概念化。Hui Kong（孔辉）：撰写 – 审阅与编辑、监督、资源、项目管理、资金

利益冲突声明

作者声明不存在已知的可能影响本文所报告工作的竞争财务利益或个人关系。

Yukun Wang | Shuo Gu | Zhiyuan Zhang | Huajun Liu | Hui Kong