《TRENDS IN FOOD SCIENCE & TECHNOLOGY》:Disparity Arbiter: Pseudo Label Mining with Student Deficiency Awareness
编辑推荐:
•设计一种与黑盒立体匹配方法兼容的精确视差置信度估计网络。•提出一种基于局部视差误差排序的置信度建模方法,用于训练该置信度网络。•构建一个视差伪标签生成框架,能够从质量相对较低的数据中挖掘出潜在的视差候选值。•针对自监督立体匹配以及有监督方法之间的视差冲突解决问题,开展全面的定量
- •
设计一种与黑盒立体匹配方法兼容的精确视差置信度估计网络。
- •
提出一种基于局部视差误差排序的置信度建模方法,用于训练该置信度网络。
- •
构建一个视差伪标签生成框架,能够从质量相对较低的数据中挖掘出潜在的视差候选值。
- •
针对自监督立体匹配以及有监督方法之间的视差冲突解决问题,开展全面的定量和定性实验。
引言
度量型深度感知是自动驾驶、机器人技术以及增强现实领域的重要基础[1]、[2]、[3]。在现有的方法中,立体匹配——这一与人类双目视觉类似的过程——因其成本效益高而被广泛采用[4]、[5]。自监督立体匹配学习框架主要利用光度一致性或伪标签。虽然光度方法在存在立体模糊的区域(例如重复图案和无纹理区域)中会产生错误的监督信号[6]、[7]、[8],但基于伪标签的方法由于能够有效保留预训练网络的先验知识而更为突出。
基于伪标签的方法通常会从教师网络中选取预测结果作为伪视差标签,用以监督学生网络。尽管人们已经付出了大量努力来优化教师网络的训练策略[9],但后续的伪标签生成框架仍然较为粗糙。除了传统的左右视差一致性检查方法外[8],最近的研究还引入了额外的置信度模块,这些模块仅计算教师网络的视差置信度,然后通过带阈值超参数的二进制过滤过程来剔除错误的伪标签[10]、[11]、[12]。
然而,这种仅关注教师网络视差置信度的单方面策略不可避免地会引入标签噪声,包括那些学生网络给出相似估计时的冗余标签,甚至是学生网络给出更准确视差结果时的错误标签。此外,由于将视差置信度与实际误差分布严格对齐是一项难以实现的任务[13],那些超过阈值的教师网络视差并不一定可靠,而那些被排除在外的视差仍可能具有训练价值[14]。因此,我们致力于开发一种双向策略,同时考虑教师网络和学生网络的置信度,仅在学生网络存在缺陷的区域中筛选出有用的教师网络视差,如图1(a)所示。
现有基于伪标签的方法之所以局限于这种单方面策略,是因为它们的置信度估计方法依赖于白盒立体匹配技术[15],在这种技术中,诸如成本体这样的中间数据结构是可访问的[13]。虽然这些内部数据能提供额外的匹配线索,但置信度估计过程与具体的视差推断过程紧密相连,且输出值容易受到网络权重的影响。由于教师网络和学生网络通常具有不同的权重甚至网络架构,它们的置信度输出在数值上并不一致,因此无法直接进行比较。所以,要实现双向策略,就需要:(1)独立于中间立体数据来进行置信度估计;(2)确保教师网络和学生网络的视差置信度在数值上保持一致。
为此,我们提出了Disparity Arbiter(DispArbiter),这是一种具有学生网络缺陷识别功能的伪视差标签挖掘方法。DispArbiter由视差-深度一致性网络(DDCN)、一个即插即用的置信度估计器,以及冲突仲裁框架(CAF)——一种简单而有效的仲裁机制——组成。具体而言,DDCN通过评估视差图与相对深度图之间的局部模式相似性来估计视差置信度。这种独立于中间立体数据的特点使得它能够在黑盒立体匹配系统中使用[16]。此外,我们还提出了一种新的局部误差排序(LER)损失函数,该函数能够根据相邻像素的视差误差排序来学习置信度估计。作为补充,CAF采用稀疏嵌入策略,根据学生网络的局部模式来估计存在冲突的教师网络视差的置信度,从而提升数值一致性。这使得教师网络和学生网络的视差置信度可以直接进行比较,进而有选择地筛选出那些学生网络视差存在差异的伪标签,如图1(b)所示。
我们在两种具有挑战性的场景下进行了实验,以验证DispArbiter在识别学生网络缺陷方面的通用性:(1)通过解决具有当前最佳视差精度的有监督立体匹配模型之间的冲突,DispArbiter能够得到更准确的视差结果,并在KITTI立体匹配基准测试中排名第一。据我们所知,这是首次尝试用相对精度较低的视差图来优化当前最佳的视差图。(2)通过使用经过稀疏化的决策式视差扩散立体匹配(D3Stereo)从噪声极大的成本体中获取稀疏的教师网络视差,基于DispArbiter获得的伪标签进行自监督学习后,其在Middlebury数据集上的精度在所有自监督方法中达到了当前最佳水平。值得注意的是,尽管DispArbiter的输出被称为伪标签,但实际上该框架本质上是一种用于判断任意两幅视差图优劣的工具。
章节摘要
视差置信度估计
传统的置信度估计方法主要依赖于与立体匹配流程相关的数据,包括立体图像、匹配成本体以及估算出的视差值。Peak Ratio Naive[17]和Maximum Margin[18]方法以成本体作为置信度信息的来源,根据成本最小值之间的差异或比率来估计置信度。置信度卷积神经网络(CNN)[19]则首次将卷积神经网络引入这一研究领域,用于估计视差置信度。
方法论
如图2所示,所提出的DispArbiter框架由DDCN和CAF两部分组成。DDCN是DispArbiter的核心组件,因为它能够与黑盒立体匹配方法兼容。第3.1节首先详细介绍DDCN的架构以及与之相关的局部误差降低(LER)损失函数。接着,第3.2节介绍CAF,该机制采用稀疏嵌入策略来确保置信度数值的一致性。最后,第3.3节描述了如何生成教师网络视差。
实现细节
在这项工作中,我们选用之前开发的ViTAStereo[37]作为学生网络,并将我们的自监督框架命名为Self-DispArbiter。ViTAStereo能够利用经过预训练的Depth Anything 3[32]模型来完成立体匹配任务。因此,通过部署一个独立的密集预测Transformer[38]模块,就可以高效地获取相对深度图。在ViTAStereo的自监督训练过程中,DDCN以及Depth Anything V3模型的权重都是被冻结的。
结论
在这项工作中,我们提出了DispArbiter这一新型框架,它能够具备学生网络缺陷识别功能,从而从教师网络视差中筛选出有用的伪视差标签;同时,我们还结合了一种经过稀疏化的D3Stereo方法,用于生成既稀疏又高度精确的教师网络视差。通过解决当前最佳立体匹配方法之间的视差冲突,DispArbiter能够从质量较差的教师网络视差中提取出更准确的伪视差,进而帮助学生网络得到更好的结果。DispArbiter与其他方法的结合使用……
CRediT作者贡献说明
Chuang-Wei Liu:撰写——初稿、方法论、实验分析、正式分析、数据整理、概念构思。Mengtan Zhang:可视化、验证、方法论。Nachuan Ma:方法论、实验分析。Jin Wu:方法论、实验分析。Hanli Wang:撰写——审阅与编辑、资源准备、项目管理。Qijun Chen:方法论。Rui Fan:撰写——审阅与编辑、监督、项目管理、方法论、资金筹集、概念构思。
利益冲突声明
作者声明,他们不存在任何可能影响本文研究结果的已知财务利益关系或个人关系。
Chuang-Wei Liu|Mengtan Zhang|Nachuan Ma|Jin Wu|Hanli Wang|Qijun Chen|Rui Fan