将极化现象与立体声技术相结合:通过极化线索实现实时立体声匹配
《Neurocomputing》:Marrying polarization to stereo: Real-time stereo matching via polarimetric cues
【字体:
大
中
小
】
时间:2026年04月21日
来源:Neurocomputing 6.5
编辑推荐:
偏振融合立体匹配网络PF-IGEV通过引入CAGWC模块优化上下文感知分组相关性计算,结合合成偏振-KITTI数据集解决弱纹理表面匹配难题,在KITTI 2012基准上达到1.01%的no-c匹配误差和1.34%的all误差,实时性达55ms。
周俊卓|邹俊|邱晔|刘志和|郝佳|李文莉|余一婷
浙江省高性能MEMS芯片尺度制造技术重点实验室,宁波市光学微系统与应用技术重点实验室,西北工业大学宁波研究院,中国浙江省宁波市清义路218号,315103
摘要
立体匹配对于双目3D表面重建至关重要。现有的立体匹配算法主要依赖于表面纹理特征来测量目标像素和候选像素之间的相关性,这在高反射率和纹理较弱的表面上存在挑战。先前的研究表明,偏振成像可以消除高光并增强表面纹理特征。为了实现偏振融合网络和立体匹配网络之间的高度协同合作,充分利用偏振信息进行立体匹配任务,本研究构建了一个端到端的基于偏振融合的立体匹配网络PF-IGEV:1)首先,我们建立了实时立体匹配网络CA-IGEV,创新性地引入了一个基于上下文的组相关计算模块(CAGWC)。通过在相关体积计算过程中加入显式的上下文感知机制,该模块显著提高了遮挡区域和纹理较弱区域的鲁棒性。2)使用风格迁移网络构建了一个具有深度真实值的合成偏振双目图像数据集,有效缓解了现实世界中偏振双目数据的稀缺问题,并用于PF-IGEV网络的监督训练。实验结果表明,与其他实时立体匹配算法相比,CA-IGEV在KITTI基准测试中取得了领先的准确率。特别是在KITTI 2012基准测试中,它的3-noc和3-all错误率分别为1.01%和1.34%,平均运行时间仅为55毫秒。在真实世界的偏振双目图像实验中,PF-IGEV表现出更优越的匹配视觉质量和更少的错误匹配,证实了结合偏振信息可以有效提高立体匹配的准确性。源代码可在
https://github.com/FiredTable/Polar3D公开获取。
引言
双目立体视觉通过从两个空间分离的视角捕获场景的同步图像来获取绝对深度信息,其中深度是通过对应图像点之间的视差估计计算得出的。与结构从运动(SfM)、编码结构光、飞行时间(ToF)和激光三角测量等方法相比,双目立体视觉具有较低硬件成本、能够实现原生相机分辨率以及适应动态场景的潜力。因此,它已成为一种主流的3D成像技术,并广泛应用于自动驾驶(例如特斯拉的纯视觉Autopilot解决方案)、工业检测、机器人导航和消费电子(例如智能手机中的双摄像头设置用于深度计算)等领域(图1)。
双目立体视觉技术的主要工作流程包括相机校准、图像采集、极线校正、立体匹配和3D重建。在这些步骤中,立体匹配不仅是核心,也是最具挑战性的部分。立体匹配或视差估计依赖于基于表面纹理特征测量相应像素之间的光度相关性以建立对应关系。然而,这种对纹理信息的依赖使得传统立体匹配算法在高度反射率和纹理较弱的表面上效果不佳,因为镜面反射会掩盖表面细节或纹理变化不足,导致无法可靠地识别对应关系。
偏振成像是一种新兴的光电成像技术,可以可视化反射光的偏振特性。相关研究[9]表明,从表面反射的光的镜面和漫反射成分遵循不同的偏振状态形成机制。因此,偏振可以作为区分这两种光成分的新物理维度,从而抑制镜面反射成分。另一方面,偏振对目标表面的微观结构具有很高的敏感性。即使表面上微小的形态变化也会引起反射光偏振状态的相对显著变化,这有助于增强纹理较弱表面上的特征。因此,偏振成像有望克服传统双目立体视觉中高反射率和纹理较弱表面所带来的挑战。
尽管最先进的立体匹配方法能够达到很高的准确率,但它们通常以高计算复杂性和长推理时间为代价,这限制了它们在自动驾驶和机器人导航等实时场景中的应用。相比之下,我们的工作优先考虑计算效率和实时性能,同时保持竞争性的准确率。所提出的方法并不旨在直接与高精度但速度较慢的方法竞争;相反,它在准确率和速度之间提供了最佳平衡,特别针对对实时处理要求严格的应用场景。
因此,本文研究了一种基于偏振融合的立体匹配技术,以解决具有高反射率和纹理较弱表面的场景中的实时立体匹配问题。 首先,使用预训练的偏振融合网络生成融合图像,这些图像结合了可见光模态和偏振度(DoP)模态的互补信息。随后,将双目融合图像输入到迭代立体匹配网络CA-IGEV中。该网络利用预训练的DepthAnythingV2模型提取丰富的单目先验知识,使用提出的CAGWC模块构建基于上下文的匹配成本体积,并通过成本聚合和递归迭代最终细化初始视差图。本工作的主要贡献如下:
•我们提出了一个轻量级的、可学习的基于上下文的组相关(CAGWC)模块。它在保持实时计算效率的同时提高了立体匹配的准确性。
•我们提出了一个端到端的基于偏振融合的立体匹配网络,称为PF-IGEV。该网络实现了图像融合和立体匹配任务之间的紧密协作,有效利用了偏振模态的详细纹理信息来提高匹配性能。
•基于自构建的道路场景偏振数据集,我们训练了一个风格迁移网络来学习可见强度到偏振度的映射。这有助于创建偏振KITTI数据集,从而解决了端到端基于偏振融合的立体匹配网络的监督训练问题。
本文的其余部分组织如下。第2节回顾了基于偏振融合的立体视觉和深度立体匹配技术的最新进展。第3节详细描述了所提出的立体匹配网络的架构和技术组件。第4节描述了数据集、评估指标和实验设置,并展示了在不同基准测试中的定性和定量结果。它还展示了我们的PF-IGEV在真实世界偏振双目图像上的性能。第5节进行了消融研究,以验证所提出框架中每个模块的有效性。最后,第6节讨论并总结了本工作的贡献。
节选
基于深度学习的立体匹配网络
立体匹配的核心挑战在于在左右图像的像素之间建立密集的对应关系。传统方法如半全局块匹配(SGBM)[10]依赖于手工制作的特征和半全局优化,在纹理较弱区域、重复纹理和遮挡等具有挑战性的区域表现不佳。深度学习的进步推动了这一领域的范式转变。
早期端到端架构的局限性和演变
整体框架
整体框架如图2所示。首先,将校准后的左右强度图像和相应的偏振度图像输入到偏振图像融合网络中。该网络生成结合了偏振和强度两种模态互补信息的融合左右图像。随后,将这些融合图像输入到立体匹配网络以生成视差图。
数据集和评估指标
自建数据集。我们使用索尼IMX250 MZR CMOS偏振传感芯片构建了Roadscene-Polarization-Dataset(RPD)。RPD包含440组偏振图像数据,涵盖了不同光照条件和成像视角下的图像对,无需额外的配准。随后,我们使用RPD训练了风格迁移网络Pix2pix1[25]来学习从可见强度到偏振度的转换规则
消融研究
本文提出的CA-IGEV网络使用DepthAnythingV2作为特征提取器(仅冻结其编码器,而解码器和侧调网络参与完整训练),并引入了CAGWC模块来构建成本体积。为了系统地评估每个模块的独立贡献并探索预训练知识转移的最佳策略,设计了5种变体配置:(1)基础配置:使用MobileNetV2作为特征提取器,GWC作为讨论
合成偏振双目数据集显示出领域差距。目前,偏振立体匹配网络的训练主要受到具有深度真实值的偏振双目基准数据集可用性的限制。通过风格迁移网络Pix2pix生成的Polarized-KITTI数据集本质上是从纹理到纹理的学习统计映射,而不是基于物理的Stokes参数建模。这种数据驱动的方法引入了固有的泛化能力
CRediT作者贡献声明
周俊卓:撰写 – 审稿与编辑,撰写 – 原始草稿,可视化,验证,软件,方法论,调查,形式分析,数据整理,概念化。邹俊:形式分析,数据整理,概念化。邱晔:调查,形式分析,数据整理,概念化。刘志和:调查,形式分析,数据整理,概念化。郝佳:可视化,验证。李文莉:项目管理,资金获取。余一婷:
利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。
周俊卓于2021年获得中国南京理工大学机械工程学院的学士学位。他目前正在中国西安的西北工业大学攻读微机电系统和纳米技术博士学位。他的研究兴趣包括偏振成像、图像融合和3D重建。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号