《Biomimetics》:Sky Region Recognition and Polarization Orientation via Multi-Scale Gradient Connected-Component Extraction for a Bio-Inspired Sensor
编辑推荐:
利用仿生偏振传感器进行天光区域识别,有助于降低遮挡引起的偏振定向误差,并可支撑全球导航卫星系统(GNSS)非视距误差抑制与大气辐照度估计等应用。然而,在存在大面积遮挡的场景中,如何在剔除非天光干扰的同时保留可用的天光测量仍具挑战性。本文提出一种将多尺度灰度梯度
利用仿生偏振传感器进行天光区域识别,有助于降低遮挡引起的偏振定向误差,并可支撑全球导航卫星系统(GNSS)非视距误差抑制与大气辐照度估计等应用。然而,在存在大面积遮挡的场景中,如何在剔除非天光干扰的同时保留可用的天光测量仍具挑战性。本文提出一种将多尺度灰度梯度与连通域提取相结合的天光区域识别与偏振定向方法。多尺度梯度由偏振测量所得灰度图像计算得到;随后将梯度、强度与偏振度(DOP)阈值联合使用,获得初始二值天光掩膜;继而进行连通域分析,保留最大连通域作为最终掩膜,并据此选取用于航向估计的偏振测量。在包含建筑物、植被与行人遮挡的场景中开展无人平台实验,结果表明,所提算法的航向均方根误差(RMSE)为0.48°,相对基于DOP梯度的方法降低36.0%。
在自主无人系统中,可靠航向信息具有重要意义,而基于全球导航卫星系统(GNSS)、地磁传感器或视觉路标的传统方案易受信号遮挡、电磁干扰或光照变化影响。仿生偏振定向借鉴节肢动物的导航机制,利用天光的结构化偏振模式估计航向,全天空偏振传感器可在不发送和接收外部信号的条件下提供绝对航向,该被动感知原理在城市峡谷、森林、沙漠及电磁受扰环境中具有吸引力。但其精度在建筑物、植被等物体遮挡大部分天空时会下降。
现有研究主要围绕太阳位置估计、偏振模式复原与天光区域识别展开。基于特征的方法通过对称性、几何约束或稳健拟合抑制局部噪声并估计太阳子午线;学习型估计器、偏振角(AOP)分类、Radon变换与有效性筛选被用于降低云、噪声与部分遮挡的影响;Agarwal等利用实测天空偏振图像训练线性回归模型,预测晴空与多云条件下的太阳方位角;另有研究利用紫外偏振、DOP特征或时间误差分解;Wang等将等效入射光模型与模拟退火结合,在多散射条件下估计太阳矢量。这些方法通过特征提取、统计学习或大气建模改进太阳位置估计,但来自建筑物与植被的偏振测量并不必然遵循大气天光模型,其引入的干扰难以仅靠改进估计器或散射模型充分抑制。偏振模式复原方法在航向估计前重建缺失或受扰的偏振信息,已有研究采用生成网络、天气相关稀疏表示或掩膜约束的图块匹配,Li等进一步将学习型遮挡分割与多尺度图块复原结合以重建受建筑物和植被干扰的偏振模式;但大范围连续遮挡会减少邻近区域可用可靠天光信息,可能限制图块匹配并使重建误差累积,复原模式中的畸变进而影响航向估计。天光区域识别方法构建天光掩膜以保留可用偏振测量并排除遮挡干扰,此类掩膜亦可用于GNSS非视距抑制与辐照度估计;基于模型的方法由理论AOP与实测AOP的差异导出掩膜,但导航过程中难以获得准确的先验AOP;对DOP梯度作阈值处理计算高效,但低梯度建筑物区域可能被保留为天光;多曝光DOP分割提升了高动态范围场景的稳健性,代价是额外的采集与处理;暗通道聚类依赖灰度偏振相机无法提供的颜色信息;迭代对称分割被用于提高偏振罗盘精度;神经分割方法可勾画云与建筑物边界,并已与反对称定向和偏振模式复原结合,Wu和Yang提出融合注意力与残差学习的改进U-Net用于全天空图像云识别;但学习型分割对特定遮挡类型的识别依赖其在训练数据与分割标签中的表征,为云识别开发的模型不能假定可在以建筑物和植被为主的场景中提供等效的天光与障碍分离掩膜。本文方法直接由实测灰度与偏振图像导出掩膜,无需训练分割网络;多尺度灰度梯度提供遮挡边界的图像结构信息,连通域提取则加入空间连续性约束以区分主天光区域与孤立候选区域,从而应对天光与大范围非天光区域均呈现缓慢变化DOP分布时的歧义。
研究人员提出一种融合多尺度灰度梯度、DOP与强度约束及连通域提取的天光区域识别与偏振定向方法,其贡献有三:其一,针对灰度偏振图像构建天光掩膜方法,将多尺度梯度与DOP、强度约束结合,不同尺度梯度描述不同宽度的遮挡边界,DOP与强度约束抑制弱偏振区域与高强度太阳区域,这些互补约束联合用于识别候选天光测量;其二,引入连通域提取细化候选掩膜,选取最大连通域抑制局部梯度、DOP与强度约束后仍残留的孤立非天光候选区域,再经形态学细化得到用于偏振定向的天光掩膜;其三,将该天光区域识别方法与偏振定向集成,在包含建筑物、植被与行人遮挡的室外无人平台实验中评估,航向RMSE为0.48°,相对基于DOP梯度的方法降低36.0%。
所用关键技术方法包括:以鱼眼镜头与分焦平面偏振相机(含0°、45°、90°、135°微偏振片)构成的仿生偏振传感器,经斯托克斯(Stokes)参数计算AOP、DOP与灰度图像;对灰度图像施加多尺度Sobel算子求累积梯度响应,并与DOP阈值、强度阈值联合构建候选二值天光掩膜;采用8连通域两遍扫描算法提取连通域并保留最大连通域,经开运算与闭运算形态学细化;最后基于一阶瑞利(Rayleigh)散射模型,利用掩膜内有效像素的偏振矢量构建矩阵,取最小特征值对应特征向量估计太阳方向,结合导航系太阳方位角解算航向并以相邻帧最近候选消除180°歧义。实验数据采集于晴空条件,采样间隔2 s,总时长1048 s,以光纤惯性导航系统(FINS)与GNSS融合输出作为航向参考;遮挡程度按圆形视场内有效天光像素比例划分为轻微遮挡与严重遮挡。
3.1 实验设置:研究人员在无人平台上搭载仿生偏振传感器、高精度FINS、GNSS接收机与天线及锂电池电源模块,偏振传感器由PHXET050S-P单色偏振相机与富士能FE185C057HA-1鱼眼镜头组成,相机采用集成微偏振片的Sony IMX250MZR CMOS传感器,可在单次曝光内完成四方向偏振测量,无需顺序旋转偏振片,适用于平台运动中的测量;鱼眼镜头焦距1.8 mm,标称视场角185°,宽角覆盖使视场部分被遮挡时仍可从可见天空获得偏振测量。以DCC方法、DOP梯度(DOPG)方法与无天光区域识别(ASRR)作为对照,所有方法处理相同图像序列、采用相同航向估计流程并对照相同融合FINS/GNSS航向参考。由此确定实验平台、对照方案与遮挡程度划分标准。
3.2 遮挡场景下无人平台仿生偏振定向:四类方法的航向估计结果显示,平台运动初期(0–500 s)遮挡干扰相对有限,ASRR航向与FINS参考较为接近;后期(500–1000 s)建筑物、树冠与行人造成显著遮挡干扰,无天光掩膜时ASRR将非天光区域偏振测量纳入太阳矢量估计,导致航向偏离参考。DCC依赖暗通道先验,假定局部非天光区域至少有一个颜色通道强度接近零,但对灰度图像而言,暗天光区域也可能被判为遮挡,在轻微与严重遮挡下中央天空的局部暗区被剔除,降低了有效偏振信息利用,说明在缺乏颜色通道差异时以局部暗度作为天光与非天光主要区分依据存在局限。DOPG方法通过计算DOP图像梯度并施加DOP阈值识别天光,不依赖颜色通道信息,其航向RMSE低于DCC,与保留被强度准则排除的天光区域相一致;但当建筑物遮挡覆盖大面积区域时,建筑物上DOP变化也较平坦,部分区域仍可能被误判为天光,说明小DOP梯度并不唯一对应天光。所提方法结合多尺度梯度与连通域提取,利用灰度梯度信息、联合DOP与灰度阈值确定候选天光区域,再以连通域分析选取最大连通分量作为最终掩膜,避免依赖颜色通道,并在评估图像序列上取得0.48°的航向RMSE,较基于DOP梯度的方法降低36.0%。从式(12)的太阳矢量估计可理解上述选择差异的影响:每个保留的偏振矢量向矩阵贡献一项,其最小特征值对应特征向量决定估计太阳方向;非天光区域偏振矢量不必满足大气散射的垂直关系,会改变估计太阳方向;反之,剔除可用天光像素会减少约束的数量与方向多样性,因此仅增加保留图像面积并不必然提高航向解算精度,实验结果支持同时考虑保留测量与偏振模型的一致性及其空间组织。在实用层面,天光掩膜由成像传感器已提供的灰度强度与偏振信息构建,无需额外彩色相机、多曝光采集序列或分割网络训练,掩膜可逐帧更新并施加于既有航向估计器之前。与近期相关研究的定量结果对照表明,所提方法无需分割网络训练或偏振模式复原即可获得有竞争力的航向精度,其特点在于将灰度结构信息与偏振约束结合以区分DOP分布同样平滑的天光与遮挡物,且识别准则源自实测强度、偏振与空间结构而非学习到的障碍外观,降低了对标注训练数据中不同障碍类型表征的依赖。局限在于连通域选择优先最大连续天光区域,当建筑物或植被将可见天空分割为多个不连通区域时,部分含可用偏振信息的较小区域可能被排除,未来将扩展选择策略以保留更多有效天光分量。
结论部分译文:在大范围遮挡场景中,天光区域识别需要在剔除天光干扰的同时保留可用的天光偏振测量。为解决该问题,本文提出一种将多尺度梯度与连通域提取相结合的天光区域识别与偏振定向方法。首先,由灰度图像计算多尺度梯度,并将梯度、DOP与强度约束联合构建候选二值天光掩膜;其次,从候选掩膜中提取连通域,选取最大连通域并作形态学细化以获得最终天光掩膜,从而将航向估计限制在所选区域内测量;最后,在晴空条件下包含建筑物、树冠与行人遮挡的无人平台实验中评估该方法。所提方法的航向RMSE为0.48°,较基于DOP梯度的方法降低36.0%。对比结果表明,在所研究的遮挡条件下偏振定向精度得到提升。