基于CSNR和JMIM的频谱带选择方法在降低城市驾驶中的色差现象中的应用

《IEEE Open Journal of Intelligent Transportation Systems》：CSNR and JMIM Based Spectral Band Selection for Reducing Metamerism in Urban Driving

　　

摘要：

保护易受伤害的道路使用者（VRU）仍然是汽车感知领域的一个关键挑战，尤其是在RGB图像在复杂光照条件下表现出颜色模糊性时。高光谱成像（HSI）能够提供超出RGB范围的物质依赖性信息，包括近红外（NIR）波段的信息，但其高维度限制了其在汽车系统中的应用。本文提出了一种紧凑的波段选择方法，该方法结合了联合互信息最大化和基于补丁的对比度信噪比标准，以选择适用于VRU感知的实际3波段HSI子集。在Hyperspectral City V2数据集上，所提出的方法选择了521 nm、753 nm和903 nm的VIS-NIR波段组合。我们使用每个场景的分布和自举置信区间，评估了在高光照场景和客观定义的低光照条件下的VRU与道路的分离能力。结果以两种形式呈现：一种是便于度量比较的格式（以便与共注册的RGB图像直接对比），另一种是原始传感器数据格式。进一步通过使用U-Net、DeepLabV3+和PSPNet进行语义分割来评估下游应用效果，这些分割是在三个随机种子上进行测试的。所选波段组合在关键评估指标上提高了VRU与道路的分离能力，在低光照条件下仍保持稳健性，并在所有评估的高光谱输入中表现出竞争力。总体而言，该方法将光谱维度从128个波段减少到3个波段（减少了97.7%），支持将紧凑型多光谱传感作为RGB的实用补充，以实现稳健的VRU感知。