基于材质-光照表示学习的固有属性引导高光谱语义分割

《Knowledge-Based Systems》：Intrinsic-guided hyperspectral semantic segmentation via material-illumination representation learning

　　

提出了IGHS-Net用于材料感知的高光谱场景分割。
光谱形状校准在编码器特征中保留了材料线索。
本征学习模型联合反映反射率与光照证据。
光照条件融合改进了材料一致的预测。
三个基准实验显示出相对于复现分割基线的性能提升。

引言

语义分割是自动驾驶感知的关键组成部分，因为它使视觉系统能够将复杂的户外场景解析为有意义的类别。基于RGB的视觉感知已成为该任务的主流解决方案。然而，RGB图像仅包含三个宽光谱通道，主要依赖于颜色、纹理和形状等外观线索。当光照复杂或材料外观相似时，不同的语义类别在RGB图像中可能表现出相似的视觉模式。因此，尽管RGB图像具有丰富的空间细节，但它们仍为鲁棒的场景解析提供了有限的材料级信息。

高光谱成像为材料感知的视觉感知提供了更具信息量的感知基础。与RGB成像不同，高光谱成像在每个像素处捕获连续的窄带光谱响应，为区分具有相似RGB外观的物体和表面提供了更丰富的材料信息。如图1所示，在RGB空间中难以区分的材料在多维光谱空间中可能仍然表现出可分离的响应模式。随着快照和紧凑型高光谱传感器的发展，以及HyKo、HSI-Drive、Hyperspectral City和HS3-Bench等数据集和基准的出现，高光谱语义分割在自动驾驶感知中逐渐成为智能视觉感知的重要研究方向。

然而，仅增加输入通道数量并不能解释高光谱驾驶场景中存在的图像形成因素。观测到的光谱取决于材料反射率和成像条件。光照变化、遮挡、阴影和视角变化会改变像素接收到的光谱响应，因此测量的光谱并非仅由材料属性决定。基于物理的阴影不变HSI研究也报告了大气条件、场景几何和阳光遮挡引起的户外光谱形状和强度的变化。因此，相同的材料可以在场景中产生不同的测量结果，而不同的材料在复杂光照下可能变得不那么可分离。这促使我们将光谱和图像形成先验嵌入到分割模型中，而非依赖编码器仅从数据中推断这些关系。

现有的用于自动驾驶感知的高光谱分割方法通常通过修改编码器结构、引入光谱注意力或增强光谱-空间特征交互来提高像素级区分能力。尽管这些方法可以增强特征表示，但大多数方法仍主要依赖网络本身来适应光照和成像条件的变化。

在架构层面还有一个值得注意的问题。在传统编码器中，浅层特征通常更接近局部光谱响应，而深层特征逐渐转向抽象的语义表示。在特征演化过程中，与材料相关的线索可能变得不那么明显，从而削弱了不同类别特征之间的可分性。图2从特征分布的角度提供了一个直观的观察：随着编码器深度的增加，不同类别的特征分布显示出增加的重叠，类别结构变得不那么清晰。因此，本文引入来自原始高光谱数据的光谱形状信息来指导编码器特征学习，使网络在提取语义信息时能够保留更稳定的材料判别线索。

为进一步减轻材料-光照耦合的影响，本文从本征图像分解中汲取灵感，该分解使用与反射率相关和与光照相关的分量来表示观测图像。反射率与稳定的材料属性更密切相关，而光照主要反映由成像环境引入的变化。与独立的离线本征分解不同，本工作将任务驱动的反射率-光照表示学习直接嵌入到语义分割网络中，从而使材料区分、光照建模和密集预测可以联合优化。

基于以上分析，我们提出了IGHS-Net，一个用于自动驾驶感知中鲁棒高光谱语义分割的本征引导表示学习框架。IGHS-Net首先利用从原始高光谱数据中派生的光谱描述符为编码器特征提供材料条件指导，从而在渐进式特征学习过程中增强和保留材料敏感信息。然后，在深层特征上构建任务驱动的本征分支，以学习反射率相关和光照相关的表示。最后，光照条件下的反射率融合将材料判别信息与局部光照上下文重新组合，为解码器提供更符合材料一致性且对光照变化更具鲁棒性的特征。

本文的主要贡献总结如下：
1. 我们将自动驾驶感知中的高光谱语义分割表述为材料感知的密集预测，其中光谱形状描述符和本征图像形成先验被嵌入到统一的端到端分割网络中。
2. 我们提出了光谱描述符校准模块，称为SDCM。该模块使用从原始高光谱数据中派生的光谱水平、斜率和曲率描述符为编码器特征提供材料条件指导，从而增强对材料敏感线索的建模，并减轻在深层特征演化过程中材料相关信息减弱的现象。
3. 我们设计了任务驱动的反射率-光照表示学习机制和光照条件下的反射率融合策略，使分割解码器能够同时利用材料一致信息和局部光照上下文。在三个高光谱自动驾驶和城市感知数据集（HSIDrive、HyKo2-VIS和HCV2）上的实验结果表明，IGHS-Net优于复现的主流基线，消融研究支持了其关键组件的有效性。

章节片段

自动驾驶的高光谱语义分割
自动驾驶的高光谱语义分割已从早期的数据集构建发展为基准设计和网络适应。Winkens等人引入了HyKo来研究从移动感知平台进行光谱场景理解。Basterretxea等人发布了HSI-Drive用于车载高光谱城市场景采集。You等人构建了Hyperspectral City作为具有密集语义注释的城市场景高光谱基准。最近……

问题定义与网络概述
设X∈RB×H×W表示具有B个光谱波段和空间尺寸H×W的高光谱图像，Y∈{1,…,C}H×W表示C个类别的语义标签图。目标是从X预测?，同时学习在空间变化光照下保持稳定且具有材料判别性的表示。

图3展示了IGHS-Net的整体架构。该网络遵循编码器-解码器设计，但通过两个图像形成感知组件增强标准分割流程：浅层……

数据集
我们在三个与自动驾驶和城市感知相关的高光谱语义分割数据集上评估IGHS-Net，这些数据集具有不同的光谱分辨率、场景规模和标签分类体系。HSIDrive包含道路场景高光谱数据，强调道路表面、车道标记、植被、车辆、行人和城市基础设施。其25波段数据立方体相对紧凑，但场景包含强烈的道路表面材料变化和光照变化，这是由……

讨论
实验支持了浅层光谱校准与深层本征表示学习的互补作用。SDCM在C1-C2处最有用，因为其水平、斜率和曲率描述符依赖于特征通道与有序传感器波段之间的对应关系。更深的通道混合削弱了这种对应关系，这解释了为什么在整个编码器中扩展相同的校准并不能提供一致的好处。本征分支则利用广泛感受野和……

结论
本文通过端到端集成光谱形状校准与本征表示学习，解决了光照变化下的户外高光谱语义分割问题。IGHS-Net使用光谱水平、斜率和曲率描述符对浅层特征进行条件化，并在分割监督下联合学习与材料和光照相关的表示。三个数据集上的结果以及组件级、光谱一致性和……

CRediT作者贡献声明
Fuqiang Yuan：撰写 – 审阅与编辑，撰写 – 初稿，可视化，验证，软件，方法论，形式分析，概念化。Hongkun Zhang：监督，项目管理，调查，资金获取。Wenjun Li：项目管理，资金获取。Beiqi Wu：软件。Yihao Liu：软件。

利益冲突声明
作者声明他们没有已知的可能影响本文所述工作的相互冲突的经济利益或个人关系。

Fuqiang Yuan | Hongkun Zhang | Wenjun Li | Beiqi Wu | Yihao Liu