基于高光谱成像的像素级材料分类深度学习研究

《Journal of Imaging》：A Deep Learning Approach for Pixel-Level Material Classification via Hyperspectral Imaging

　　

近年来，计算机视觉领域在检测、分割和分类方面取得了显著进展，然而这些进展仍主要依赖于基于RGB的系统，对于废物分选、制药和国防等需要超越形状或可见颜色的材料表征的应用而言尚显不足。高光谱（）成像能够捕获每个像素的空间和光谱信息，因此为材料级分类提供了有前景的途径。本研究评估了高光谱成像与深度学习相结合用于塑料材料分类的潜力。研究工作包括：（i）设计基于高光谱线扫描相机、传送带和可控照明的实验装置；（ii）构建包含高密度聚乙烯（HDPE）、聚对苯二甲酸乙二醇酯（PET）、聚丙烯（PP）和聚苯乙烯（PS）样品的对象不重叠数据集，采用半自动化掩膜生成和基于拉曼光谱学的标注方法；以及（iii）开发P1CH，一种轻量级的像素级一维卷积高光谱分类器。在对象不重叠的测试图像上，P1CH实现了97.44%的全像素准确率。边界敏感性分析（因半自动化标注在材料/背景界面存在不确定性而单独报告）在排除预定义的两像素边界带后达到了99.94%的准确率。额外的消融实验、基线对比和稳健性分析表明，所提出的像素级光谱方法对于小碎片、视觉相似的塑料以及重叠材料有效，而黑色或极深色塑料在当前相机和照明配置下仍然具有挑战性。

本研究聚焦于工业场景中的自动化材料分类问题，其背景源于传统RGB成像系统在材料识别领域的固有局限性。RGB图像仅依赖空间特征如边缘、纹理和人眼可见的颜色，当不同类别的物体具有相似外观时往往导致误分类。在废物分选、制药纯度控制和危险物质检测等领域，仅依靠形状或可见颜色无法完成精细的材料区分。高光谱（HS）成像通过捕获超出可见光范围的宽谱段信息，为每个像素提供详细的光谱特征，从而克服了传统方法的不足。然而，该领域面临公开工业高光谱数据集匮乏、专业传感器成本高昂、可靠的像素级标注获取困难以及实时处理数百个光谱波段带来的计算负担等主要障碍。在此背景下，研究人员开展了P1CH（Pixel-wise 1D Convolutional Hyperspectral classifier，像素级一维卷积高光谱分类器）的研究工作，旨在为传送带场景中的线扫描高光谱图像提供一种轻量级、实时的像素级材料分类解决方案。

研究人员构建了对象不重叠的高光谱数据集以支持监督像素级学习，该数据集包含169个用于训练的物理对象和80个用于测试的对象，涵盖HDPE、PET、PP、PS四种聚合物类别以及背景类。训练图像仅含单一材料类别的对象，而测试集则设计得更为严苛，包括未修改的工业废物类物品、小 shredded碎片以及不同材料相互接触或部分遮挡的混合重叠场景。标注工作采用半自动化AI辅助方法：首先计算各通道标准差以选取对比度最高的三个波段构建假彩色RGB图像，经自适应直方图拉伸增强对比度后，利用SAM（Segment Anything Model）生成初始掩膜并通过人工视觉检查和精修，最终通过拉曼光谱学对每个对象进行材料类别确认。

在模型架构方面，P1CH采用一维卷积神经网络（1D CNN）处理单个像素的光谱向量。输入为224维的光谱向量，依次经过16个和32个滤波器的卷积层，随后通过两个残差块（滤波器数量分别为64和128），最后经512神经元的全连接层和dropout层（概率0.4）输出五类分类概率。该设计刻意避免使用大空间核混合相邻材料光谱，从而保留材料边界信息。训练采用交叉熵损失和AdamW优化器，批量大小为8192个像素光谱，学习率采用Warm-up余弦调度，从10^-5升至10^-3再降至10^-6。数据处理利用内存映射数组实现大规模数据的高效随机访问，将图像展平为空间维度的一维特征向量后进行随机打乱，按90%/10%比例划分训练集和验证集。

研究取得了多方面的结果。在整体性能方面，P1CH在对象不重叠测试集上达到97.44%的全像素准确率，混淆矩阵显示各类别分类性能均衡，PP的前景F1分数略低主要源于边界分歧和背景像素混淆而非系统性误分类。五折对象级交叉验证获得97.98%±0.21%的准确率，表明模型并非简单记忆个体对象。与HybridSN基线方法的对比显著，后者在相同数据集上仅获21.81%的准确率，而P1CH以94.92%的召回率和0.9295的Kappa分数展现出卓越的像素级分类能力，同时推理速度达300行/秒，远超HybridSN的29行/秒。

边界敏感性分析揭示97.45%的错误集中于对象与背景的边界区域。通过定义形态学梯度膨胀两像素的预定义边界带进行排除后，误差率降至0.0653%，对应99.94%的准确率。视觉对比显示P1CH能够生成比半自动化标注更平滑精确的掩膜，尤其在PP对象右下角和PET瓶嘴处体现出优于地面真值的边界预测能力。

针对切碎材料的实验表明，P1CH对不规则形状小碎片具有显著分类能力。在包含HDPE、PET、PP、PS碎片的测试场景中取得98.9%的准确率，所有误分类均落入边界情况。尤为重要的是，模型能够检测到标注过程中遗漏的两个微小PET碎片，这仅靠光谱信息的分析处理实现，凸显了像素级光谱方法在微小对象检测方面的独特优势。

在混合重叠材料实验中，P1CH展现出超越RGB模型的卓越性能。首个实验对象为瓶身与瓶盖视觉几乎无法区分的 shampoo 瓶，RGB模型将两者均误分类为PET，而P1CH精确分割并正确识别HDPE瓶身与PP瓶盖，准确率达98.8%。第二个实验为白色PS基底上放置白色PP盖和白色HDPE盖，RGB模型完全未能检测三个对象并将PS误分类为PP，P1CH则实现99.54%的像素级准确率。这些结果证明了光谱签名在颜色纹理高度相似情况下的判别价值。

消融实验方面，白参考近似比较显示制造商标准黑/白参考归一化与提出的黑参考加训练最大值归一化性能接近（准确率97.47% vs 97.44%），但简化方法在场景亮度超出训练分布、灯谱或曝光变化时可能引入偏差。模型组件消融表明移除残差块使准确率降至95.76%、宏F1分数降至88.73%，验证了残差连接对224维光谱输入优化稳定性的作用；后处理消融显示中值滤波和形态学开闭运算能进一步减少孤立错误并细化边界区域。稳健性测试中，模型对×0.8和×1.2强度缩放及30dB加性高斯噪声保持较好容忍度，但×0.5、×1.5强度缩放和20dB噪声导致宏F1分数显著下降，表明稳定且充分表征的照明对恢复可靠反射率光谱至关重要。

黑色塑料局限性实验揭示P1CH在此场景下表现不佳，不含背景的整体准确率仅39.69%。PS样本完全未被检测，HDPE样本大量误分类为PP，仅PP样本获得相对准确识别（准确率75%）。这一局限主要源于深色材料对入射辐射的几乎完全吸收导致反射信号极弱，信噪比（PSNR）低且光谱变异性小，使模型输入呈现相似噪声特征。需要强调的是，训练集中不含黑色塑料样本，且该限制应归因于当前900-1700nm光谱范围、照明几何、曝光设置和训练分布，而非光谱学习方法的根本缺陷。改善方向包括增加曝光或传感器灵敏度、使用制冷探测器、高动态范围采集、改变照明角度或偏振、扩展至更长SWIR/MWIR波段、优化传送带/衬底背景，以及采用高级去噪或光谱解混技术。

研究讨论部分，作者总结了P1CH的设计哲学与实际表现。像素级一维光谱架构优先保证边界保留和材料特异性光谱特征识别，虽牺牲了空间上下文信息，但在工业分选场景中具有低延迟、避免边界平滑的优势。未来混合空间-光谱架构需在边缘感知的前提下引入有限空间信息。校准感知部署方面，成本效益的归一化近似在固定实验室条件下可行，但工业照明变化时需要周期性再校准或域适应策略。黑色塑料的分析指出，结合拉曼传感的混合检测、峰值敏感光谱模型和信噪比管理策略是有前景的研究方向。

研究结论指出，本工作提出了一种轻量级实时像素级一维卷积高光谱分类器P1CH，能够产生详细准确的分类图，利用高光谱数据的丰富光谱信息在RGB不足的挑战条件下检测和分类对象。为训练和验证模型，研究人员创建了两个高光谱图像数据集，训练集包含单一类对象图像，测试集则反映更严苛的现实场景包括小不规则形状对象、重叠物品以及纹理高度相似的材料混合物。此工作还引入了不依赖专业硬件的简化和成本效益光谱校准与归一化程序。P1CH在对象不重叠测试集上达到97.44%的整体全像素准确率，排除预定义两像素边界带后达99.94%。针对黑色对象的额外实验揭示了模型在此类样本可靠分类方面的困难。总体而言，该工作展示了像素级高光谱成像在传送带条件下材料分类的潜力，同时识别了需要进一步研究的局限性。当前一维架构适用于单个像素由单一材料主导且类别具有可分离光谱特征的情况。扩展至更广泛的聚合物、非塑料、多层包装、添加剂、污染废物或复合材料将受益于更大更多样化的数据集、分层或开放集分类、混合像素的光谱解混以及可能的多传感器融合。未来工作将聚焦工业照明变化性、黑色塑料传感、更广泛材料分类体系和域适应研究。