《Advanced Energy and Sustainability Research》：VISPec-DNet: Multi-Modal Decision Fusion of Hyperspectral and Red–Green–Blue Images for Plastic Waste Detection and Sorting
编辑推荐：
全球塑料废弃物危机因回收率低及再生材料价值下降而日益严峻，其核心瓶颈在于难以按聚合物类型实现精准分拣。针对这一挑战，本研究提出一种新型决策级图像融合框架VISPec-DNet，通过融合红绿蓝（RGB）与高光谱近红外（NIR）成像的互补信息以提升分拣精度。研究人
全球塑料废弃物危机因回收率低及再生材料价值下降而日益严峻，其核心瓶颈在于难以按聚合物类型实现精准分拣。针对这一挑战，本研究提出一种新型决策级图像融合框架VISPec-DNet，通过融合红绿蓝（RGB）与高光谱近红外（NIR）成像的互补信息以提升分拣精度。研究人员构建了可识别高密度聚乙烯（HDPE）、聚对苯二甲酸乙二醇酯（PET）及聚丙烯（PP）三类聚合物共6种废弃塑料类别的系统。该系统在聚合物分类任务中实现了99.1%的准确率，最优模型检测准确率达97.4%。目标检测采用You Only Look Once（YOLO，版本5、8、11及12）系列模型，像素级分类则采用轻量梯度提升机（LightGBM）。实验结果验证了多模态图像融合在提升塑料废弃物分拣性能方面的巨大潜力，为工业应用提供了一种可显著提高回收效率的可扩展解决方案。
研究背景与意义
全球塑料产量预计将从2024年的5亿吨增长至2060年的12亿吨以上，其难降解特性导致生态系统长期累积污染。当前填埋与焚烧仍占全球塑料废弃物处理的85%，机械回收虽符合循环经济原则，却受限于分拣效率低导致的交叉污染与再生材料品质降级。传统视觉（RGB）分拣依赖表观特征，难以区分化学组分相似的不同聚合物；而光谱技术（如近红外NIR）虽能提供化学成分信息，却易受深色物体、标签干扰且在复杂场景中缺乏空间上下文。因此，融合多模态数据的智能分拣技术成为突破现有瓶颈的关键路径。本研究成果发表于《Advanced Energy and Sustainability Research》。
关键技术方法
研究人员构建了三个数据集：用于训练YOLO模型的RGB数据集（Dataset-A，含5555张图像及12688个标注对象，涵盖HDPE、PET、PP三类聚合物的6个子类）、用于训练光谱分类器的像素级高光谱数据集（Dataset-B，提取自63个样本的19512个像素光谱）及用于融合模型评估的同步配对数据集（Dataset-C）。研究采用决策级融合架构VISPec-DNet：首先利用YOLO模型从RGB图像中获取目标边界框；随后将区域输入基于LightGBM的光谱分类模块；最终通过决策层融合输出结果。光谱数据经黑白校正与Savitzky-Golay平滑滤波预处理，并通过特征重要性排序筛选出23个关键波段构建多光谱模型以降低计算负荷。
研究结果
3.1 光谱预处理
预处理有效提升了光谱信噪比。反射率分析显示，“背景”材料反射率最低，“标签”因表面光泽反射率最高且波动大，而HDPE、PET、PP则呈现出可明确区分的特征反射模式，为分类奠定了基础。
3.2 模型验证性能
各版本YOLO模型在验证集上表现稳定，召回率不低于66.8%，精确率不低于72.3%。基于高光谱的LightGBM像素分类模型验证精确率与召回率均达99.8%；仅使用23个波段的多光谱模型性能相近（精确率与召回率99.6%），表明高光谱数据存在冗余，降维可行。
3.3 同步非重叠目标检测
融合模型较单一YOLO基线准确率提升7%至42.6%。其中VISPec-DNetv5@100%配置表现最佳，总体准确率达97.4%（仅3/115个样本误判），聚合物类型识别准确率达99.1%。置信度阈值过滤会降低系统精度，因为YOLO可能以高置信度输出错误分类，而光谱模块能有效纠正此类错误。多光谱模型在分类精度上与高光谱模型无显著差异，但在像素级误分类率上略高。
3.4 同步重叠目标检测
定性分析表明，模型对颜色差异显著的重叠物体检测准确率高；但对同色或透明物体的严重重叠，边缘识别能力受限，易导致漏检或误检。
3.5 推理性能
VISPec-DNetv5处理单帧平均耗时1.343秒，其中光谱预处理占70%。多光谱模型推理速度是高光谱模型的两倍。模拟预测显示，在实时线扫描条件下，系统吞吐量有望超过3帧/秒（约300毫秒/帧）。
讨论与结论
研究证实VISPec-DNet的决策级融合策略降低了系统复杂度，多光谱方案在保证精度的同时显著提升了效率。然而，YOLO模型对视觉相似重叠物的识别局限及离线同步方式限制了性能上限。未来工作应探索早期/特征级融合、实时线扫描处理及GPU加速。研究人员总结指出，该框架为高通量工业分拣提供了高效解决方案，聚合物分类准确率达99.1%，目标检测准确率达97.3%，在CPU环境下即可实现每分钟40帧以上的处理能力，具有显著的工业应用潜力。
