利用高光谱成像和波段选择对海洋塑料垃圾进行分类:一种基于补丁和基于像素的融合方法
《Marine Pollution Bulletin》:Classification of marine plastic debris using hyperspectral imaging and band selection: A patch-based and pixel-based fusion approach
【字体:
大
中
小
】
时间:2026年05月08日
来源:Marine Pollution Bulletin 4.9
编辑推荐:
亚当·埃尔·贝尔吉(Adam El Bergui)| 安贝尔·佩雷斯-加西亚(ámbar Pérez-García)| 爱丽丝·波雷布斯基(Alice Porebski)| 尼古拉斯·范登布劳克(Nicolas Vandenbroucke)| 何塞·F·洛佩兹(José F. L
亚当·埃尔·贝尔吉(Adam El Bergui)| 安贝尔·佩雷斯-加西亚(ámbar Pérez-García)| 爱丽丝·波雷布斯基(Alice Porebski)| 尼古拉斯·范登布劳克(Nicolas Vandenbroucke)| 何塞·F·洛佩兹(José F. López)
法国滨海科特达奥帕尔大学(Université Littoral C?te d’Opale),UR 4491,LISIC,科特达奥帕尔信号与图像计算实验室(Laboratoire d’Informatique Signal et Image de la C?te d’Opale),加莱(Calais),F-62100
**摘要**
海洋塑料污染带来了重大的生态、经济和社会挑战,需要创新的监测和识别技术来支持有效的缓解和管理策略。高光谱成像和人工智能已被证明是检测和识别水环境中大型塑料的宝贵工具。尽管有许多研究专注于深度学习方法,但许多现有模型在计算上仍然非常耗费资源,并且缺乏在像无人机这样的能源受限平台上进行实时处理的适应性。这一缺陷限制了它们在大规模监测中的应用,需要既具有高预测精度又轻量级的模型。首先,为了提高塑料类型的分类性能,本文提出了一种基于不确定性的融合方法,将最近提出的基于补丁的轻量级空间光谱卷积神经网络(LSS-HCNN)与基于像素的随机森林(RF)分类器相结合。其次,为了提高计算效率,本文研究了两种基于LSS-HCNN压缩激励(Squeeze-and-Excitation, SE)模块权重和RF特征重要性的波段选择方法。本研究评估了五种常见聚合物(HDPE、LDPE、PET、PP和PS)以及自然有机物质和背景材料的分类效果。为了解决物体边界处的材料异质性问题,我们在纯材料区域和混合材料区域对这种方法进行了测试。结果表明,LSS-HCNN的表现始终优于传统的机器学习(ML)方法,其准确率比RF高出4%以上。所提出的基于不确定性的融合方法成功提高了分类精度,在塑料垃圾的高光谱图像上实现了97%的准确率。此外,通过肘部法则(elbow method)确定的六个最优波段组合在保持90%准确率的同时,将计算需求降低了20倍以上。我们的发现为水环境中实时塑料垃圾监测提供了轻量级、准确且适应性强的模型。
**1. 引言**
海洋垃圾,尤其是塑料污染,已成为一个具有深远影响的全球性问题,对水生生态系统、人类健康和经济造成了严重影响(Beaumont等人,2019;Pilapitiya和Ratnayake,2024;Kushwaha等人,2024)。塑料是海洋垃圾的主要组成部分,约占海洋和沿海环境中废物的85%(UNEP,2021)。这种广泛存在的主要原因是单用途塑料的泛滥以及废物管理系统的不足(Morales-Caselles等人,2021;Meijer等人,2021;Cottom等人,2024)。一旦进入环境,大型塑料(>5毫米)会持续存在并逐渐分解为微塑料(<5毫米),造成长期的生态危害(de Deus等人,2024;Landrigan等人,2025)。这些材料威胁生物多样性,破坏海洋栖息地,并对海运业和沿海社区构成风险(Jambeck等人,2015;McIlgorm等人,2022;Nahman等人,2025)。为了应对由塑料引起的水污染,基于现代技术的实时监测方法对于识别污染热点、评估缓解策略和描述漂浮垃圾的变化至关重要(van Emmerik等人,2023;Tasseron等人,2024;Marye等人,2025)。在这种情况下,开发有效的检测和分类技术对于推进塑料污染研究和实施有针对性的环境干预措施至关重要(Yu等人,2023)。
传统的现场监测方法,如网捕采样和视觉调查,通常耗时且需要专家参与,这限制了它们的可扩展性(即在大范围地理区域的应用能力)和频率(Armitage等人,2022;Suaria和Aliani,2014;Waqas等人,2023;Pasquier等人,2022)。这些限制激发了人们对开发自动化和高效检测技术的兴趣。近年来,使用多光谱和高光谱成像的遥感(RS)方法在大型塑料污染监测方面显示出巨大潜力(Topouzelis等人,2021)。RS相比传统技术具有优势,因为它能够实现连续的、地理范围广泛的数据收集,同时减少后勤和财务负担(Biermann等人,2020a)。在新兴工具中,高光谱成像(HSI)因能够捕获详细的光谱特征而受到重视,从而实现材料的准确识别(Bhargava等人,2024)。高光谱图像中的每个像素都是属于特定光谱范围的N个波段的N维向量(光谱特征)(García等人,2022)。这种丰富的光谱信息使HSI适用于各种平台的塑料垃圾识别,包括卫星(á. Pérez-García等人,2024;Kikaki等人,2024;Schreyers等人,2022)、航空系统(Freitas等人,2022)以及航空或水上无人机(Alboody等人,2023;Andriolo等人,2023;Faltynkova等人,2024;El Bergui等人,2024)。尽管HSI具有优势,但也存在挑战,例如高光谱数据的高维度要求大量的存储空间和先进的处理技术(Ahmad等人,2021)。对于基于无人机的监测来说,这些限制尤为重要,因为通常需要实时预测以满足在有限的计算、内存和能源预算下的处理时间要求(Yang等人,2025;Ngo等人,2025)。在本研究中,我们调查了489纳米至1670纳米的光谱范围。选择这一范围是出于无人机的操作限制,它们通常携带紧凑型高光谱相机,能够覆盖比单个紧凑型相机更宽的光谱范围(Alboody等人,2023;Oliveira等人,2024;Balsi等人,2025)。先前的研究表明,这一范围已经可以实现准确的聚合物区分,同时与紧凑型传感器和实际采集工作流程兼容(Serranti等人,2024)。将光谱覆盖范围扩展到2500纳米预计可以增强1700纳米以上的诊断吸收特征,并在更具挑战性的情况下提高分离能力(Garaba和Dierssen,2020a)。最后,在水生场景中,水在较长红外波长下会强烈衰减光线,这限制了光的穿透并迅速降低了水下或湿润目标的特征强度。因此,我们的实验和讨论集中在表面漂浮或湿润的垃圾上(Zhu和Kanaya,2023)。
为了在考虑这些限制的情况下处理高光谱图像,人工智能(AI),特别是机器学习(ML)和深度学习(DL),已成为环境监测应用中的关键工具,包括从高光谱图像中进行检测、分类和分割(Kumar等人,2024;Pérez-García等人,2024)。已经开发了许多对象检测和识别AI工具来监测水环境中的塑料(van Lieshout等人,2020;Cortesi,2021)。传统的ML分类器,如随机森林(RF)或支持向量机(SVM),由于其处理高维数据的能力和相对较低的计算成本而被广泛用于高光谱数据处理(Breiman,2001;Hearingst等人,1998)。然而,这些模型主要在像素级别操作。它们仅根据每个像素的单独光谱特征进行分类,忽略了重要的空间信息,如纹理和相邻像素的上下文模式。更一般地,仅依赖光谱信息或空间线索的方法可能无法充分利用高光谱图像中的光谱-空间联合结构。为了提高效率,对这些图像的分类需要同时利用光谱和空间维度,已经出现了一些方法来解决这一权衡(El Bergui等人,2024)。传统模型通常使用手工制作的纹理描述符,如局部二值模式(Porebski等人,2022;Bianconi等人,2021)。虽然计算负担轻,但这些描述符是预定义的,不需要领域专业知识和对数据分布的先验知识。
最近的进展引入了DL模型,它们通过从原始数据自动学习层次化空间表示提供了有吸引力的替代方案。特别是卷积神经网络(CNN)在从卫星图像中分类海洋垃圾方面表现优异,因为它们能够学习复杂的模式(Ru?wurm等人,2023)。然而,许多此类方法,尤其是2D或3D-CNN,存在显著的缺点。虽然这些模型通过处理整个高光谱图像来共同学习空间-光谱特征而实现了高准确率,但这种性能是以巨大的计算复杂性、大量参数和大量的浮点运算(FLOPs)为代价的(Freitas等人,2021;Freitas等人,2022;Kumar等人,2024)。这种限制在高光谱深度架构中尤为明显,这些架构在面向实际部署时常常受到计算复杂性的限制(Yang等人,2025;Wu和Tan,2025;Yin等人,2025)。为了降低这一成本,其他方法在分类之前将输入维度 reduce 到三个,通常通过主成分分析(PCA)或波长(波段)选择,然后应用预训练的RGB模型(Singh和Kumar,2023)。除了计算效率外,降维和波长选择还应支持训练模型的可解释性和可转移性。降维技术保留的波长理想情况下应与每种聚合物特有的分子振动模式相关联,以保留区分不同类型塑料的特征(Neo等人,2022;Be?等人,2025)。虽然有效,但这些策略往往在学习过程开始之前就牺牲了光谱丰富性和空间分辨率。
与此同时,基于变压器的架构最近也被用于高光谱分类(Ahmad等人,2025)。然而,这些模型依赖于计算和内存需求较高的自注意力机制,这可能与低延迟的嵌入式部署不兼容,而且通常需要大规模注释的高光谱图像数据集来避免过拟合。目前,对于漂浮海洋垃圾问题来说,这样的数据集尚不可用。因此,对于基于无人机的操作监测,一个关键要求是在准确性和计算效率之间取得平衡,以实现接近实时的预测。为了解决这些限制,最近提出了轻量级空间光谱卷积神经网络(LSS-HCNN),它在复杂建模和计算效率之间取得了平衡。该设计解决了之前提到的挑战。首先,它非常轻量级,使用的参数和FLOPs远少于传统的2D或3D-CNN。其次,它通过高效的开销补丁设计学习空间-光谱特征。它对每个波段应用空间卷积来捕获纹理,然后进行光谱卷积以模拟波段间的关系。最后,其压缩激励(SE)模块提供了一种可解释性机制,可以在训练期间突出最具有信息量的波段。这些优势符合嵌入式部署的目标,其中模型大小、延迟和能源消耗可能是限制因素。这些优势使LSS-HCNN适用于嵌入式和实时应用。
在LSS-HCNN框架的基础上,本研究在两个关键方面改进了塑料垃圾的分类:分类性能和计算效率。首先,为了提高分类性能和鲁棒性,本研究引入了一种融合策略,将基于补丁的LSS-HCNN与基于像素的ML预测相结合。这是为了利用它们的互补优势。虽然基于补丁的LSS-HCNN能够捕获复杂的光谱-空间特征,但基于像素的ML分类器(如RF)忽略了邻域上下文。一方面,基于像素的决策更敏感,容易受到椒盐噪声的影响,特别是在类别边界处,一个像素覆盖的区域可能包含多种材料(混合像素),产生模糊的混合光谱(Wang等人,2020)。另一方面,基于补丁的模型可能受到补丁内相邻像素的影响,偶尔会导致连续局部区域的误分类(Sifnaios等人,2024)。这两种模型都表现出不同的错误类型,融合可以克服这些问题。所提出的融合技术增强了在光谱模糊情况下的鲁棒性,为实际监测提供了更可靠的解决方案。其次,为了提高计算效率,应用了SE引导的波段选择来降低维度和计算成本,从而在分类性能和计算复杂性之间取得了平衡。作为两项分析的基础步骤,本研究还量化了补丁大小对优化空间上下文和光谱信息平衡的影响。总体而言,所提出的流程旨在保持与嵌入式处理限制的兼容性,同时提高鲁棒性,这对于在无人机平台上进行可扩展的现场部署至关重要。
**2. 方法**
本研究旨在评估和利用基于补丁的LSS-HCNN和基于像素的ML在高光谱图像中漂浮的大型塑料分类上的融合效果,同时研究这两种模型家族的降维方法。算法
本节介绍了本研究中使用的算法。所有模型都遵循监督学习范式。工作流程将标记数据分为三个不相交的集合。首先,使用训练集来学习输入与它们的类别标签之间的映射。其次,使用单独的验证集来调整超参数,并通过选择在未见数据上表现最佳的模型变体来减轻过拟合。最后,保留一个独立的测试集,直到最后使用它来提供模型性能的无偏估计以及其泛化到新的真实世界数据的能力。
2.1.1 机器学习分类器
本研究考虑并比较了多种机器学习模型。随机森林(RF)(Breiman,2001)是一种用于像素分类的集成学习方法。它构建多棵决策树,每棵树都是在通过替换抽样创建的数据的不同随机子集上训练的。它还使用随机选择的特征子集(波段)。这种双重随机化策略有助于降低树之间的相关性,提高模型的鲁棒性。RF的底层树结构是非线性的,使其能够有效捕获光谱带之间的复杂非线性相互作用。在训练过程中,RF通过测量每个特征(波段)对降低杂质率的贡献来评估其重要性,通常使用基尼杂质度量。作为类分离程度的指标,较低的杂质率意味着该特征将数据划分为分离良好的类别。对于分类,集成中的每棵树独立提供一个预测,最终像素的输出由所有树的多数票决定。选择RF是因为它能够在提供有助于解释性和光谱带选择的特征重要性分数的同时实现高准确率(de Abreu Fontes等人,2021)。它还提供了高效的预测,并且内存需求较低。
支持向量机(SVM)(Hearst等人,1998)适用于二分类和多分类。它识别出在特征空间中最大化数据类别之间边际的最优超平面。SVM可以通过核函数扩展以处理非线性关系,这些核函数将数据投影到更高维的空间中。SVM被作为一个有竞争力的基准分类器包括在内,因为它能够分离在原始光谱特征空间中不是线性可分的类别。此外,它在高维特征空间中通常表现良好(Mountrakis等人,2011)。然而,对于核SVM,预测时间会随着支持向量数量的增加而增加。
k-近邻(kNN)(Hand,2007)算法是一种非参数的、基于实例的学习方法。它根据样本在特征空间中k个最近邻居中的多数类来进行分类,通常使用欧几里得距离来确定这些邻居。k的选择和距离度量显著影响算法的性能。对于高维高光谱数据,kNN通常不如更高级的分类器具有竞争力,并且由于预测需要存储训练集并执行邻居搜索,因此不太适合在线部署,这会随着数据集的大小增加而增加处理时间和内存需求。然而,我们包括了kNN作为一个简单的基于距离的参考,以评估使用光谱特征之间的直接距离时的类别可分性(Pal,2011)。
线性判别分析(LDA)(Englehart和Hudgins,2003)旨在将高维数据投影到低维空间,以最大化类别可分性。它将每个类的分布建模为具有共享协方差矩阵的多变量高斯分布,然后找到最佳区分类别的特征线性组合。LDA被包括在内,因为它提供了一个快速的线性基准分类器,具有非常低的处理时间和最小的内存需求(Desjardins等人,2023)。
模型性能使用总体准确率(OA)进行评估,它量化了正确分类的测试样本比例与这些样本的总数(Hossin和Sulaiman,2015)。此外,我们还报告了Cohen的kappa系数和宏观平均F1分数。Cohen的kappa通过衡量预测与参考标签之间的一致性同时考虑偶然一致性来补充OA(Foody,2002)。宏观平均F1分数从不同的角度补充OA,通过给予每个类别相同的权重并总结各类别之间的精确度和召回率之间的平衡(Sokolova和Lapalme,2009)。这些指标一起提供了更全面的分类性能评估,尤其是在类别分布不平衡时。
传统的机器学习分类器(RF、SVM、kNN、LDA)本质上是基于固定长度的特征向量运行的。在高光谱成像中,这自然对应于单个像素光谱。使用这些分类器并将K个光谱带的强度作为特征空间,无需手工制作的描述符,提供了一个公平且广泛使用的基准,专注于光谱可分性(Paoletti等人,2019)。这也提高了可解释性,因为判别信息可以追溯到特定波长,从而可以直接与物理意义上的聚合物吸收波长进行比较。然而,这种基于像素的设置忽略了空间上下文,因此对噪声和类边界处的混合像素更敏感。相比之下,卷积深度网络是专门构建来利用局部空间信息的:在补丁上训练使得它们能够学习联合的光谱-空间模式,从而减少噪声并提高标签一致性(Signoroni等人,2019)。
2.1.2 LSS-HCNN
DL模型在图像中学习层次表示,共同编码光谱特征和空间信息,从而克服了手工制作的特征(Grewal等人,2023)。CNN是最常用的用于计算机视觉任务的DL模型(Zhao等人,2024)。2D-CNN在高度和宽度上对高光谱图像进行卷积以捕获空间结构,但通常会压缩或忽略整个光谱轴,而3D-CNN则沿光谱维度扩展内核以建模光谱-空间相关性,但代价是参数较多、FLOPs更高、训练时间更长以及可解释性有限(Noshiri等人,2023;El Bergui等人,2025)。这些权衡,加上缺乏特定的预训练模型用于高光谱图像分析,促使人们开发出既准确又轻量且更易于解释的架构。LSS-HCNN正是为这种平衡而设计的(El Bergui等人,2025)。它将问题分解为两个简单阶段:首先逐波段应用空间卷积以提取每个波段的空间信息,然后进行光谱卷积以学习波段之间的关联。此外,一个挤压-激励(SE)块重新加权波段,以便更好地解释和选择最具区分性的波段。这种分离保留了丰富的空间-光谱信息,同时大幅减少了模型的大小和复杂性, compared to传统的2D/3D-CNN。LSS-HCNN能够显著减少可学习参数的数量和FLOPs,是一种高效、准确且易于解释的高光谱图像分类模型。图1展示了LSS-HCNN架构,包括空间卷积、SE重新加权、光谱卷积和分类头。
El Bergui等人(2025)之前已经对LSS-HCNN与其他深度学习和手工制作的基线进行了广泛的比较;目前的工作重点是在可部署的监测中进行融合和波长减少。
下载:下载高分辨率图像(352KB)
下载:下载完整尺寸图像
图1. LSS-HCNN架构,显示空间卷积、SE块、光谱卷积和分类头(El Bergui等人,2025)。
2.1.3 降维
从统计学的角度来看,降维旨在减少高光谱图像的维度并提高计算效率,同时最小化噪声和冗余信息。在这项工作中,使用选择来自模型(SFM)的重要性分数对RF进行波段选择,以及对LSS-HCNN使用基于SE的波段权重。实际上,这被视为一个监督下的波段排序问题,其中每个波段都被分配一个重要性分数,仅保留排名最高的波长。
为了实现RF的这种排序,应用了SFM方法(Pedregosa等人,2011;A. Pérez-García等人,2024)。在RF训练期间,通过测量节点杂质率的降低来评估特征重要性,通常使用诸如基尼杂质这样的度量(Ho,1995;Louppe等人,2013)。基尼杂质是决策树中节点的类别均匀性的度量。较低的分数表示更好的类别分离。当使用某个波段来分割节点时,它减少了这种杂质。该波段的重要性分数是其实现的总杂质减少量,平均分布在森林中的所有树上。然后根据这些聚合的重要性分数对所有波段进行排名,形成基于SFM的排名。SFM仅保留最具信息量的波段,并在此减小的波段集上重新训练和评估分类器。
在LSS-HCNN中,挤压-激励(SE)块为每个光谱带提供重要性分数(Hu等人,2018;El Bergui等人,2025)。这里,H、W和K分别表示高光谱图像的高度、宽度和波段数量。设X∈RH×W×K表示由空间卷积产生的特征图。索引i∈{1,…,H}和j∈{1,…,W}表示空间坐标,k∈{1,…,K}表示光谱带。SE块的挤压步骤对每个波段应用全局平均池化,得到:zk=1HW∑i=1H∑j=1WXi,j,k。zk是第k个波段特征图的全局空间平均值。SE块的激励步骤通过一个具有缩减比率r的两层神经网络传递z=[z1,…,zK]?:s=σ(W2δ(W1z))∈(0,1)K,其中δ是PReLU激活函数,σ是Sigmoid激活函数。这个过程产生了波段权重sk,将特征图重新缩放为:X?i,j,k=skXi,j,k。由于特征图与原始波段保持对齐,sk可以直接解释为波段重要性分数。为了全局排名,对sk在验证集上进行平均,得到s?k,并按降序排序波段以形成基于SE的排名。
在这两种排名方法(SFM和SE)中,通过评估不同数量顶级波段的OA来确定最佳的光谱带数量,通常会显示出准确率最初增加然后趋于平稳的曲线。使用肘部方法(Syakur等人,2018)选择最佳子集,该方法可以识别出曲线上的改进率显著减缓的点。这形成了一个“肘部”,表明了分类性能和数据减少之间的平衡。
除了计算效率之外,基于重要性分数的光谱带选择还应通过突出对区分贡献最大的波长来支持可解释性(Be?等人,2025)。从化学角度来看,有信息量的波段预计与由近红外中的分子振动驱动的聚合物特定吸收化学结构相关。在近红外范围内,聚合物的反射光谱由分子振动驱动(Be?等人,2021)。当入射光的波长与聚合物的化学键的自然振动频率及其谐波相对应时,会发生能量吸收现象。因此,有信息量的波长预计与聚合物的化学指纹相关。然而,给定的波长可能对多种聚合物都有信息量,这意味着它本身可能不具有区分性。因此,区分性依赖于结合多个互补的波长来捕捉不同聚合物之间的差异,而不仅仅是一个共享的吸收特征。第4.2节将提出的降维方法选择的波段与文献中报道的与聚合物相关的吸收波长进行了比较(Garaba和Dierssen,2020b;Werner等人,2025)。这种定性联系有助于减少主要受数据集特定效应影响的波长选择风险,并增强了模型足够稳健以进行实时监测浮动塑料碎片的可靠性。
2.2 基于补丁和基于像素的融合
在这项工作中,任务被表述为使用光谱-空间补丁的中心像素分类。每个输入补丁提供了局部光谱-空间上下文,而目标是位于补丁中心的单个参考像素的类别。对于大小为P×P的均匀大小的补丁,参考中心像素一致地定义在索引(P/2, P/2)处。
本研究的目的是融合两个模型的输出。DL模型LSS-HCNN将整个补丁作为输入(基于补丁的预测)来分类中心像素。机器学习模型(在我们的案例中是RF)仅将中心像素光谱作为输入(基于像素的预测)。这种组合是有用的,因为当周围上下文是纹理化的时,补丁提供了必要的空间信息,而当周围上下文具有误导性时,单个像素的光谱特征更为适用。在水生环境中,空间维度进一步受到两个关键物理变量的影响:部分浸没和碎片大小。部分浸水的碎片或湿润的碎片会导致显著的光谱衰减,尤其是在近红外(NIR)到短波红外(SWIR)范围内(Zhu和Kanaya,2023年;Olyaei等,2024年)。这种衰减现象可能会掩盖所观察聚合物的吸收特性。这导致同一塑料碎片内部的光谱不均匀性,其中浸水的塑料可能更类似于水背景,而不是干燥的塑料。此外,宏观塑料(>5毫米)和微塑料(<5毫米)之间的尺寸差异影响了空间上下文的实用性。对于宏观塑料,LSS-HCNN可以有效地学习纹理模式。然而,对于接近传感器空间分辨率的小碎片,邻域上下文主要受背景影响,因此基于像素的预测对于识别更为可靠(Serranti等,2024年;Garaba和Dierssen,2018年)。提出的融合方法旨在通过依赖基于像素的策略来减轻这些影响,当来自斑块的空间上下文不明确或具有误导性时。
设C为类别数量,{1,…,C}为标签集。对于一个斑块x,设pDL(x)∈[0,1]C为由LSS-HCNN预测的类别概率向量,pML(x)∈[0,1]C为由ML模型预测的类别概率向量。每个向量的和为一。任何融合方法都会产生一个融合后的后验概率p?(x)∈[0,1]C和一个最终预测:y?(x)=argmaxc∈{1,…,C}p?c(x),其中argmax返回具有最大概率的类别索引。接下来的小节将介绍不同的方法来评估p?(x)。
2.2.1 简单平均(AVG)
这种融合方法将两个概率向量平均:p?AVG(x)=1/2(pDL(x)+pML(x))。虽然平均可以减少模型部分独立误差时的方差,但它没有考虑单个模型预测的可靠性或置信度(Kittler等,2002年)。
2.2.2 凸和(CS)
这种融合方法允许使用一个固定的全局权重α∈[0,1],该权重在验证集上选择和调整:p?CS(x)=αpDL(x)+(1?α)pML(x)。当α=1/2时,结果就是简单平均。当α≠1/2时,结果偏向在验证集中表现更好的模型(Kittler等,2002年)。
2.2.3 置信度门控选择(Gate)
这种融合方法选择每个样本上更自信模型的输出(Mohandes等,2018年)。置信度通过预测熵来衡量。对于任何概率向量p∈[0,1]C,H(p)=?∑c=1Cpclogpc,其中log是自然对数。当一个类别占主导时(高置信度),熵较小;当概率均匀时(不确定),熵较大。为了跨模型比较,使用该模型的验证统计数据进行熵的归一化:(1)?H?(p)=H(p)?Hmin/Hmax?Hmin+?∈[0,1],其中Hmin和Hmax是该模型在验证集上观察到的最小和最大熵,且?>0以避免除以零。然后选择:p?Gate(x)=pb?(x),其中pb?(x)=argminb∈{DL,ML}H?(pb(x))。换句话说,使用具有最低归一化熵的模型的概率向量。
2.2.4 不确定性感知融合
本文提出了不确定性感知融合方法。与进行单一模型输出硬选择的置信度门控方法不同,这种方法使用从它们的不确定性中衍生的动态、样本级权重来组合两个概率。这种策略使其不同于AVG和CS方法的固定全局权重。这允许融合在每个斑块上倾向于更自信的模型,同时仍然使用另一个模型的信息。
非负权重的归一化不确定性H?(见公式(1)被映射到一个指数函数w,如下所示:wDL(x)=exp(?λH?(pDL(x))),wML(x)=exp(?λH?(pML(x))),其中系数λ>0在验证集上确定。较大的λ使得融合更依赖于更自信的模型。融合后的概率是归一化的凸和:p?(x)=wDL(x)pDL(x)+wML(x)pML(x)/wDL(x)+wML(x)。当两个模型都自信并且意见一致时,结果接近于平均值,并且减少了方差。当一个模型自信而另一个模型不确定时,融合结果倾向于更自信的模型。当两个模型都不确定时,该方法在两个模型之间取得平衡。
3. 材料
3.1 原始数据集
本研究使用的原始数据集是Tasseron等人(2021b)开发的公开可用的HyperPlastic数据集。该数据集主要由来自家庭来源的原始塑料物件组成(Tasseron等人,2021a)。它包括各种聚合物的超光谱图像,包括高密度聚乙烯(HDPE)、低密度聚乙烯(LDPE)、聚对苯二甲酸乙二醇酯(PET)、聚丙烯(PP)、聚苯乙烯(PS)以及一些有机和其他材料类别。这些聚合物在海岸和海洋环境中最为常见(Schwarz等人,2019年;Morales-Caselles等人,2021年;Barry等人,2023年)。这里,有机类别特指天然生物材料(例如植被),遵循原始HyperPlastic数据集的术语,以区分自然产生的漂浮碎片和合成的人为聚合物。此外,地面真实标签是在像素级别分配的(见数据集注释的补充材料),而不是在对象级别。当对象包含不同的元素(例如盖子和瓶身)时,每个元素的像素分别标记,以避免将多材料对象视为单一聚合物。
塑料物品在受控的实验室条件下进行扫描(见图2),使用的数据集作者(Tasseron等人,2021a)详细描述的雙摄像头推扫装置。采集系统结合了两个具有不同离散波长采样的相机。它由一个Specim FX10(VIS-NIR,400–1000 nm,224个波段,1024个像素)和一个Specim FX17(NIR,900–1700 nm,112个波段,640个像素)组成,其光谱采样分别约为2.7 nm和7.1 nm(Specim Spectral Imaging,2022年)。样品在暗室环境中的均匀卤素照明下通过线性平移台进行扫描,并放置在一个黑色水容器中。图像采集以25 fps的速度进行,积分时间根据样品的亮度从4到8毫秒不等。放射度校准使用高反射率白色Spectralon参考样品和机械快门关闭时获取的暗参考样品完成。反射率计算公式为R=(Iraw?Idark)/(Iwhite?Idark),其中Iraw是给定像素和波长的原始数字信号,Idark是暗参考信号(快门关闭时),Iwhite是在相同照明和采集设置下在Spectralon目标上获取的白色参考信号,R是结果校准后的反射率。在丢弃光谱中的噪声波段后,我们保留了FX10的134个波段(489–850 nm)和FX17的98个波段(980–1670 nm),并使用保留波段上的每像素最小-最大缩放对校准后的反射率数据进行归一化。
值得注意的是,Specim FX17是一种广泛用于塑料识别的线扫描超光谱传感器(Alboody等人,2023年;Tasseron等人,2022年;Beck等人,2023年)。然而,其光谱范围(900–1720 nm)有限,只能检测聚合物分子振动频率的谐波,尤其是在丢弃噪声波段后(在此数据集中达到1670 nm)(Specim Spectral Imaging,2022年)。因此,在此硬件限制窗口内运行的模型必须依赖1670 nm以下的NIR特征进行信息提取。尽管存在这些硬件限制,我们的结果表明,VIS-NIR(489–850 nm)和NIR(980–1670 nm)数据的组合为本研究调查的塑料类别提供了足够的区分信息。
下载:高分辨率图像(415KB)
下载:全尺寸图像
图2. HyperPlastic数据集中的物品示例(Tasseron等人,2021b)。该图仅用于视觉参考。在我们的工作中,地面真实标签是使用数据集注释在像素级别分配的。当一个物品包含多个组件(例如盖子和瓶身)时,每个组件的标记像素可以被分配到不同的类别。本研究中使用的完整物品和组件清单在补充材料中提供。
3.2 HyperPlastic数据集
在之前的研究中,El Bergui等人(2025年)使用了HyperPlastic数据集,并对从两个相机中获得的13个超光谱图像应用了图像配准方法。这个过程在空间上对齐了塑料对象,使得能够在像素级别融合光谱信息。这种融合过程产生了包含232个(即134+98)光谱带的统一超光谱图像,覆盖了从489到1670 nm的整个光谱范围。从这些融合图像中提取了1220个大小为64 × 64像素的不重叠斑块。如图3所示,VIS–NIR和NIR–SWIR超光谱图像被配准,然后它们的反射光谱被连接起来形成一个单一的VIS–NIR–SWIR超光谱图像。红色方块表示选中的不重叠斑块。
虽然这个数据集提供了一个重要的基线,但其配置在开发稳健的、现实世界的模型方面存在关键限制。首先,它依赖于一个固定的斑块大小(64 × 64),这无法灵活地找到最佳的空间上下文。其次,它没有区分包含单一纯材料类别的斑块和包含异质混合物的斑块,而这在类别边界处很常见。
下载:高分辨率图像(548KB)
下载:全尺寸图像
图3. 光谱和空间融合以及斑块提取流程。顶部:VIS–NIR图像(1500 × 1024 × 134)和NIR–SWIR图像(1500 × 640 × 98)沿着光谱轴对齐并连接起来,生成一个融合的VIS–NIR–SWIR图像(1500 × 1024 × 232)。红色方块表示我们实验中使用的选中的不重叠斑块。底部:每个传感器的像素反射光谱示例(左侧,中间)以及连接后的融合光谱(右侧)。在丢弃噪声波段后,保留的范围是489–850 nm和983–1670 nm,导致850和983 nm之间没有测量的波段。
当前研究引入了几项关键修改,以扩展和增强融合数据集,从而提高灵活性和真实性。选择了可变的不重叠斑块大小,具体为32 × 32和16 × 16像素,除了原来的64 × 64配置。选择这些斑块大小是基于原始融合HyperPlastic数据集和目标应用的考虑。首先,我们早期工作中使用的融合数据集是由不重叠的64 × 64斑块构建的(El Bergui等人,2025年)。在当前研究中,我们保留了这种原始配置,并引入了32 × 32和16 × 16的变体作为一致的子尺度,尽管通常使用奇数大小的斑块来确保标记像素周围的对称邻域(Ma等人,2025年)。其次,增加斑块大小通常提供更丰富的空间上下文,但也增加了来自参考像素周围相邻类别的干扰风险(Ma等人,2025年)。因此,斑块大小限制为64 × 64配置,以便分析空间上下文、斑块内部异质性和计算成本之间的权衡。这种修改允许研究不同大小的物体,并能够测试计算负担较轻的斑块配置(即32 × 32和16 × 16),以找到最佳的性能-效率平衡。另一个重要的进步是基于它们的空间组成对斑块进行分类。在本研究中,区分了“FULL”斑块(仅包含属于单一类别的像素)和“MIXED”斑块(包含来自不同类别的像素)。后者更好地模仿了现实世界场景,其中漂浮的碎片很少是孤立的,通常以混合或杂乱的形式出现。对于MIXED斑块,斑块标签被赋值为中心像素的类别,确保了即使存在斑块内部异质性也有一个一致的目标。更一般地说,本研究中的所有基于斑块的实验都遵循中心像素分类设置,其中斑块仅用于提供空间信息,预测标签被分配给参考的中心像素,而不是整个斑块区域。除了对象类别外,还引入了一个专用的背景类别,以表示没有物体的区域,允许模型区分材料与其周围环境。尽管背景掩蔽是超光谱成像中的常见预处理步骤,但在这里有意保留背景作为一个明确的类别。通过阈值对背景进行掩蔽通常用于最小化非目标像素的干扰(Li等人,2021年)。然而,背景外观可能变化并与目标反射率重叠,使得基于阈值的掩蔽在实践中不可靠(Balsi等人,2021年)。通过将背景作为一个类别来学习,模型被鼓励使用光谱-空间信息而不是依赖启发式阈值来区分塑料和周围背景(Balsi等人,2025年;Serranti等人,2024年)。这种设计选择特别适用于水生场景,因为在这些场景中,照明效应(例如阳光反射)和部分浸水可能会局部增加或减少光谱强度(Giles等人,2021年)。
由于只有13个融合图像可用,因此无法进行图像分离。这个数量太少,无法保证所有类别都会出现在所有三组数据(训练/验证/测试)中。采用了严格的非重叠规则来进行数据分割。每个数据块仅属于一个分割部分,训练集、验证集和测试集之间不共享任何像素。按照类别和数据块类型(全色/MIXED)采用60/20/20的分层分割,并且对每种数据块大小配置独立应用这一规则。这意味着数据块根据其类别和类型被分成不同的子组。这种分层确保每个子组的分割比例完全相同,从而避免了某个子组同时存在于训练集但缺失于测试集或验证集的情况。图4总结了不同数据块大小下的类别和类型分布。MIXED类型的数据块比例随着数据块大小的增加而增加,这是因为较大的数据块更有可能与材料边界或材料之间的边界重叠,导致多个类别同时出现。
3.3 实现细节
对于LSS-HCNN,采用了与原始论文(El Bergui等人,2025年)相同的训练设置。模型训练了600个周期,批量大小为32,选择在该周期内达到最佳验证准确率的模型。优化器使用Adam,学习率为10^-3,损失函数为交叉熵。为了保证结果的可复现性,随机种子设置为42。空间卷积每个波段使用3×3的核。SE模块采用16的降采样比例。光谱卷积使用1×1大小的64个核。
对于机器学习基线方法(RF、SVM、kNN、LDA),在验证集上进行网格搜索超参数优化,并保留验证精度最高的模型。所有机器学习模型都使用中心像素光谱作为输入,并采用与深度学习模型相同的训练/验证/测试划分。
4.1 比较机器学习和深度学习性能
对于基于数据块的方法,LSS-HCNN在16×16(16个数据块)、32×32(32个数据块)和64×64(64个数据块)的尺寸上进行训练。对于基于像素的基线方法,分别训练RF、SVM、kNN和LDA。在基于像素的分类中,使用数据块的中心像素,以便样本数量与基于数据块的分类保持一致。所有模型都在相同的测试图像上进行评估。
如表1所示,无论使用哪种模型,32×32的数据块尺寸始终能够实现最高的性能。这表明32×32的数据块大小在局部上下文和保持数据块一致性(即不跨越类别边界)之间提供了最佳的折中。在16×16的数据块尺寸下,空间上下文受限,导致纹理信息的捕获能力略有下降。在64×64的数据块尺寸下,数据块更频繁地跨越类别边界(MIXED类型),降低了数据块的内部一致性。对于基于像素的模型,这意味着中心像素经常处于包含多种材料的异质环境中,其周围环境中的光谱混合了这些材料的贡献,从而降低了类别可分性。相比之下,32×32的数据块尺寸提供了足够的空间上下文来稳定判断,同时避免中心像素受到边界效应的影响。因此,32×32的数据块尺寸在基于数据块和基于像素的分类设置中都获得了最高的准确率。
此外,LSS-HCNN基于数据块的方法在所有数据块尺寸上都表现出优越的性能。这与它的轻量级设计相符,该设计同时提取了空间和光谱特征。结合这两种信息使其比仅依赖像素的分类器更可靠。在机器学习方法中,RF的表现最佳(例如,在32个数据块的情况下准确率为92.15%),这反映了其在捕捉非线性波段间相互作用方面的鲁棒性。使用Cohen's kappa系数和F1分数进行排名时,也保持了这一优势,证实了LSS-HCNN在多种评估指标上的优越性,既体现了更强的一致性,也实现了更均衡的类别间性能。
4.2 波段选择
在这项研究中,波段选择非常重要,因为高光谱图像在光谱维度上高度冗余。仅保留最具信息量的波长可以保持准确率,同时减少存储需求、训练成本和模型大小,并解决维度灾难问题,后者会降低分类准确率。此外,波段选择还可以指导特定任务的多光谱传感器设计。
本实验旨在分析和比较两种类型模型的波段选择方法:基于机器学习的模型(基于像素)和基于深度学习的模型(基于数据块)。由于第4.1节中32×32的数据块尺寸取得了最佳结果,因此仅使用这个尺寸来分析波段选择方法。对于基于数据块的方法,波段选择由LSS-HCNN的SE模块权重驱动。对于每个验证数据块中的每个波段,计算一个重要性得分,并将这些得分在验证集上平均,得到每个波段的全局重要性得分。然后按照得分降序对波段进行排序,并在top-N个波段上重新训练LSS-HCNN,其中N∈{1,…,20}。对于基于像素的方法,使用RF的重要性得分,因为RF在32×32尺寸下是最强的机器学习基线,并为每个波段提供了一个可解释的重要性得分。然后按照RF重要性得分降序对波段进行排序,并在top-N个波段上重新训练RF模型,其中N∈{1,…,20}。对于每种波段选择方法,确定一个拐点波段N?(即从验证准确率曲线中开始出现平局的最小N值)。之后在RF的拐点子集上重新训练LSS-HCNN,在SE的拐点子集上重新训练RF。图5绘制了基于32个数据块时,RF(红色)和LSS-HCNN(蓝色)的验证准确率与选定波段数量的关系。对于RF,曲线从N=1时的约28%增加到N=5时的约70%,然后趋于平稳;在N=10时达到约79%,N=20时仅为约82%。对于LSS-HCNN,准确率从N=1时的约36%增加到N=4时的约83%,在N=6左右超过90%,然后在N≥10时缓慢提高至约95%。在这两种情况下,拐点都出现在N≈6。因此,两种波段选择方法都采用了N?=6。
表2评估了每种波段选择方法选择的6个波段子集在模型间的泛化能力。RF在SE选择的6个波段上重新训练(SE(N?=6),LSS-HCNN在RF使用的SFM选择的6个波段上重新训练(RF(N?=6))。结果显示,在N?=6时,SE选择的波段具有更好的泛化能力。RF通过SE选择的波段达到82.89%的准确率,而RF选择的波段仅为79.91%;LSS-HCNN通过SE选择的波段达到90.08%的准确率,而RF选择的波段仅为88.10%。
这可以通过SE模块的机制来解释,SE模块通过在LSS-HCNN模型内部学习波段的重要性来进行更复杂的波段选择。SE模块在初始的空间卷积提取每个波段的纹理和空间信息后分配重要性权重。因此,每个波段的SE重要性得分反映了为了最小化最终分类误差而学习到的空间-光谱贡献。相比之下,RF的重要性得分较为简单,是在模型训练后计算的基于像素的统计值。这意味着RF模型仅基于每个像素的值(即其光谱特征)来确定波段的重要性,完全忽略了纹理或邻近信息等空间上下文。该得分是一个统计量(Gini不纯度的减少),用于衡量波段在分离类别方面的有效性。
总体而言,结果清楚地展示了准确性と効率之间的关键权衡。如表2所示,SE选择的紧凑六个波段子集(LSS-HCNN的准确率为90.08%)虽然导致准确率下降了6.7%,但LSS-HCNN模型在计算效率上获得了巨大的提升,如表3所示。通过将输入从232个波段减少到6个波段,LSS-HCNN模型的操作次数减少了23倍(从1887百万次浮点运算减少到810万次),参数数量减少了20倍。这转化为模型处理输入数据块并输出预测的实际时间减少了近3倍(从每数据块0.83毫秒减少到0.28毫秒)。训练时间也大幅减少(从1.9小时减少到0.37小时,减少了5倍)。因此,这种紧凑的六个波段子集在计算资源受限的部署和传感器设计中是一个实用的选择,尤其是在深度学习方法中。
表3总结了LSS-HCNN模型通过波段选择实现的计算效率提升。FLOPs表示一次前向传递的浮点运算次数。推理时间是模型处理输入数据块并输出预测的实际时间。训练时间是模型完全训练所需的时间。
表4列出了SE(N?=6)和RF(N?=6)选择的6个波段子集在32个数据块上的验证准确率。SE(N?=6)选择的波段子集使LSS-HCNN的准确率达到90.08%,而RF选择的波段子集使LSS-HCNN的准确率达到90.08%,RF选择的波段子集使LSS-HCNN的准确率为88.10%。因此,我们数据中最近的可用波段可能与文献中报告的波长相差几纳米,但仍能捕捉到相同的吸收特征。表4. SE选定的波长、相应的采样波长区间以及文献中报告的代表性NIR特征。
SE选定的(nm) 文献特征(nm) 参考文献
827.5 ± 1.35 Biermann等人(2020b)
1053.4 ± 3.55 Moshtaghi等人,2021年;Garaba等人,2021年
1123.7 ± 3.55 Werner等人(2025年)
1201.1 ± 3.55 Moshtaghi等人,2021年;Werner等人,2025年
1624.7 ± 3.55 Bassey等人(2021年)
1653.1 ± 3.55 Werner等人(2025年)
表5. 对于32 × 32和64 × 64块区域,各个模型和融合策略的总体准确率(OA)、Cohen’s kappa系数和F1分数。结果分别显示了所有光谱带和通过SE选择的N?=6个波段的子集。
方法 OA(%) Kappa系数 F1分数
空白单元格 全部(N=232) SE(N?=6) 全部(N=232) SE(N?=6) 全部(N=232) SE(N?=6)
空白单元格 3264 3264 3264 3264 3264 3264 3264
RF 92.15% 85.67% 82.89% 78.10% 0.91 10.84 20.79 90.74 20.91 40.85 10.80 80.75
LSS-HCNN 96.78% 91.93% 90.08% 85.32% 0.96 30.90 80.88 10.83 70.96 50.91 60.88 90.84
简单平均 96.85% 92.44% 90.65% 86.01% 0.96 40.91 40.88 80.84 60.96 60.92 10.89 60.85
凸和 96.92% 92.87% 90.92% 86.43% 0.96 50.91 90.89 10.85 10.96 70.92 60.89 90.85
置信门 96.90% 93.15% 91.10% 86.75% 0.96 50.92 20.89 40.85 50.96 70.92 90.90 20.86
不确定性感知 97.05% 93.62% 91.25% 87.24% 0.96 80.92 90.89 60.86 10.96 90.93 60.90 40.86
4.3 融合结果
本实验的目的是评估将基于块的LSS-HCNN预测与基于像素的RF预测相结合是否可以在实际条件下提高鲁棒性。如4.1节所讨论的,基于块的模型可以从空间上下文中受益,但可能受到主导邻近上下文的影响,偶尔会错误分类连续的局部区域;而基于像素的模型则忽略了中心像素周围的上下文。然而,在类别边界处,像素往往是混合的,这使得基于像素的决策更加敏感,容易受到椒盐噪声的影响。因此,融合旨在利用互补的错误类型:保留基于块的LSS-HCNN的空间连贯性,同时在它们更有信力的地方利用基于像素的决策。表5报告了在32个和64个块上,不同融合策略在两种光谱设置下的测试集分类结果,评估指标包括OA、Kappa系数和F1分数。第一种设置使用所有可用的光谱带;第二种设置使用通过SE选择的N?=6个波段的子集。使用所有波段时,LSS-HCNN已经表现出高性能,特别是对于32个块,因此融合只带来了边际改进。在64 × 64的情况下,由于异质性更高,融合一致提高了性能。使用N?=6个波段时,与使用所有波段的设置相比,绝对准确率有所下降,但融合仍然提供了可测量的提升。在所有情况下,不确定性感知融合产生了最佳结果,证实了根据置信度动态加权模型预测的优势。
下载:下载高分辨率图像(1MB)
下载:下载全尺寸图像
图6. 分类图的定性比较。列:以假彩色显示的高光谱图像、相应的地面真实图像、使用所有波段的预测(N=232)、使用SE块选定的波段的预测(N?=6)以及类别图例。行:DL(LSS-HCNN)、ML(RF)以及使用不确定性感知技术的融合。放大区域突出显示了边界区域的局部差异。
这些发现突出了三个关键见解。首先,融合并不总是有益的。当DL模型已经捕获了足够的空间-光谱上下文时,如在32个块的情况下,融合的改进是微小的(使用不确定性感知融合和所有波段时增加+0.27%)。这表明在较简单的设置中,两种模型之间的信息重叠限制了融合的附加价值。其次,随着异质性的增加,融合变得更加有效,如64个块的情况所示(使用不确定性感知融合和所有波段时增加+1.69%)。在这些情况下,DL模型可能会被上下文复杂性分散注意力,而RF模型通过关注中心像素的光谱提供了互补的证据,融合在两者之间取得了平衡,抑制了RF噪声,同时保持了DL模型的空间连贯性。第三,不确定性感知融合技术提供了比其他策略更一致的收益。这突显了根据置信度动态加权模型贡献的重要性,而不是依赖于静态规则或硬性门控。这些结果表明,不确定性感知融合是一种适用于现实世界部署的实用策略,在这些部署中,不可避免地会出现具有重叠材料的异质碎片堆。
4.4 可视化
为了定性地评估模型的行为,将模型应用于完整的高光谱图像,并可视化生成的分类图。这使得能够直观地比较各种方法,并了解模型对整个场景的泛化能力。对于RF,通过在像素级别对每个像素进行分类来获得预测。对于训练有素的LSS-HCNN模型,也为每个像素生成了类别预测,但每个预测都是基于一个32 × 32的光谱-空间块,参考像素一致地定义为(P/2, P/2),对于大小为P×P的块。
重要的是要区分用于定量实验的协议和用于全场景可视化的协议。定量分类实验是在提取的、不重叠的块上进行的,以保持训练集、验证集和测试集之间的严格分离。相比之下,全图像分类图是通过密集滑动窗口预测生成的。因此,相邻像素是从高度重叠的邻域中预测的,而不是来自独立的平铺块。在图像边界处,应用了反射填充,以保持邻域大小的一致性。
使用所有可用的光谱带可视化LSS-HCNN基于块的预测和RF基于像素的预测。此外,还展示了LSS-HCNN和RF的预测,这些预测分别限制在LSS-HCNN的SE块选择的N?=6个波段上,以及两种模型的预测与所有波段和N?=6个波段的融合结果。这些分类图允许定性检查LSS-HCNN和RF预测之间的差异,以及降维和模型融合对图像分类的影响。
图6中展示的视觉结果显示了一个一致的模式。使用所有232个波段时,LSS-HCNN模型产生了连贯的分类图。这种分类图紧凑,内部通常不会碎裂,边界平滑。将LSS-HCNN和RF与所有波段融合进一步锐化了边缘并抑制了残留的背景伪影,产生了最清晰的输出。当限制在SE块选择的六个波段上时,LSS-HCNN仍然可用,但丢失了一些细节,其中小片段更容易被遗漏,边界显示出轻微的错误分类。RF分类图在这两种设置中都是最弱的,噪声和错误在SE块选择的六个波段下变得更加严重。因为基于像素的RF忽略了所有邻居,单个像素中的任何小光谱异常都可能导致它被错误分类,从而产生了噪声严重的椒盐分类图。放大部分集中在边界区域。使用所有232个波段时,LSS-HCNN产生了紧凑的内部和大致平滑的轮廓,但在突出显示的区域仍然显示了局部错误分类。不确定性感知融合纠正了这种错误,并进一步减弱了残留的背景噪声,而RF产生了椒盐噪声。使用SE选择的六个波段时,RF受到明显的椒盐噪声的影响,LSS-HCNN抑制了大部分噪声,但略微错误分类了一些区域。融合纠正了这些部分,并进一步抑制了噪声,同时保持了平滑的内部,表明了融合的优势。
5. 限制和未来工作
本研究的一个关键发现是光谱分辨率与计算效率之间的权衡。我们证明了将光谱带从232个减少到6个亚组可以将深度学习模型的浮点运算减少20倍以上,同时保持90%的准确率。这一结果对于适应性非常重要,因为它支持在无人机上使用紧凑型、定制多光谱传感器的可行性,而不是使用耗电量大、功率要求高的高光谱相机。同时,如果硬件限制允许,将选定的波长扩展到1700纳米以上的更长SWIR区域,可以通过已知的聚合物吸收特征进一步提高聚合物的分离能力。
此外,碳黑着色的物品(例如黑色塑料)是VIS-NIR反射光谱学的一个已知难题,因为碳黑强烈吸收光线,降低了反射信号的能量。由此产生的低光谱对比度限制了基于NIR的传感器可靠地识别聚合物的能力(Becker等人,2017年)。因此,我们将黑色塑料作为一个相关的限制和未来工作的重要方向,可能需要考虑中波红外(MWIR)或中红外(MIR)等替代光谱域(Roming等人,2026年;Zou等人,2025年)。
虽然当前的结果建立了一个坚实的基准,但操作鲁棒性需要考虑真实的海洋操作条件,而不是受控的实验室条件。海洋碎片很少是完好无损和干燥的;它们通常是湿润的、部分浸没的、风化的或覆盖有生物膜的。这些条件引入了光谱变异性,训练在干燥、原始塑料上的模型可能会误解这些变化。特别是,湿润和浸没会由于水分吸收而减弱光谱响应。同样,生物污染和随时间的风化也会改变光谱响应,与干净样本相比,这可能会降低模型在现实世界场景中的可转移性(Leone等人,2022年)。为了应对这些限制,未来的工作将集成领域适应策略和额外的真实世界代表性数据。在变化条件下获取的现场图像上进行验证对于确认所提出的轻量级架构在真实世界场景中的可转移性至关重要,并完善波段选择,以获得鲁棒的多光谱配置。
另一个限制是,这里的分类图是通过基于块的分类和融合获得的,而不是通过训练端到端的编码器-解码器分割架构(Liu等人,2025年)获得的。然而,这些架构通常需要更多完全标注的场景,并且在直接应用于高维高光谱立方体时可能会占用大量内存,这与LSS-HCNN所追求的嵌入式和板载限制相冲突。因此,未来的工作将在相同的数据划分和硬件限制下基准测试编码器-解码器基线,包括处理时间,以量化相对于LSS-HCNN和所提出的融合的准确性与效率之间的权衡。
6. 结论
准确检测和识别塑料碎片对于支持更有效的清理行动以及提高我们对开放海洋和河流中碎片组成和位置的理解至关重要。遥感和深度学习作为监控工具显示出强大的潜力,但实际应用需要不仅准确而且轻量级和高效的模型。最近开发的LSS-HCNN代表了朝这个方向迈出的有希望的一步,因为它结合了通过基于块的设计从高光谱图像中提取的光谱和空间信息。然而,其属性和限制仍然不足探索。
在这项研究中,评估了LSS-HCNN的几个方面,包括块大小和波段选择。我们的结果证实,DL模型的性能优于传统的机器学习方法,超过了表现最佳的随机森林超过4%。研究还表明,块大小起着关键作用:虽然较大的块捕获了更丰富的上下文,但它们也在对象边界引入了更多的异质性。因此,在上下文信息之间找到平衡是实现鲁棒性能的关键,在我们的研究中,32个块的大小表现优异。通过减少冗余和噪声,同时降低计算需求,找到了分类性能和计算效率之间的最佳平衡。虽然仅使用六个波段的子集导致性能下降(LSS-HCNN使用六个波段时准确率达到90%,而使用所有波段时为96.8%),但这种配置大幅减少了计算需求(例如,LSS-HCNN的参数和FLOPs减少了20倍以上)。这突显了一个关键的权衡:六个波段的子集提供了一个实用的解决方案,其中计算效率是一个主要限制。
为了进一步增强具有挑战性区域(如对象和类别边界)的鲁棒性,引入了基于块的(LSS-HCNN)和基于像素的(RF)方法之间的融合策略。在几种融合技术中,提出的基于置信度权衡模型预测的不确定性感知方法是效果最好的,准确率达到97%。定性可视化证实LSS-HCNN在大型对象内提供了连贯的结果,而融合纠正了错误分类并抑制了噪声,提供了更可靠的分类图。
总体而言,这项工作展示了基于块的LSS-HCNN结合波段选择和自适应融合与基于像素的RF的优势。这些结果为实时和板载塑料监测系统开辟了新的机会,在这些系统中,减少模型复杂性和提高鲁棒性至关重要。通过提高塑料检测管道的可靠性,这项研究为更有效的环境监测策略和更好地了解水生生态系统中的塑料污染做出了贡献。
cRediT作者贡献声明
Adam El Bergui:撰写——原始草稿、可视化、方法论、形式分析、数据整理、概念化。
ámbar Pérez-García:撰写——原始草稿、可视化、方法论、概念化。艾丽斯·波雷布斯基(Alice Porebski):负责写作、审稿与编辑、内容验证以及提供相关资源。尼古拉斯·范登布鲁克(Nicolas Vandenbroucke):同样负责写作、审稿与编辑、内容验证以及提供资源。何塞·F·洛佩兹(José F. López):负责项目监督、项目管理以及资金筹措。
关于生成式人工智能和人工智能辅助技术在写作过程中的应用:
在撰写本作品的过程中,作者们使用了Grammarly和ChatGPT来提升文字的清晰度和连贯性。根据需要,作者们对内容进行了审稿和编辑,并对最终发布的作品内容负全部责任。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号