《Journal of Water Process Engineering》:Integrating machine learning with Raman spectroscopy for microplastic identification and classification: Method construction and application
编辑推荐:
•提出了一种用于实际水环境中的微塑料分类方法。•采用多种子五折交叉验证方法,以确保统计结果的严谨性。•支持向量机和一维卷积神经网络分别实现了63.45%和63.08%的较高准确率。•通过消融实验验证了主成分分析与数据增强方法的协同去噪效果。引言微塑料已成为全球性的环境问题[1]。
- •
提出了一种用于实际水环境中的微塑料分类方法。
- •
采用多种子五折交叉验证方法,以确保统计结果的严谨性。
- •
支持向量机和一维卷积神经网络分别实现了63.45%和63.08%的较高准确率。
- •
通过消融实验验证了主成分分析与数据增强方法的协同去噪效果。
引言
微塑料已成为全球性的环境问题[1]。在自然环境中,塑料会通过风化、光氧化和生物降解等过程逐渐分解为细小颗粒。尺寸在1微米到5毫米之间的这类颗粒被称为“微塑料”[2]。微塑料难以被自然降解,且由于其表面积较大,容易吸附水体中的重金属和持久性有机污染物等有毒物质,成为污染物传输的载体[3]。它们可通过被水生生物摄入进入生态系统,并在食物链中不断积累,对生态系统功能及人类健康构成潜在威胁[4]、[5]、[6]。污水处理厂是微塑料在陆地与水生环境之间迁移路径上的关键节点。尽管处理工艺能够去除大部分微塑料,但由于需处理的污水量巨大,仍有大量微塑料通过处理后的废水进入自然水体[7]、[8]、[9]。监测数据显示,人口密集地区的城市湖泊和河流中的微塑料浓度通常更高[10]、[11]、[12]。例如,中国黄河中的微塑料含量每立方米在5358到654,000颗之间[13],这一数值反映了微塑料污染的严重性,也凸显出开发快速准确的识别与分类技术的紧迫性。同时,在污染源处进行系统性控制也是环境工程领域的重要发展方向[14]。
目前用于检测微塑料的方法主要包括基于显微镜的形态学分析[15]、基于分子振动信息的光谱分析方法,如傅里叶变换红外光谱法(FTIR)和拉曼光谱法,以及质谱分析技术,如热解-气相色谱-质谱法(Py-GC/MS)和化学解聚-液相色谱-串联质谱法(CD-LC-MS)[17]、[18]。其中,拉曼光谱法利用拉曼散射效应来分析分子振动能级,具有无损检测、样品制备简单、空间分辨率高以及检测光谱范围广等优点,已被广泛用于各类环境介质中微塑料的识别工作[19]、[20]、[21]。然而,由于微塑料的化学成分较为复杂,其拉曼光谱中常常存在大量重叠峰和噪声,这使得基于峰匹配和手动特征提取的传统方法在定性特征提取方面效率低下且准确性不足。在存在复杂基质干扰的实际水环境中的,这一问题更为突出[22]。
近年来,人工智能与化学光谱学的深度结合为突破传统分析瓶颈带来了新的可能[23]。在此基础上,机器学习方法在处理高维度拉曼光谱数据以识别微塑料方面展现出巨大潜力[24],并取得了较高的分类准确率[25]、[26]。但需要指出的是,许多报道的高性能模型主要是基于清洁的实验室级标准样品的光谱数据进行训练和验证的。当这些模型直接应用于从实际水环境采集的、通常已老化或表面有污垢的微塑料时,其识别性能会面临诸多挑战。
这类模型泛化能力不足的问题亟待解决。环境中的微塑料会经历紫外线辐射、物理磨损和生物附着等过程,从而导致其表面化学和物理性质发生变化[27]。更严重的是,水环境中的微塑料往往还带有生物污垢,如微生物生物膜,以及无机涂层,如黏土矿物和碳酸盐。这些附着物会对拉曼分析造成严重的特异性干扰[28]。具体而言,生物膜中的有机色素在激光激发下会产生强烈的宽荧光背景,其荧光强度往往远远超过微塑料本身的拉曼信号,从而导致信噪比急剧下降,特征峰完全被掩盖。此外,无机涂层或色素本身也可能具有较强的特征拉曼峰,这些外来峰可能与聚合物的特征峰重叠,增加光谱解读的难度,提高误识别的风险。
实际环境基质带来的这种光谱复杂性,使得直接从环境样品中获得的拉曼光谱质量远低于实验室标准样品的光谱。因此,许多基于清洁标准样品光谱训练的机器学习模型,在面对如此复杂的环境光谱时,其泛化能力会出现明显下降。例如,Kalatzis等人[29]在针对经海洋作用而老化的微塑料的研究中发现,即便是在相对简单的二元分类任务中,主流机器学习模型所能达到的最高准确率也只有约82.5%,这一数值低于许多基于标准样品的研究所报告的准确率。这进一步凸显出开发能够处理复杂环境光谱的更强大方法的必要性。
为此,为解决模型泛化能力不足、易过拟合以及现有方法在处理实际水环境样品时抗干扰能力差等问题,本研究基于拉曼光谱和机器学习系统,开发了一种适用于水环境的微塑料识别与分类方法。该研究通过优化检测参数并建立标准化的预处理流程来提升光谱质量。同时,采用结合物理约束和类内混合的多阶段数据增强策略来扩展训练数据集。在算法构建方面,引入嵌套交叉验证和多种子策略,以确保统计评估的严谨性。研究还利用主成分分析来探究不同微塑料的光谱分类特征及其化学组成,系统比较了四种机器学习模型(支持向量机、一维卷积神经网络、多层感知器、K近邻算法)在实际环境数据集上的分类性能与泛化稳定性。此外,本文还通过全面的消融实验定量分析了数据增强与特征降维的协同效应,并通过混淆矩阵分析研究了环境老化因素导致的误分类机制。本研究旨在探索从实验室标准样品到实际环境样品的光谱域转换难题的解决方案,为后续模型的针对性优化提供参考方向。
章节要点
样品准备
本研究选择了十种常见的原始微塑料(为颗粒状或粉末状,颗粒尺寸均小于5毫米)作为数据集的标准样品,这些微塑料包括聚丙烯、聚氯乙烯、聚四氟乙烯、聚甲基丙烯酸甲酯、聚甲醛、聚乙烯、聚对苯二甲酸乙二醇酯、聚苯乙烯、聚酰胺和聚苯醚,均购自中国东莞市樟木头镇的泰塑朗化工原料有限公司。这10种样品被分别标记为0至9号。
拉曼光谱特征
图2a展示了用于模型训练的10种标准微塑料样品的原始拉曼光谱。每种微塑料类型的特征峰都非常清晰,呈现出反映不同官能团振动特性的独特光谱特征。聚苯乙烯的主要拉曼位移值为620、797、1003、1033、1452和1606厘米负一次方;聚苯醚的主要拉曼位移值为570、833、1113、1186和1601厘米负一次方;聚氯乙烯的主要拉曼位移值为633、695、1438和2916厘米负一次方;
结论
本研究证实,将拉曼光谱与机器学习系统相结合,对于实际水环境中的微塑料分类具有重要价值。为应对基质干扰和样本数量有限的挑战,本研究构建了一个整合标准化预处理、多阶段数据增强和主成分分析的方法框架。主成分分析不仅在特征提取和降维以用于模式识别方面发挥着核心作用,同时还
CRediT作者贡献说明
金凯博:论文撰写——初稿撰写、研究工作、概念构思。窦彦彦:论文撰写——审阅与编辑、项目指导、资金获取。李阳:论文撰写——审阅与编辑、项目指导、方法设计。吕静静:结果验证、方法设计。段学军:资源提供、资金获取。陈旭东:正式分析、数据整理。梁希书:可视化处理、数据整理。敖天宇:研究工作、正式分析。卢凯奇:结果验证。陈守凯:资源提供、概念构思。
利益冲突声明
作者声明不存在任何可能影响本文研究工作的已知财务利益关系或个人关系。
致谢
本研究得到了2025年中原工业大学科研团队发展计划(编号K2025TD005)、河南省自然科学基金(编号242300421666、262300420009)以及河南省科技研发计划联合资助项目(编号252103810259)的支持。
Kaibo Jin|Yanyan Dou|Yang Li|Jingjing Lv|Xuejun Duan|Xudong Chen|Xishu Liang|Tianyu Ao|Keyi Lu|Shoukai Chen