《Journal of Hazardous Materials》:A Two-Stage Near-Infrared Framework for Screening and Quantification of Trace Soil Hexachlorocyclohexane under Strong Matrix interference
编辑推荐:
摘要六氯环己烷是一种持久性有机农药,其在土壤中的存在会威胁环境质量与食物链安全。尽管近红外光谱技术适用于高通量、无需试剂的土壤分析,但由于分析物信号较弱,且易受到土壤基质吸收和散射的影响,该技术在检测微量六氯环己烷方面仍面临挑战。这些因素使得直接浓度建模变得不稳定,而在实际数据集
摘要
六氯环己烷是一种持久性有机农药,其在土壤中的存在会威胁环境质量与食物链安全。尽管近红外光谱技术适用于高通量、无需试剂的土壤分析,但由于分析物信号较弱,且易受到土壤基质吸收和散射的影响,该技术在检测微量六氯环己烷方面仍面临挑战。这些因素使得直接浓度建模变得不稳定,而在实际数据集中,还有大量样本的检测浓度低于检测限,进一步加剧了问题。为此,我们开发了一种两阶段的可检测性引导型近红外框架,用于土壤中六氯环己烷的筛查与预测。第一阶段,采用随机森林分类器,以分析检测限作为决策边界,将样本分为已检测和未检测两类。第二阶段,则针对已检测到的样本,利用以XGBoost-CNN为核心回归器的堆叠集成模型进行定量回归分析。在四川地区的测试数据上,第一阶段的召回率为0.941,阳性预测值为0.982,AUC值为0.965,AUPRC值为0.992;第二阶段的R2值为0.8643,均方根误差为1.94,相对百分比偏差为2.73。除了预测性能之外,研究还分析了模型的决策依据。SHAP分析表明,分类结果并非由单一的六氯环己烷特征谱决定,而是主要由1300-1450纳米和1600-1750纳米区域的多波段光谱模式所决定,而这些模式又受土壤基质条件影响。进一步的研究表明,强大的预测能力源于具有不同归纳偏好的互补学习器的选择性融合。总体而言,这些研究成果推动了土壤光谱技术在微量污染物分析中的应用,为区域土壤中六氯环己烷的筛查、预测及风险评估提供了更具解释性的方法。
引言
六氯环己烷是一种持久性的有机氯农药,其在土壤中的持续存在会对环境质量与食物链安全构成威胁[1]、[2]、[3]、[4]。因此,对土壤中六氯环己烷进行可靠、具有空间分辨率的检测,对于暴露评估、风险筛查、修复工作优先级确定以及基于证据的环境管理而言至关重要[5]、[6]。
目前,土壤中六氯环己烷的检测主要依靠实验室中的目标色谱分析法,如经溶剂萃取和净化处理后的气相色谱电子捕获检测法(GC-ECD)和气相色谱-质谱法(GC-MS)[7]、[8]、[9]。这些方法具有较高的灵敏度、化学特异性以及可靠的检测结果。然而,它们存在耗时耗力、需大量溶剂和试剂以及运营成本高昂等缺陷。对于确证性分析来说,这些问题尚可接受,但当监测需求转向快速筛查、反复监测以及大范围的风险评估时,这些限制就显得尤为突出。
正是由于这些不足,人们开始关注近红外光谱技术,认为其作为一种快速、无损、无需试剂且成本低廉的工具,可应用于土壤分析。通过检测与O-H、N-H和C-H键相关的泛频吸收和组合吸收,近红外光谱技术能够在最小化样本处理量的前提下,实现多种土壤属性的高通量推断[10]、[11]、[12]。
土壤近红外分析技术的发展,其实是逐步应对日益复杂的光谱特征的一种尝试。早期的线性化学计量学方法,如多元回归[13]、PCR[14]和PLSR[15],建立了将光谱与土壤属性关联起来的可重复分析流程,但随着非线性关系和基质效应的加剧,这些方法的性能逐渐受限[16]、[17]。后续出现的机器学习方法,如随机森林[18]、支持向量机[19]和极端梯度提升算法[20],通过捕捉非线性相互作用和局部光谱结构,提升了分析的灵活性,但在更复杂的应用场景中,仍然存在两个主要问题:在异质土壤中的泛化能力有限,以及对于微量分析物的检测精度不足[21]、[22]、[23]、[24]、[25]。最近,深度学习技术通过提取层次化特征并凸显细微的光谱变化,进一步增强了光谱表征的能力[26]、[27]、[28]。
迄今为止,这些技术进展主要体现在对土壤整体属性的分析上,而将近红外光谱技术应用于六氯环己烷这类微量污染物分析,仍然面临巨大挑战。对于土壤中的六氯环己烷而言,微弱的分析物信号极易被复杂的土壤基质吸收和散射现象干扰,导致目标信号与背景信号的比值很低,变量相关性很强,且光谱与浓度的关系高度非线性且依赖于具体环境条件[29]、[30]。在实际检测中,还有大量样本的检测浓度低于检测限,这进一步扰乱了直接回归分析的结果,也使得已检测样本与未检测样本之间的界限变得模糊。目前,大多数基于近红外的土壤污染物研究都将分析物浓度估算视为直接的回归问题,未能充分考虑检测限的影响。而对于土壤中的微量六氯环己烷而言,核心分析任务不仅是预测其浓度,还要判断该样本相对于参考方法是否可被检测到。这就需要一种以检测限为指导的工作流程,将检测性筛查、预测以及基于基质条件下的光谱特征解读结合起来,目前这方面还存在方法学上的空白。
为解决这一问题,我们开发了一种两阶段的可检测性引导型近红外框架,用于预测土壤中六氯环己烷的浓度。第一阶段,采用随机森林分类模型,以分析检测限作为决策边界,将样本分为已检测和未检测两类。第二阶段,则针对已检测到的样本,利用以极端梯度提升-卷积神经网络为核心回归器的堆叠集成模型进行定量回归分析。这种设计将筛查与预测任务分开,降低了低检测限样本对浓度建模的负面影响,同时还能通过融合不同的回归模型,提高在复杂土壤条件下的预测准确性。除了预测性能之外,我们还通过基于SHAP的波长贡献分析和堆叠模型贡献分析,进一步研究了该框架的运作机制,从而从模型层面明确了决策的光谱依据以及模型优势的来源。该框架旨在作为一种前置的筛查和优先级判定工具,为确证性分析提供指导,而非替代之。
因此,本研究不仅旨在提升基于近红外光谱技术的土壤六氯环己烷浓度预测精度,还希望明确模型在复杂土壤基质中所学习的特征。具体而言,我们想了解模型的检测性判断是基于六氯环己烷的独特特征谱,还是基于受土壤基质影响的多元光谱模式;同时,也想知道强大的预测能力是来自某一种优秀的单一模型,还是来自多种互补模型的融合。通过回答这些问题,本研究有望推动土壤光谱技术在微量污染物分析领域的应用,为其在快速筛查和风险评估中的应用提供更具解释性和实用价值的理论基础。
章节摘录
数据集
该研究的数据集来源于中国四川省境内多个分布广泛的采样点(东经97°21′-108°33′,北纬26°03′-34°19′,见图1A),涵盖了不同的地貌类型、土壤类别以及人类活动影响程度,因此能够充分反映所研究区域内的土壤多样性。
共采集了720份0-20厘米深的表层土壤样本。在每个采样点,首先在半径0.5米范围内采集4份子样本,然后将这些子样本混合成一份复合样本,之后将其密封保存。
分类模型的效果
该分类模型在区分已检测样本与未检测样本方面表现出优异的性能。经过五折交叉验证后的超参数优化后,该模型在独立测试集上的混淆矩阵显示,真负数为22,假正数为2,假负数为7,真正数为111(见图4A)。经过优化的模型具有0.937的准确率(95%置信区间:0.894-0.972),0.941的召回率(0.894-0.982),0.982的阳性预测值(0.955-1.000),0.759的阴性预测值(0.588-0.909),以及0.961的F1值(0.932-0.984)。这些结果表明
检测性筛查的光谱依据
为了解该分类模型是如何区分已检测样本与未检测样本的,我们使用SHAP技术对该优化的随机森林模型进行了分析,以量化不同波长对分类结果的贡献程度。SHAP值的绝对大小反映了贡献的强度,而符号则反映了贡献的方向:正值会使预测结果偏向“已检测”,负值则会使预测结果偏向“未检测”。
首个值得注意的发现是,模型的分类结果主要是由有限几段光谱区域决定的,而非
结论
近红外光谱技术为快速、低成本且无需试剂的土壤分析提供了一种有效手段,但其应用于微量六氯环己烷浓度预测时,仍受到分析物信号弱、土壤基质干扰严重且检测限以下样本占比高的多重限制。为解决这一问题,我们开发了一种两阶段的近红外分析框架,将快速的检测性筛查与定量预测相结合。在该框架中,首先使用随机森林分类器
环境意义
土壤中持续存在的六氯环己烷会威胁环境质量与食物链安全,因此亟需一种比传统耗时耗力的色谱分析更为快速、且具备空间扩展能力的筛查方法。本研究通过一种基于检测限引导的分析框架,提升了近红外光谱技术在真实土壤基质条件下的应用能力,使其更适用于微量六氯环己烷的筛查与定量分析。此外,该框架还为其他信号微弱的危险污染物的分析提供了可借鉴的方法。
CRediT作者贡献说明
谢振伟:撰写——审阅与编辑,资源准备。何乐云:资源准备。刘思宇:撰写——审阅与编辑,原始稿撰写,可视化处理,软件应用,方法设计,正式分析。罗雪梅:资源准备,正式分析。王月武:正式分析,概念构思。王俊伟:资源准备。辛煌福:资源准备,正式分析,数据整理。冷庚:撰写——审阅与编辑,项目监督,项目管理,资金申请,正式分析,概念构思。
利益冲突声明
作者声明存在以下可能被视为利益冲突的财务利益或个人关系:冷庚表示其研究工作得到了四川省科技支撑计划的资金支持。其他作者则声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。
致谢
本研究得到了四川省科技计划(项目编号:2026NSFSC0072)的财政支持。
利益冲突声明
作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。
Siyu Liu|Huangfu Xin|Geng Leng|Shuquan Wang|Yuchen Luo|Hongbo Zhang|Jiancong Luo|Wenbo Xu|Xuemei Luo|Yuewu Wang|Zhenwei Xie|Leyun He|Junwei Wang
中国电子科技大学资源与环境学院,中国成都611731