《Environmental Pollution》:Assessing Features of PFAS Groundwater Occurrence Using SHAP-Enhanced Machine Learning
编辑推荐:
全氟和多氟烷基物质(PFAS)是持久性的地下水污染物,对水源和公共健康构成长期风险。由于高维环境数据和有限的模型可解释性,预测PFAS的发生仍然具有挑战性。在本研究中,研究人员对可解释的机器学习模型进行了基准测试,以预测地下水中PFAS的发生,并识别与估计的P
全氟和多氟烷基物质(PFAS)是持久性的地下水污染物,对水源和公共健康构成长期风险。由于高维环境数据和有限的模型可解释性,预测PFAS的发生仍然具有挑战性。在本研究中,研究人员对可解释的机器学习模型进行了基准测试,以预测地下水中PFAS的发生,并识别与估计的PFAS发生密切相关的特征。研究编制了一个包含2001年至2019年间收集的12,406条地下水表征记录的综合数据集,并使用172个解释性特征来描述PFAS污染源邻近度、土地利用、水文地质、土壤特性、气象以及采样点特征。在多种分类方案下评估了四种基于树的集成分类器,包括随机森林、XGBoost、LightGBM和CatBoost(CatBoost)。将总PFAS浓度根据中位数划分为“低”和“高”类别的二元分类实现了最稳健和最具普适性的性能,其测试准确率高达94%以上,且具有完善的精确率-召回率曲线。增加分类区间的数量会降低模型性能,特别是对于中间区间,这突显了PFAS发生数据中固有的可分性限制,而非模型本身的缺陷。使用SHapley加法解释(SHAP)解决了模型可解释性问题,揭示了采样年份和主要PFAS污染源的邻近度是所有模型中的主导预测因子。其他贡献归因于其他PFAS污染源的邻近度、土壤质地、水文特征、土地利用和降水模式。SHAP交互分析进一步揭示了模型学习到的污染源邻近度预测因子归因中的时间变化。这些模式被解释为生成假设的模型关联,可能与监管变化、不断演变的监测策略、分析年代差异以及可能的二次污染源影响有关,而不是特定环境过程的确认。总体而言,本研究实现了对地下水中PFAS发生的可解释预测,并为PFAS风险评估提供了一个透明的、数据驱动的框架。本研究受 Environmental Pollution 期刊支持,作者包括 Lin Wang、Yun Ma、Dulith Rajapakshe、Xu Xing、Huiping Cao 和 Runwei Li。
全氟和多氟烷基物质(PFAS)被认为是持久性的环境污染物。PFAS的广泛应用及其极强的抗降解性使得这些化学物质能在环境中存留数十年,导致其在历史污染场地周围长期可被检测到。此外,广泛的工业使用进一步使水源中的污染特征复杂化,因为单一环境样本中检测到的PFAS可能源于多个排放源。PFAS的暴露也与一系列健康效应有关,包括肝毒性、免疫抑制和发育毒性。鉴于2025年美国环境保护署(US EPA)针对PFAS化合物制定的严格最大污染水平(MCLs),深入调查环境中的PFAS发生情况具有重要意义。虽然机器学习(ML)在PFAS发生评估中备受关注,但其模型经常被批评为具有“黑箱”性质,缺乏预测过程的透明度。这不仅阻碍了假设检验和因果解释,也降低了利益相关者的信任度。为了解决模型透明度和可解释性方面的不足,研究人员开展了这项研究,旨在通过结合可解释的机器学习模型和SHapley加法解释(SHAP)方法,预测地下水中PFAS的发生,识别与其发生密切相关的特征,并阐明特征对预测结果的归因。该研究为PFAS风险评估提供了一个透明且数据驱动的框架,并已发表于《Environmental Pollution》期刊。研究表明,可解释机器学习能够稳健地预测地下水PFAS发生,并澄清了模型的特征归因结构,从而支持PFAS监测设计、诊断历史采样偏差,并为未来调查生成关于潜在新污染源的假设。
在方法学部分,研究人员整合了涵盖2001至2019年间East Metro地区的12,406条地下水表征记录及172个解释性特征。关键的技术方法包括:首先通过结合BorutaShap重要性排序、皮尔逊相关系数(Pearson correlation coefficient)线性相关性分析和专家审查的混合特征筛选策略,剔除冗余特征并保留27个最具代表性的预测因子;随后,基准测试了四种基于树的集成分类器(包括XGBoost、LightGBM、CatBoost和随机森林),并采用分层10折交叉验证和随机搜索进行超参数优化;最后,利用基于合作博弈论的SHAP算法量化了输入特征对模型预测的边际贡献,并通过SHAP交互值分析了关键特征之间的成对交互效应。
在研究结果与讨论部分,研究分以下几个小标题展开:
分类方案的影响
通过对比二元、四类和五类分类方案,研究发现二元分类方案(基于总PFAS浓度中位数划分为“低”和“高”类别)产生了最稳健且具普适性的性能,测试准确率超过94%。随着分类数量的增加,模型在中间区间的性能显著下降。研究指出,这种性能下降并非源于模型缺陷,而是反映了连续PFAS浓度变量在离散化后,相邻中间区间存在固有的重叠和模糊边界,从而降低了数据的内在可分性。
模型对分类性能的影响
在二元分类方案下,所有评估的树模型(包括XGBoost、LightGBM、随机森林和CatBoost)均表现出强大的预测能力,准确率均超过95%,精确率-召回率(PR)曲线表现一致。其中,LightGBM和XGBoost表现出略优的性能,假阳性率更低。这表明各模型架构在此任务中均能稳定捕获数据中的复杂模式。
特征重要性
SHAP分析揭示了在所有应用模型中具有一致预测重要性的特征。采样年份表现出最高的绝对SHAP值,但其应被视为包含分析灵敏度变化、监测策略演变等信号的综合时间描述符,而非直接的物理环境驱动因素。紧随其后的是主要PFAS污染源邻近度(DistNearSource),此外,与其他PFAS污染源(如生物固体施用地、化粪池、消防站)的距离、土壤质地、水文特征、土地利用和降水模式等特征也对预测产生显著贡献。
特征交互作用
由于单一特征无法完全解释模型预测,SHAP交互作用分析深入探讨了多个关键特征的联合影响。研究发现,采样年份与主要污染源邻近度之间存在非线性交互。在距主要污染源极近(小于2 km)的范围内,采样年份的时间效应被削弱,而远离污染源的区域则受采样年份影响较大。这种空间模式反映了早期监测多集中于已知重污染区。此外,采样年份也显著调节了生物固体施用地点邻近度的建模贡献。随时间推移,近8 km范围内的生物固体邻近度对预测表现出更高的正贡献,这可能反映了短链PFAS及其前体物在土壤中的迁移特征。在各类污染源之间的交互中,主要PFAS污染源邻近度占据主导地位,且很少受其他替代源(如生物固体)距离变化的调节,表现出相对独立的层级预测归因。
结论
本研究证明了可解释机器学习能够为地下水中PFAS的发生提供稳健且透明的预测框架,同时澄清了模型预测背后的特征归因结构。在四种基于树的集成分类器中,二元分类方案的性能始终优于多类分类方案,其观测到的性能下降反映了中间PFAS浓度范围固有的数据重叠,而非建模算法本身的局限性。SHAP分析的整合解决了基于机器学习的环境评估中透明度不足的问题,将采样年份和主要PFAS污染源邻近度列为模型中最强的预测因子,而生物固体邻近度、土壤性质、土地利用、气象和水文特征则提供了额外的预测信息。研究结果表明,模型归因应仅作为模型内部特征的贡献度量,不应被解释为环境因果关系的证据。总体而言,该工作展示了可解释机器学习在支持PFAS发生建模和地下水监测决策方面的潜力,为整合机器学习分类、特征筛选和SHAP解释建立了一个参考框架。