《Environmental Technology & Innovation》:Mapping PFAS Contamination Risk with Recall-Optimized Machine Learning in the United States of America
编辑推荐:
摘要:PFAS(全氟和多氟烷基物质)是持续存在的环境污染物,在美国地下水中被越来越多地检出,然而许多区域仍未开展采样。现有的PFAS风险预测机器学习模型难以跨地理区域泛化,并且难以在召回率与整体预测性能之间取得平衡,从而限制了其在环境监测中的实用性。本研究通过
摘要:PFAS(全氟和多氟烷基物质)是持续存在的环境污染物,在美国地下水中被越来越多地检出,然而许多区域仍未开展采样。现有的PFAS风险预测机器学习模型难以跨地理区域泛化,并且难以在召回率与整体预测性能之间取得平衡,从而限制了其在环境监测中的实用性。本研究通过应用Neyman-Pearson(NP)分类框架,在明确将假阳性率约束在可接受水平的同时,优先考虑少数类召回率,从而应对这一挑战。研究人员利用地理空间和环境数据,训练了一个XGBoost模型来对地下水污染风险进行分类。应用NP框架后,在所评估的数据集上召回率平均提高了10.43%,使得在保持对假阳性的显式控制的同时,能够改进对受污染井的检测。地理留出法评估进一步表明,不同区域的召回率保持一致。该方法可通过优先考虑预测风险升高的地点,特别是在直接测量有限的地区,支持更具针对性的地下水监测。这些结果证明了非对称误差控制在环境风险建模及其他以最大程度减少漏检为首要任务的应用中的潜力。
论文解读:基于Neyman-Pearson框架的PFAS地下水污染风险预测研究
一、研究背景与问题
PFAS(全氟和多氟烷基物质)是一类自20世纪40年代以来广泛用于工业和消费品领域的合成化学品,因其耐热、防水和耐油特性而应用于不粘锅、化妆品、食品包装和消防泡沫等。然而,这些特性也使其在环境和人体中高度持久,部分PFAS在环境中的半衰期可长达1200至1700年,因此被称为“永久化学品”。已有研究将某些PFAS化合物与儿童发育影响、生殖和激素干扰、免疫系统损伤以及部分癌症风险增加等不良健康效应相关联。美国地质调查局(USGS)在2016至2021年间的大规模研究估计,约45%的美国自来水样本中可检出至少一种PFAS化合物,且检出不仅局限于已知工业热点区域,还出现在城市、郊区和农村地区,甚至包括此前未记录过污染的区域。
然而,PFAS检测需要能够达到万亿分之一(ppt)浓度范围的先进实验室技术,分析过程既耗时又昂贵。尽管美国环保署(EPA)于2024年针对多种PFAS制定了具有强制执行力的国家一级饮用水法规(NPDWR),包括PFOA和PFOS的最大污染物水平,但监测缺口依然显著,尤其是在农村地区和私人水井所有者群体中,该群体约占美国人口的13%。这种不均衡的监测格局限制了对人群暴露水平的全面评估,并可能延误未监测社区的干预措施。
预测PFAS污染可能发生的区域有助于弥补直接测量数据不足时的监测缺口。基于环境和地理空间因素将区域划分为高风险或低风险的分类模型,可以帮助优先安排采样地点。尽管已有全国尺度的模型(如Tokranov等人开发的模型)在预测PFAS赋存方面表现出一定性能,但仍存在地理泛化性和少数类检测方面的挑战。例如,尽管该模型取得了较高的整体ROC曲线下面积(ROC-AUC),但在独立评估集上的敏感度(召回率)未超过0.72,这意味着超过四分之一的受污染井未被识别。在公共卫生背景下,漏检受污染井可能导致社区在不知情的情况下暴露于危险饮用水。因此,在此类应用中,减少假阴性通常比减少假阳性更为关键。现有方法如阈值调整、代价敏感学习、SMOTE重采样和集成方法等各有权衡,且通常缺乏对误差控制的正式保证。为此,本研究采用Neyman-Pearson(NP)分类框架,直接优先控制假阴性,为PFAS污染可能出现的位置提供更稳健的预测视图。
二、研究内容与主要技术方法
研究人员构建了一个全国尺度的二分类机器学习模型,用于识别美国地下水中PFAS污染风险升高的区域。研究的核心方法包括:第一,从USGS获取包含25个州1555口井的水质数据,基于EPA健康咨询限值设定风险阈值(PFOA和PFOS≥3.0 ppt,PFNA、PFHxS和HFPO-DA≥6.0 ppt),将每口井标记为高风险或低风险;第二,提取多源地理空间和环境特征,包括海拔、城市用地百分比、人口密度、化粪池氮负荷、到最近潜在PFAS源的距离,以及土壤孔隙度、田间持水量和土壤有效水容量等水文地质变量;第三,采用XGBoost(极端梯度提升)分类器进行训练,并使用类别权重处理不平衡问题;第四,应用Neyman-Pearson分类框架,通过秩基阈值算法在约束假阳性率(α=0.20)的条件下最大化召回率;第五,采用分层三路数据划分(训练集、校准集、测试集),并利用重复10折交叉验证和州级空间留出验证评估模型性能;第六,使用SHAP(SHapley Additive exPlanations)值解释特征贡献。所有数据均为公开可获取的地理空间与环境数据,样本队列来源于USGS水井监测记录,并整合了EPA PFAS分析工具中的潜在污染源位置数据(n=23,001个源点)。
三、研究结果
3.1 模型整体性能与基线比较
在固定操作阈值(对应最大假阳性率为0.20)下,NP约束的XGBoost模型在留出验证集上实现了0.84的少数类召回率和0.83的ROC-AUC,同时获得0.85的准确率和0.85的F1分数。相比之下,未应用NP阈值化的基线XGBoost模型召回率为0.74,表明NP阈值选择显著提升了敏感度。在与基线分类器(逻辑回归、朴素贝叶斯、装袋法、随机森林)的比较中,NP约束的XGBoost模型产生了最低的假阴性数量(7%),而逻辑回归和朴素贝叶斯的假阴性率分别高达61%和65%。这表明NP框架在控制假阳性的同时,显著增强了对真正受污染井的识别能力。
3.2 特征贡献的SHAP分析
SHAP值分析显示,城市用地百分比和人口密度是主导预测因子,较高数值通常对应较高的预测风险,反映了人类活动对PFAS污染的影响。到最近PFAS源的距离呈现清晰的负相关关系,距离越短预测概率越高。水文和土壤相关变量(包括土壤田间持水量、孔隙度和有效水容量)也发挥了重要作用,这些特征与入渗、滞留和地下运移过程相关。海拔作为次要控制因素,可能反映了更广泛的水流和流域动态;氮负荷则作为人为影响的代理指标。这些结果说明模型整合了污染源邻近性和与PFAS运移相关的环境因素信息。
3.3 假阳性率约束的敏感性分析
通过改变α参数(从0.05到1.0),研究人员评估了灵敏度与假阳性控制之间的权衡。当α=0.05时,召回率为38.6%,假阳性率为3.3%;当α=0.2时,召回率升至84.1%,假阳性率为16.2%;当α=0.6时,召回率达到96.8%,但假阳性率升至55.4%。这种自适应阈值方法允许从业人员根据领域特定的风险容忍度选择操作点,在保持高灵敏度的同时实现对假阳性误差的原则性控制。
3.4 空间泛化与地理留出验证
为检验模型的地理迁移性,研究人员进行了州级空间留出验证,即完全排除某些州的数据进行模型训练,然后用这些州的独立样本进行评估。在新疆西哥州(n=473)上,模型实现了0.83的召回率和0.87的ROC-AUC;在俄亥俄州(n=248)上,召回率为0.78;在北卡罗来纳州上,召回率为0.85和ROC-AUC为0.88。这些地理上不同区域的一致召回率表明,模型在应用于训练期间未覆盖的区域时仍能保持性能。研究人员还使用交叉验证的袋外预测绘制了加利福尼亚州和美国东北部的风险分类图,展示了预测高风险位置与已知污染地点的空间一致性。
3.5 NP框架带来的召回率改进
在全部留出测试集上,应用NP框架使召回率平均提高了10.43个百分点。最大增益出现在交叉验证(13.5%)和俄亥俄州留出集(11.4%)中,表明在固定假阳性率约束下,更积极地优先识别真阳性能够持续提升敏感度,即使在地理多样和数据稀疏的地区也是如此。
四、讨论总结
本研究表明,大多数现成的机器学习模型优化的是ROC-AUC或总体准确率等聚合指标,当假阴性成本较高时,这些模型可能无法充分优先考虑召回率。例如,既往研究中即使模型达到0.83的ROC-AUC,其敏感度也未超过0.72。相比之下,NP框架允许用户指定最大可接受的假阳性率,然后在此约束下优化召回率,从而将模型目标重新定位到公共卫生优先事项上,以结构化、可量化的方式强调检测而非精确度。该框架的灵活性在于通过设定可接受的I型错误阈值来反映不同应用场景的风险偏好——在公共卫生领域,为最大化召回率可容忍较高假阳性;而在监管或法律场景中,则可能需要更严格的假阳性控制。相比需要明确指定误分类代价比的方法,NP框架直接对假阳性率进行可解释的控制,且仍可通过选择适当的α值纳入成本考量。
在实际应用层面,在选定操作点(α=0.20)下,模型实现约16.2%的假阳性率,这意味着约16.2%的真正低风险井被错误分类为高风险。在资源受限情况下,这可能导致一定数量的不必要检测,但相对于漏检污染带来的公共卫生后果,这一权衡仍然合理。与简单的基于距离的筛查规则(如检测距已知PFAS源固定范围内的所有水井)相比,该模型能够整合环境运移机制、土地利用相互作用和地下水文等因素,提供更细致、数据驱动的优先级排序策略。
NP框架的效果本质上依赖于基础模型的预测能力,并受到PFAS源记录分辨率和准确性的限制。现有源记录往往较为宽泛,缺乏关于PFAS排放的具体位置、数量和时间的详细信息。此外,缺乏全面、标准化的PFAS采样记录导致训练数据存在地理采样偏差,某些水文地质环境(如岩溶含水层系统、受海水入侵影响的沿海含水层)在数据中代表性不足。因此,扩展现有数据覆盖范围、制定统一的PFAS数据收集和报告指南,对改进模型稳健性和实现公平的环境健康监测至关重要。尽管地理留出验证证明了向未见过州的迁移性,但这仍不构成使用新采集样本的前瞻性验证,因此报告的绩效不应被解读为建立了普适的地理泛化性。
五、研究结论
本研究的结论可概括为:研究者开发了一种基于XGBoost算法并在Neyman-Pearson分类框架下约束的预测模型,该模型旨在优先考虑召回率以最小化假阳性,这是环境健康背景下避免因漏检而导致公众长期暴露的关键要求。在全测试集上,模型实现了超过0.84的召回率,并在多个独立验证集上保持了一致的较高召回率:新疆西哥州为0.83,俄亥俄州为0.78,北卡罗来纳州为0.85。这些结果表明,模型在所评估的地理留出区域上保持了预测性能。该模型利用了海拔、到已知PFAS源的距离、水文和土壤特征等公开可获取的地理空间及环境预测因子,通过多模态特征整合识别出可能指示污染风险的复杂空间模式。总之,NP框架在提供对假阳性率显式控制的同时改善了召回率,地理留出评估证明了模型在考察区域内的一致性能。这些结果支持将该框架用作优先开展PFAS监测的筛选工具,特别是在直接测量数据有限的区域。在进行更广泛的业务部署之前,需要使用新采集的独立样本开展进一步前瞻性验证。