《Journal of Cleaner Production》:Revealing wet-weather overflow pollution mechanisms of storm drains based on categorical boosting and Shapley additive explanations
编辑推荐:
可解释机器学习模型显著提升城市排水系统溢流污染预测精度,量化暴雨强度与非法排污的协同作用,提出智能化泵站调控和非法连接整治策略。
魏青|王文斌|陈永奇|谢一凡|徐祖新|尹海龙
中国上海同济大学环境科学与工程学院,水污染控制与绿色资源回收国家重点实验室,200092
摘要
雨天溢流污染会恶化接收水体的水质,理解其复杂机制是制定主动减排策略的前提。为此,我们开发了一个可解释的机器学习框架来预测城市排水系统中的污染物浓度。利用分类提升(CatBoost)技术和来自上海四个雨水系统的多源数据,该模型对化学需氧量(COD)的预测MAE/RMSE值分别为63.12/109.81 mg/L,对氨氮(NH?-N)的预测MAE/RMSE值分别为1.46/1.59 mg/L。与梯度提升决策树(GBDT)、随机森林(RF)和自适应提升(AdaBoost)相比,CatBoost的预测准确率提高了多达60.4%。Shapley加性解释表明,人为因素(尤其是非法污水排放和溢流峰值升高)在决定污染水平方面起着主导作用。COD浓度主要受流量相关参数和非法流入的影响,而NH?-N水平对降雨因素更为敏感。这些发现强调了有针对性的污染控制策略的重要性,例如消除非法连接和智能调节雨水泵。采用具有优化控制逻辑的智能雨水系统可以显著减少雨天污染,并通过有效管理有机污染物和氮化合物来提高系统的韧性。所提出的综合框架为在气候变化和基础设施条件变化下的城市溢流管理提供了可行的见解。
引言
城市雨天溢流已成为全球主要的环境问题,因为它们严重损害了地表水质,阻碍了可持续水资源管理目标的实现(Xu等人,2019年)。在强降雨或持续降雨期间,城市排水系统的水力容量经常被超出,导致部分处理或未经处理的废水直接排放到附近的河流和湖泊中(Zhao等人,2022年)。这类排放物通常包含生活污水、雨水径流以及污水管道内重新悬浮的沉积物的混合体,其污染物浓度往往与原始废水相当甚至更高(Owolabi等人,2022年)。这些事件的偶发性和高污染强度会迅速恶化水质,导致氧气耗尽、富营养化以及接收水体的美观性下降,从而带来重大的生态和公共卫生风险(Wei等人,2025a)。因此,阐明雨天溢流形成和污染物传输的机制是制定有效控制和缓解策略的前提(Li等人,2022b)。
历史上,对溢流的生成和动态的理解主要依赖于在风暴事件发生时对溢流排放和污染物的广泛现场观测。近几十年来,许多学者对排水系统中的溢流污染进行了大量研究。这些研究提供了有关污染物负荷时间变化的宝贵见解(Gikas和Tsihrintzis,2012年)、首次冲洗现象的规模和时机(Bartos等人,2018年;Park等人,2010年)、溢流水质的空间异质性(Peng等人,2016年),以及非法污水流入和气象变量的作用(Ellis和Butler,2015年)。最近的研究强调,首次冲洗现象并非普遍存在,而是依赖于污染物类型,需要系统化的识别方法和统计描述雨天径流动态(Bach等人,2010年;Todeschini等人,2019年)。这种对污染物传输动态的精细理解对于设计可持续和有效的城市雨水水质控制和处理策略至关重要。此外,还使用了质量平衡分析等源分配方法来追踪污染物来源(Pratama等人,2018年)。尽管取得了这些进展,大多数现有研究仍主要依赖传统的统计技术来解释现场数据,主要集中在评估降雨强度和相关参数对污染水平的影响。然而,这些方法往往无法捕捉多个影响因素之间的复杂非线性相互作用。因此,迫切需要创新的分析框架来揭示这些复杂关系并量化每个驱动因素的相对贡献。
在城市排水系统中,已经使用了各种机器学习方法来进行与水质预测、溢流检测和污染源追踪相关的研究。例如,以鲁棒性和可解释性著称的随机森林(RF)已被广泛用于模拟雨水径流质量并识别关键污染物驱动因素(Behrouz等人,2022年)。梯度提升框架如极端梯度提升(XGBoost)在预测不同降雨条件下的污染物浓度方面取得了高准确率(Oh等人,2024年)。此外,支持向量机(SVM)已被用于根据气象和水文参数对溢流风险等级进行分类(Priyadarshini等人,2022年),而人工神经网络(ANN)已被用于估算合流制污水系统(CSO)中的实时污染物负荷(Rosin等人,2021年)。近年来,长短期记忆(LSTM)模型被应用于城市污水系统中的水位、流量和污染物模拟与预测等任务(Zhang等人,2022年)。这些应用突显了机器学习技术在模拟城市排水系统复杂和非线性行为方面的适应性和有效性,尤其是在动态和不确定的雨天条件下。
从更广泛的角度来看,尽管机器学习模型在管理水系统方面展现了巨大潜力,但它们的不可解释性仍然是一个主要限制(Al Saleh,2021年)。最近的研究越来越多地关注提高机器学习模型的可解释性(Huang等人,2021年)。在各种方法中,集成学习模型在可解释分析方面显示出了显著优势。例如,Xu等人(2024年)将正矩阵分解(PMF)与RF结合,以评估农业污染和季节性气候变化对河流水体的影响。Li等人(2022a)采用了带有Shapley加性解释(SHAP)方法的轻量级梯度提升机(LightGBM)模型,用于可解释的海水质量预测,发现湖泊浑浊度是最有影响力的因素。Wu等人(2025年)应用分类提升(CatBoost)和SHAP来识别影响有害藻华(HABs)的关键因素,强调通过改道稀释营养物质是一种有效的缓解策略。
尽管机器学习在城市水资源管理中的应用取得了显著进展,但在应用可解释的机器学习模型来明确揭示溢流污染的潜在机制方面仍存在重大研究空白(Zhong等人,2021年)。现有研究大多关注预测性能,往往忽视了多种影响因素之间的复杂和非线性相互作用(Chen等人,2023年)。然而,溢流污染是由气象条件、基础设施限制和人为活动的动态相互作用引起的。对于这一复杂现象,可解释性与准确性同样重要。不仅要了解预测结果,还要了解预测的原因,这对于制定响应迅速且信息充分的缓解策略至关重要(Yin等人,2024年)。必须系统地评估关键驱动因素,如降雨强度、排水系统容量、前期干燥天气持续时间和非法排放,以指导政策和干预措施的设计(Zhu等人,2023年)。将可解释的机器学习纳入这一领域为提高溢流污染控制的透明度、责任性和操作效率提供了新的机会。
为了解决这些问题,我们开发了一个可解释的、数据驱动的框架,用于全面分析溢流污染。该框架整合了人为因素和自然因素,并通过相关性分析进行初始特征选择,以消除冗余或共线输入。应用基于SHAP的可解释性层来分解模型预测并评估每个变量的边际贡献。全局SHAP值揭示了关键因素的总体影响,而局部SHAP分析提供了特定案例的见解。此外,通过SHAP依赖图和交互矩阵探索了放大污染风险的协同关系,例如降雨强度与非法排放之间的关系。使用瀑布图和部分依赖图(PDPs)等可视化工具来捕捉非线性模式和阈值行为。这种可解释的建模方法不仅实现了高预测准确率,还提供了关于溢流污染的结构和环境驱动因素的可行见解,从而支持更智能、更有针对性的日常排水操作干预策略。
研究区域
在这项研究中,我们关注了上海中部一个面积为11.03平方公里的城市流域,该流域开发密集,由四个相邻的排水系统组成:丁边(DB)、振光(ZG)、振江东(ZJD)和振西(ZX)(图S1)。在整个区域内关键位置实施了流量监测,以捕捉雨水和废水流量的变化。每个子系统在其出口都配备了雨水泵站,用于转移管道内积聚的废水
输入参数的多共线性分析
图2a显示了12个输入参数和2个输出参数的相关性热图。为了避免预测变量之间的多共线性,进行了相关性分析,并筛选出了具有高成对相关性的变量。采用|r| ≥ 0.70的阈值来识别强相关变量,这在环境建模研究中的多共线性筛选中是常用的方法(Ali等人,2015年;Howladar等人,2021年)。结果显示,...
结论
在这项研究中,我们提出了一种综合的机器学习方法,用于增强城市排水系统中溢流污染的预防、控制和减少。主要贡献和发现总结如下:
(1)CatBoost模型在预测溢流污染物浓度方面优于传统的机器学习算法,对COD的预测MAE/RMSE值为63.12/109.81 mg/L,对NH?-N的预测MAE/RMSE值为1.46/1.59 mg/L。与其他传统模型相比,CatBoost的准确率有所提高
CRediT作者贡献声明
魏青:撰写——原始草稿、方法论、概念化。王文斌:可视化。陈永奇:方法论、概念化。谢一凡:形式分析。徐祖新:监督、调查。尹海龙:撰写——审阅与编辑、资源。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
致谢
本研究得到了上海环境与生态高峰学科科学研究、上海水务局的研究项目以及中国国家重点研发计划(项目编号2021YFC3200703)的资助。