《Environmental Technology & Innovation》:Explainable machine learning for water quality prediction across freshwater systems and water infrastructure: A comprehensive review
编辑推荐:
淡水系统与工程化水基础设施中的水质预测正日益受到机器学习(ML)的支持,然而有限的模型可解释性制约了其科学和操作实用性。可解释人工智能(XAI)已成为解决这一局限的关键框架,通过提供对模型行为、主导预测因子、非线性响应和上下文依赖交互的洞察。然而,现有综述大多
淡水系统与工程化水基础设施中的水质预测正日益受到机器学习(ML)的支持,然而有限的模型可解释性制约了其科学和操作实用性。可解释人工智能(XAI)已成为解决这一局限的关键框架,通过提供对模型行为、主导预测因子、非线性响应和上下文依赖交互的洞察。然而,现有综述大多将XAI视为补充性组件,仅提供描述性总结,而未批判性地审视其方法论假设、解释边界或跨系统适用性。相比之下,本综述提供了一项全面且批判性的综合,将可解释性定位为核心分析框架,并整合了淡水系统与工程化水基础设施中的应用。研究人员分析了自2018年以来发表的超过70项研究,以识别关键水质参数(包括营养物质、藻类指标、氧气和有机物相关变量、综合指数以及操作参数)中的反复出现的解释模式。在这些领域,XAI揭示出模型学习到的水质模式通常由温度、营养物质可用性、水文条件、光照可用性和操作变量之间的非线性、阈值依赖和上下文特定交互所构成。该综合强调了全局和局部解释在捕捉系统异质性以及支持过程理解和操作决策中的互补作用。关键局限性包括特征归因的非因果性,以及对数据结构、预测因子共线性、模型配置和解释稳定性的敏感性。未来工作应优先考虑与基于过程和因果推断框架的整合、不确定性感知的可解释性、标准化评估协议,以及跨上下游关联的应用。总体而言,本综述将XAI重新定位为连接水循环中预测、解释和决策支持的综合框架。
1. 引言
水质恶化在淡水资源和工程化水基础设施中构成全球性环境与公共卫生挑战。快速城市化、农业集约化和气候变化共同加剧了地表水体、地下水资源和处理系统的压力,推动了对可靠数据驱动方法的需求。机器学习(ML)方法在捕捉水质系统中的非线性和高维关系方面表现出强大能力,但早期研究主要关注预测性能,忽视了模型可解释性。可解释人工智能(XAI)作为关键方法论框架应运而生,能够识别主导驱动因素、非线性响应和上下文依赖控制。然而,现有综述多将XAI作为次要或补充主题,未建立可解释性作为理解水质动态的核心分析视角。本综述旨在(1)分类XAI方法,区分全局与局部、模型无关与模型特定方法,并评估其解释边界和常见误用;(2)综合解释发现,识别非线性行为与交互效应的一致模式,谨慎区分统计归因与因果推断;(3)指出关键挑战和未来研究方向,包括稳定性、可重现性、因果性和可迁移性。
2. 文献范围与综述方法
2.1. 文献检索策略与筛选标准
本综述被设计为聚焦的批判性综合,而非详尽系统性综述。优先考虑明确实施XAI方法并用于生成实质性解释洞察的水质预测研究。文献检索使用Web of Science、Scopus和Google Scholar,针对2018至2025年间发表的同行评审期刊文章。检索词结合水质相关术语(如水质、叶绿素-a(Chl-a)、营养物质、有机物、溶解氧(DO)、水质指数(WQI))与ML关键词(ML、深度学习(DL))及可解释性相关术语(如可解释AI、Shapley加法解释(SHAP)、偏依赖)。筛选后获得超过70项研究,构成实证基础。
2.2. XAI方法的定义与分类
XAI被定义为解释和传达模型输入与预测水质输出之间关系的一组分析方法。按解释范围分为全局(总结整个数据集的平均预测因子影响)和局部(关注特定观测或子集,如单个站点、季节或操作状态)。按模型依赖度分为模型无关(如SHAP、偏依赖图(PDP)、个体条件期望(ICE)图、置换重要性)和模型特定(如基于树的归因技术、DL中的注意力机制)。
2.3. 系统、变量与分析框架的分类
研究分为淡水系统和水基础设施两类。淡水系统主要关注预测和解释水质参数(如Chl-a、营养物质、有机物、DO)与水文、气候、生物地球化学和流域尺度驱动因素的关系;XAI用于阐明时空异质性、识别主导环境控制和表征非线性或阈值行为。水基础设施研究关注操作变量(如出水营养物浓度、混凝剂剂量、浊度、残余消毒剂、消毒副产物);XAI支持模型解释和操作决策,如识别可控变量和优化工艺。目标变量分为四类:(1)营养物质和有机物;(2)藻类和富营养化指标;(3)氧气相关参数和综合指数;(4)工程化系统中的操作变量。预测变量包括原位测量、水文气象数据、遥感产品、土地利用属性和操作参数。树集成模型(如随机森林(RF)、极端梯度提升(XGBoost)、轻量梯度提升机(LightGBM))占主导,DL方法应用增加。物理信息混合模型仍相对较少。
3. 集成XAI的ML研究概述
3.1. XAI水质研究趋势
XAI在ML水质预测中的应用显著增长,自2020年代初以来快速增加。SHAP方法占XAI应用的最大比例(57%),其次是置换重要性(13%)和PDP/ICE(8%)。梯度提升变体和随机森林模型约占ML算法的86%。淡水系统占79%,水基础设施占21%。藻类和富营养化相关参数是最常研究的目标组(41%),其次是操作变量(28%)、营养物质和有机物(21%)、氧气相关变量和综合指数(10%)。2024年和2025年发表的研究占一半以上。
3.2. 目标水质参数
营养物质和有机物参数(总氮(TN)、总磷(TP)、NO
3-、NH
4+、溶解有机氮(DON)、溶解无机氮(DIN)、总有机碳(TOC)、溶解有机碳(DOC)、化学需氧量(COD))中,XAI用于识别主导驱动因素并解析流域特征、气候、水文和工艺条件的相对影响。藻类和富营养化指标(如Chl-a、蓝藻丰度、水华发生)中,XAI在识别阈值和状态依赖敏感性方面特别有价值。氧气相关参数和综合指数(DO、生化需氧量(BOD)、COD、WQI)中,XAI用于分解气候、水文和人为驱动因素的贡献,局部解释揭示空间和事件尺度异质性。操作变量(出水质量、混凝剂剂量、浊度、残余氯、三卤甲烷)中,XAI支持识别可控因素和工艺优化。
3.3. 数据模态与预测因子
预测变量分为原位水质测量、水文气象数据、遥感衍生指标、流域属性和操作或工艺级变量。越来越多研究整合多种数据模态以捕捉多尺度驱动因素。原位测量形成核心输入,水文气象变量常作为关键全局驱动因素,遥感数据在大型或数据稀疏系统中应用增加,流域尺度属性提供长期结构背景,操作变量主导基础设施聚焦研究。
3.4. ML模型与XAI兼容性
树集成模型(RF、XGBoost、LightGBM)使用最广泛,因其与XAI技术兼容性好。DL模型(递归、卷积和混合神经网络)应用增加,结合事后XAI方法。混合框架将物理理解与数据驱动学习结合,可提高预测性能并增强XAI解释的有效性。SHAP和树模型的优势可能反映计算便利性而非系统方法选择,单站点或单流域研究设计限制可推广性。
4. 应用于水质预测的XAI方法
4.1. 全局与局部可解释性方法
全局可解释性总结整个数据集上的模型行为,用于识别主导驱动因素并促进跨站点或时期比较,但可能掩盖异质性系统中的上下文依赖响应。局部可解释性通过解释特定条件下的预测,揭示驱动因素重要性在空间或时间上的变化。在淡水系统中,局部解释推进环境过程理解;在水基础设施中,局部解释更紧密地与操作决策单元对齐,支持异常状态诊断和工艺优化。全局和局部可解释性互补。
4.2. SHAP解释框架
SHAP框架是水质预测中最广泛采用的XAI方法,尤其与树集成模型结合。SHAP应用于全局和局部模式。全局SHAP用于排名主导预测因子;局部SHAP支持特定空间、时间或操作条件下的预测驱动因素诊断。SHAP依赖图用于探索非线性响应、交互效应和阈值行为。但SHAP在环境应用中存在局限性,包括对预测因子共线性的敏感性、依赖模型结构和训练数据,以及特征归因可能不稳定或重新分配。
4.3. 偏依赖、ICE和置换方法
PDP提供边际效应的直观可视化,ICE图揭示观测级变异性,置换重要性用于初始筛选。与SHAP相比,这些方法计算成本更低、更简单,但解释深度降低。
4.4. DL水质模型中的可解释性
DL模型主要依赖事后方法(如SHAP、LIME)和架构感知方法(如注意力机制)。注意力机制用于识别关键时间窗口或光谱波段,但稳定性、可重现性和物理可解释性方面仍存在挑战,凸显预测性能与可解释性之间的权衡。
4.5. 方法选择考虑因素
选择XAI方法需考虑模型架构、解释范围、数据特征和应用目标。SHAP在需要全局特征排名和局部实例级诊断时更受青睐,但对特征共线性敏感。PDP和ICE图提供高效替代方案,但强相关预测因子下解释可能受损。置换重要性用于初始筛选,但不提供方向、阈值或交互信息。DL模型可采用LIME和注意力机制。建议结合多种XAI方法,如全局SHAP结合ICE或局部SHAP。
5. 利用XAI的ML研究综合洞察
5.1. 营养物质与有机物动态
营养物质和有机物参数(TN、TP、NO
3-、NH
4+、DON、DIN、TOC、DOC、COD)中,XAI分析显示主导驱动因素随水文环境、流域特征和操作条件显著变化。在淡水系统中,流域尺度因素(土地利用组成)常作为主要控制因子,与气候变异和点源输入交互。无机氮与农业输入、温度依赖微生物转化和水文连通性相关;有机物受降水冲刷、原位生产和沉积物-水交互影响更强。非线性响应和交互效应(如TN和TP对COD的影响在高温下不成比例增加)被一致识别。在水基础设施中,控制因素从环境驱动转向可控操作变量(如进水温度、DO、混合液悬浮固体(MLSS)、碳投加量、水力负荷),XAI用于操作决策支持。
5.2. 藻类指标与富营养化相关参数
藻类和富营养化参数(Chl-a、有害藻华(HAB)发生、蓝藻指数)中,营养物质和温度是主导控制,但效应高度相互依赖。温度仅在营养物质浓度超过临界阈值时才放大藻类响应,这一营养-温度交互通过SHAP依赖图一致揭示。光照条件和水文条件作为次要控制。蓝藻动态表现出更差异化的驱动结构,不同属(如微囊藻和蓝细菌)对氮分数和有机微污染物响应不同。全局XAI摘要常收敛于营养和温度,但局部解释揭示站点间和季节间的显著变异。
5.3. 氧气与有机物相关参数及综合指数
氧气和有机物相关参数(DO、BOD、COD、WQI)整合多种物理、化学和生物过程。水温度是DO变异的主导控制,但水文变量和土地利用因素在低温或高流量条件下变得更重要。对于WQI,XAI输出反映组分变量的综合影响,但多组分性质引入解释复杂性,特征归因可能反映间接关联而非独立机制效应。在工程化系统中,DO代表氧气供应与微生物消耗的平衡,XAI分析显示DO与处理性能之间的强非线性关系(饱和型行为)。氧气和有机物相关参数作为聚合系统响应,特征归因常混淆直接效应与间接关联。
5.4. 处理与分配系统中的操作水质参数
操作水质变量(WWTP出水TN、TP、COD、混凝剂剂量、三卤甲烷(THMs)、残余氯、浊度)中,XAI的角色从环境解释转向识别可控驱动因素并提供决策支持。XAI明确区分可控因素(如DO设定点、碳投加量、回流污泥流量、曝气强度)和不可控因素(如进水温度、流量、污染物负荷)。在饮用水处理系统中,SHAP分析一致识别原水浊度、电导率、温度和色度作为混凝剂剂量的主导预测因子,其相对重要性随原水条件变化。在分配系统中,THM形成受COD、总溶解固体和残余氯的交互作用控制。XAI还捕捉到处理阶段间的时序变化,并连接上游淡水条件与下游操作需求。这种上下游耦合表明改善源水水质可降低操作负担。
5.5. XAI揭示的水质动态跨系统模式
跨所有参数组,水温度反复被识别为最有影响力的驱动因素之一,但其效应高度上下文依赖。非线性阈值行为(如营养-温度交互、饱和型DO响应、关键TP阈值)是普遍结构特征,通过SHAP和偏依赖分析一致揭示。全局与局部解释方法之间存在明确互补性,全局摘要提供系统级视图,局部解释揭示站点、季节和操作状态间的显著变异。然而,归因结果可能因模型架构、训练数据、预测因子共线性等变化,跨研究比较应谨慎解释。XAI的主要价值不在于静态特征排名,而在于表征水质过程的条件性、非线性和上下文依赖结构。
6. 解释挑战与未来方向
特征归因方法不提供因果推断,XAI解释应视为支持过程理解而非证明因果性。环境数据的强共线性导致归因在相关预测因子间可能重新分配,造成机制模糊。XAI解释的稳定性、可重现性和可迁移性不足,不同模型配置或数据划分可能产生不同归因。未来方向包括:(1)与基于过程建模框架的整合,以增强解释严谨性;(2)扩展XAI应用至整个水循环,实现上下游关联管理;(3)不确定性量化应成为核心组成部分,如自举SHAP分布或集成归因变异性;(4)整合因果推断框架(因果发现、反事实分析、干预建模);(5)建立更强证据将XAI洞察与可衡量的管理和操作改进联系;(6)标准化报告和评估框架,提高透明度和可比性。
7. 结论
本综述提供XAI在ML水质预测中应用的全面批判性综合,将可解释性确立为连接环境过程与操作决策的核心分析框架。水质系统本质上是条件性、非线性和交互驱动的。XAI揭示模型学习到的水质模式由温度、营养可用性、水文条件、光照和操作变量之间的耦合交互构成。在淡水系统中,XAI主要通过解析时空异质性和识别非线性阈值推进过程理解;在水基础设施中,XAI更直接与可操作性关联,通过识别可控变量、支持工艺诊断和自适应操作。关键方法局限性包括特征归因的非因果性、对数据结构和模型配置的敏感性。未来进展需要XAI与过程建模框架的更紧密整合、不确定性感知可解释性、因果推断和标准化协议。