综述:水研究中可解释人工智能:方法、应用、洞见与未来方向

《Water》:Explainable Artificial Intelligence in Water Research: Methods, Applications, Insights, and Future Directions

【字体: 大 中 小 】 时间:2026年09月04日 来源:Water 3.5

编辑推荐:

  人工智能在水研究中应用日益广泛。然而,许多人工智能模型,特别是复杂的机器学习模型,往往产生人类难以解释的结果。可解释人工智能(XAI)旨在通过提供关于模型行为和预测的透明且人类可理解的解释来应对这些挑战。研究人员采用结构化叙述性综述方法,通过对Web of S

  
人工智能在水研究中应用日益广泛。然而,许多人工智能模型,特别是复杂的机器学习模型,往往产生人类难以解释的结果。可解释人工智能(XAI)旨在通过提供关于模型行为和预测的透明且人类可理解的解释来应对这些挑战。研究人员采用结构化叙述性综述方法,通过对Web of Science核心合集和Scopus的预设检索,综合了六个水研究领域中的实证XAI应用:水文过程、水质与污染、地下水系统、城市水系统、气候-水相互作用、以及水和废水处理。该综述涵盖了特征重要性方法、沙普利加法解释(SHAP)、局部可解释模型无关解释(LIME)、偏依赖图(PDPs)、个体条件期望(ICE)图、累积局部效应(ALE)图、反事实解释以及深度学习归因方法。在以往聚焦特定水领域或方法论优先级的综述和观点基础上,本研究提供了跨越自然和工程水系统的跨领域综合,重点关注方法选择、模型与数据兼容性、解释可靠性以及实际部署实施。然而,这些能力必须谨慎解读,因为XAI解释仍依赖于数据、拟合模型和解释方法,因此不应被视为因果机制或环境控制的证据。认识到这些局限性,研究人员为选择和评估XAI方法提供了实用指南,并概述了为水研究和管理开发可靠、可扩展且具有操作实用性的人工智能系统的优先事项。
以下是基于论文主体内容的专业性总结,保留了各小节标题并对相应内容进行了概括。
2. 可解释人工智能(XAI)的概念与方法
2.1. XAI的概念
XAI是一套使人工智能(AI)模型输出对人类用户可理解的方法集合,旨在增强模型的透明度,克服“黑箱”问题。XAI技术有助于解释模型为何产生特定预测、哪些输入特征贡献最大以及这些贡献如何随环境变化。XAI方法可按三个维度分类:引入可解释性的时机(事前ante hoc或事后post hoc)、解释范围(全局global或局部local)以及对模型的依赖性(模型无关model-agnostic或模型特定model-specific)。
2.1.1. 事前可解释性与事后可解释性
事前可解释性指模型本身具有内在透明性,如线性回归、决策树等。事后可解释性则应用于已训练的复杂模型,需要借助外部方法,例如沙普利加法解释(SHAP)和局部可解释模型无关解释(LIME)。
2.1.2. 全局与局部可解释性
全局解释描述模型在整个数据集上的整体行为,常用方法包括特征重要性、置换特征重要性(PFI)、偏依赖图(PDPs)、累积局部效应(ALE)图和聚合的SHAP值。局部解释则关注单个预测结果,解释特定观测值、事件或时间点的预测成因,常用方法包括LIME、个体SHAP、个体条件期望(ICE)图和反事实解释。
2.1.3. 模型无关与模型特定可解释性
模型无关方法不依赖底层模型内部结构,适用于多种模型,如PFI、PDPs、LIME和KernelSHAP。模型特定方法利用模型内部结构,如梯度或中间层激活,提供更高效的解释,但仅限于兼容模型,例如针对树模型的TreeSHAP、针对深度学习模型的Integrated Gradients和Grad-CAM。
2.2. 水研究中常用的XAI方法
2.2.1. 沙普利加法解释(SHAP)
SHAP是一种基于合作博弈论中Shapley值的特征归因方法,可量化每个特征对模型输出的贡献。它支持全局和局部两种解释,并通过汇总图、依赖图和瀑布图等可视化工具呈现,已成为水研究中应用最广泛的XAI技术之一。
2.2.2. 局部可解释模型无关解释(LIME)
LIME是一种事后、局部的解释方法,通过在目标观测点邻域内拟合一个简单的可解释代理模型来解释单个预测。它适用于多种机器学习模型,但其稳定性受采样策略和扰动过程影响。
2.2.3. 偏依赖图(PDPs)与个体条件期望(ICE)
PDPs展示模型预测随单个特征变化的平均趋势,有助于识别非线性关系和阈值效应。ICE图则显示每个观测个体的响应曲线,揭示异质性。两者常结合使用,以提供互补视角。
2.2.4. 累积局部效应(ALE)
ALE图通过计算特征区间内的局部预测变化并累积效应,量化单个特征的影响。相比PDPs,ALE在处理特征相关性更强的数据时更为稳健,特别适用于环境变量高度关联的水研究。
2.2.5. 新兴的可解释性方法
包括用于深度学习的Integrated Gradients、DeepLIFT、层间相关性传播(layer-wise relevance propagation)和Grad-CAM,以及用于图神经网络的GNNExplainer。此外还有Anchors、概念激活向量测试(TCAV)和FastSHAP等方法,服务于不同的解释目标。
2.3. XAI方法的选择与评估
没有一种XAI方法是普遍最优的。选择需综合考虑解释范围、模型兼容性、计算需求和可靠性。特征相关性会显著影响XAI结果,研究者应检查特征相关性,考虑分组或依赖感知的解释,并比较互补方法。解释可靠性需从保真度、稳定性、一致性等多个维度进行评估,并应与模型预测性能分开考量。集成学习模型和数据结构的差异也需纳入方法选择的考量。
3. XAI在水研究中的应用
应用被划分为六个领域:水文过程、水质与污染、地下水系统、城市水系统、气候-水相互作用、以及水和废水处理。对499项实证研究的定量分析显示,该领域增长迅速,但地理分布集中,主要依赖基于树的提升模型和SHAP方法,且常规业务化部署有限。
3.1. 水文过程
XAI主要用于提高模型透明度,识别影响水文预测的环境因子,如降水、温度、土壤湿度等。SHAP是最常用的方法,LIME和PDPs等也有应用。
3.2. 水质与污染
XAI用于识别影响污染物浓度的主导环境与人为因子,如气象、水文、土地利用等。SHAP被广泛用于识别营养物、藻华等预测的关键因子,并与遥感、传感器网络结合支持大规模评估。
3.3. 地下水系统
XAI用于识别影响地下水动态和水质的因子,如降水、蒸散发、含水层属性等。SHAP在地下水水位预测、补给估算和水质评估中应用最为广泛。
3.4. 城市水系统
XAI用于识别影响城市洪涝、径流和基础设施性能的因子,如降水、不透水面覆盖率、排水特性等。SHAP被广泛用于识别城市洪涝的主导预测因子。
3.5. 气候-水相互作用
XAI用于干旱评估、极端降水分析和径流预测等,识别气候控制因素。SHAP被广泛应用于干旱预测和气候影响评估。
3.6. 水和废水处理
XAI用于预测污染物去除效率、膜性能和出水水质等,帮助识别关键工艺参数。SHAP和LIME被用于评估进水浓度、pH、温度等变量的贡献。
3.7. 水研究中AI与XAI使用的定量模式
对499项研究的描述性分析显示,研究集中于中国,水质与污染是最大的应用领域,基于树的提升模型和SHAP方法占主导地位。
3.8. XAI在水管理中的业务化实施
XAI的业务化实施尚处于初期阶段,多数应用停留在研究或原型阶段,向水务机构常规部署的证据仍然有限。
4. XAI在水研究中的洞见
XAI有助于识别关键环境预测因子、刻画非线性模型响应模式、揭示环境因子间的交互作用、展现空间异质性、表征时间动态以及评估模型功能现实性和物理合理性。但这些洞见应视为基于模型的证据,而非水系统的确定性属性。
4.1. 识别关键环境预测因子
XAI能有效量化气候、水文、地质等预测因子的相对重要性,如识别出河道高程低、坡度缓和高流量变异性是洪涝的主导预测因子。
4.2. 刻画非线性模型响应模式与变化点
通过SHAP依赖图和ALE图,可以揭示模型学习到的突变或变化点,例如在半干旱含水层中识别出的约30°C的温度变化点。
4.3. 理解环境因子间的交互作用
通过SHAP交互值和多维依赖图,可以揭示预测因子间的协同或拮抗关系,如上流水位下降与海平面气压异常对盐度入侵的交互影响。
4.4. 揭示空间异质性
局部解释方法允许比较不同地点的预测因子贡献,从而识别区域特异性影响因素,例如发现温度变量主导区域性地下水干旱,而降水变量主导局部集水区。
4.5. 表征时间动态
XAI方法应用于长短期记忆网络(LSTM)等时序模型,可研究预测因子重要性随时间的变化,如区分融雪、近期降雨和前期降雨条件对洪水的不同贡献。
4.6. 评估模型功能现实性与物理合理性
XAI可用于检验模型学习的关系是否符合物理规律。研究发现,高精度的LSTM模型可能学到虚假关系,这凸显了XAI对于识别非物理合理模型行为的重要性。
5. 机遇与未来方向
未来研究应从当前的事后解释,向更可靠、结构感知、不确定性感知和因果驱动的方法迈进。短期重点包括标准化报告和可重复基准测试;中期重点包括时空感知可解释性和多源数据融合;长期重点包括实时业务化部署和可解释数字孪生。
5.1. 连接XAI与因果推断方法
未来需将XAI与有向无环图(DAGs)、因果发现等因果推断框架整合,推动从模型中心解释走向因果意义解释。
5.2. 将时空结构纳入XAI
未来的XAI应用需发展显式的时空感知结构,以解释环境信号在水系统中的传播过程。
5.3. 物理信息机器学习与多源数据融合
将物理约束嵌入数据驱动架构的物理信息机器学习(PIML),并结合原位监测、卫星观测等多源数据,可使模型解释更符合物理过程。
5.4. 超越SHAP的多样化XAI方法
未来应采用更多样化的XAI方法,如用于“假设”情景分析的反事实解释、用于序列数据的注意力机制(Attention)以及用于卷积模型的Grad-CAM。
5.5. 面向业务化水管理的数字化XAI
将XAI嵌入物联网(IoT)传感器、边缘计算和数字孪生等数字基础设施,实现近实时决策支持,例如建立“可解释数字孪生”。
5.6. 新兴的人工智能-XAI范式
将XAI与生成式人工智能(GenAI)、图神经网络(GNN)和强化学习(RL)等新兴范式结合,有望提升合成数据生成、复杂网络解释和水库调度优化的透明度。
6. 在水研究中应用XAI的实践考量
6.1. 为不同水应用选择合适的XAI方法
方法选择取决于研究目标、模型类型和数据特征。全局方法适合识别关键预测因子,局部方法适合解释单个事件。面对高相关特征,ALE图比PDPs更稳健。
6.2. XAI解释中的常见陷阱
常见误区是将特征重要性等同于因果关系。此外,相关变量会影响归因估计,且不同XAI方法可能对同一预测给出不同解释。
6.3. 在水研究中应用XAI的建议
应遵循透明、可复现、有物理依据的工作流程。首先明确定义科学目标,严格评估模型性能,再根据目标选择XAI方法。解释应结合专业知识,但需区分模型解释与环境推断,并明确考虑解释的不确定性。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号