用于叶绿素 a 浓度预测的可解释元启发式优化 XGBoost 模型：基于 SHAP 和 LIME 可解释性的比较研究

《Journal of Environmental Chemical Engineering》：Explainable Metaheuristic-Optimized XGBoost Models for Chlorophyll-a Concentration Prediction: A Comparative Study based on SHAP and LIME Interpretability

　　

摘要
总叶绿素（Chl-a）浓度的准确预测对于河流水质管理和水资源运营非常重要。除了直接的原位测量外，人们提出了许多建模方法。然而，Chl-a 浓度的准确预测始终是迫切需要的，这促使人们提出新的建模策略。在本文中，采用了各种机器学习模型（ML），即多元线性回归（MLR）、CART、XGBoost，以及使用六种元启发式优化算法优化的 XGBoost：蝙蝠算法（XGBoost-BAT）、小龙虾优化算法（XGBoost-COA）、蜻蜓优化（XGBoost-DOA）、蝗虫优化算法（XGBoost-GOA）、灰狼优化器（XGBoost-GWO）和鲸鱼优化算法（XGBoost-WOA），来预测总 Chl-a 浓度。模型的开发使用了从位于美国克拉卡马斯县克拉卡马斯河的两个美国地质调查局（USGS）站点收集的每日数据。使用图形比较和四个统计指标评估了模型性能：纳什 - 萨克拉夫特效率系数（NSE）、相关系数（R）、均方根误差（RMSE）和平均绝对误差（MAE）。使用 KBest 方法进行了特征选择，而使用 Kruskal-Wallis 和 Diebold-Mariano 检验评估了统计显著性。使用 SHapley 加性 exPlanations (SHAP) 和 Local Interpretable Model-Agnostic Explanations (LIME) 在全局和局部层面调查了模型可解释性。结果表明，提出的混合 XGBoost 模型优于基准 MLR、CART 和标准 XGBoost 模型。XGBoost-GWO 模型在 USGS 14210000 取得了最佳性能（R=0.950, NSE=0.901），而 XGBoost-COA 在 USGS 14211010 最有效（R=0.912, NSE=0.832）。SHAP 全局分析确定比电导率和藻蓝蛋白是 Chl-a 浓度最有影响力的预测因子。

引言
叶绿素 a (Chl-a) 浓度构成了淡水系统中浮游植物生物量主要且最广泛验证的替代指标，并仍然是全球水质监测计划的基础指标。它使得能够系统评估营养状态，并提供即将到来的藻类增殖的最早可靠信号 [1], [2]。Chl-a 升高的生态、经济和公共健康影响是深远的。蓝藻水华的生物量与 Chl-a 强烈正相关，合成一系列强效肝毒素和神经毒素，损害饮用水供应，妨碍休闲用途，并对人类和动物健康构成急性风险 [3]。在过去几十年中，加速的人为营养负荷（主要来自农业集约化、城市径流和废水排放的氮和磷）与气候变化引起的变暖、降水模式改变和增强的热分层之间的协同相互作用，驱动了湖泊、水库和河流中有害藻华 (HABs) 的频率、强度、持续时间和地理范围全球增加的良好记录 [1], [4]。

河流环境提出了独特的挑战，使得 HAB 估计复杂化。与静水系统相比，河流表现出显著的水力变率、快速平流输运和复杂的纵向和横向混合机制，产生物理化学驱动因素的高频波动。这些动态使得基于过程的模型（建立在营养动力学、光衰减、沉积物再悬浮和水力输运的详细机制描述之上）在参数化和数据要求方面特别苛刻。可靠运行模拟所需的高分辨率、特定场地的数据集在实时管理所需的时间尺度上很少可用 [5]。因此，机器学习 (ML) 范式已出现作为强大的数据驱动补充，甚至替代方案，能够从 Chl-a 与常规监测变量（如水温度、pH 值、溶解氧、浊度、比电导率和藻蓝蛋白）之间提取复杂的、非线性的和交互关系 [6], [7], [8], [9]。

在集成学习技术中，极端梯度提升 (XGBoost) 已在异构水环境中持续表现出卓越的预测技能，这归功于其强大的正则化机制、对高维特征空间的有效处理以及对缺失或噪声数据的韧性 [10]。然而，XGBoost 的性能严重依赖于超参数配置。默认设置很少达到最优，而传统的穷举或随机搜索策略（网格搜索或随机搜索）在环境数据集典型的高维、非凸景观中变得计算上禁止，并且经常收敛到局部而非全局最优解。受自然启发的元启发式算法，包括灰狼优化器 (GWO)、鲸鱼优化算法 (WOA)、蝗虫优化算法 (GOA)、小龙虾优化算法 (COA)、蜻蜓优化算法 (DOA) 和蝙蝠算法 (BAT)，提供了一种原则性且计算上高效的替代方案。通过模仿群体生物智能，这些基于群体和进化的方法实现了全局探索和局部开发之间的有效平衡，从而增加了识别全局更优超参数集的可能性 [11]。然而，这些优化器的系统性、面对面基准测试，特别是较新的 COA 和 DOA，在河流 Chl-a 预测的具体背景下仍然明显有限，特别是当模型必须在对比明显的水文监测站点之间泛化时。

加剧这些建模挑战的是即使是最准确的 ML 模型固有的不透明性，这阻碍了它们转化为监管决策和利益相关者的信任。可解释人工智能 (XAI) 技术，特别是用于全局特征归因的 SHapley 加性 exPlanations (SHAP) 和用于实例级可解释性的 Local Interpretable Model-agnostic Explanations (LIME)，已作为能够渲染黑盒预测透明和机制洞察力的工具而获得 prominence [10], [12]。然而，将它们组合应用于元启发式优化的 XGBoost 模型在水科学中受到的关注相对较少。

本研究通过开发和严格评估一套通过六种不同的元启发式算法（GWO, WOA, GOA, COA, BAT, 和 DOA）优化的混合 XGBoost 模型，以解决这些差距，用于 Chl-a 浓度的短期估计（短临预报）。使用在克拉卡马斯河（Estacada 和 Oregon City）两个水文对比明显的美国地质调查局 (USGS) 站点收集的高频传感器数据（温度、pH 值、溶解氧、浊度、比电导率和藻蓝蛋白）来 (1) 评估模型在分歧水力机制下的适用性，(2) 使用包括纳什 - 萨克拉夫特效率系数、R、RMSE 和 MAE 在内的综合统计指标集合，将预测性能与传统基线（多元线性回归和分类与回归树）进行基准比较，同时使用 Kruskal-Wallis 和 Diebold-Mariano 检验进行模型比较以评估统计显著性，以及 (3) 应用双层 XAI 框架，SHAP 用于全局驱动因素识别，LIME 用于局部解释，以阐明温带河流流域藻类生物量的主导物理化学控制。通过将最先进的元启发式优化与先进的可解释 AI 集成，这项工作为负责在加速环境变化下保护水生生态系统的水资源管理者提供了一个稳健、透明且操作上可操作的决策支持框架。

章节片段
XGBoost (极端梯度提升)
XGBoost 由 Chen 和 Guestrin [13] 开发，是一种支持分布式计算的复杂基于树的梯度提升算法。与类似的提升方案相比，它通过快速执行速度、准确预测和在新数据上的稳健性能表现出优越的性能 [14]。XGBoost 迭代地构建树，每个新树分析实际值和预测值之间的残差，以解决前一次迭代中发生的预测误差。

研究区域和使用数据
本研究中使用的叶绿素 (Chl-a) 浓度和水质变量是从两个 USGS 站点获得的，即：(i) USGS 14211010 克拉卡马斯县美国克拉卡马斯河俄勒冈城附近（经度：-122.5773，纬度：45.3792），(ii) USGS 14210000 克拉卡马斯县美国克拉卡马斯河 Estacada 处（经度：-122.3539，纬度：45.2998）。站点的位图如图 1 所示。表 1 显示了水质变量的统计特征。

其他
结果
本研究检查了可解释的、元启发式优化的 XGBoost 模型在两个 USGS 监测站预测叶绿素 a 浓度的能力。我们通过组合不同的优化算法创建了几个混合 XGBoost 框架，以提高模型的准确性、稳定性和泛化能力。我们评估的模型包括多元线性回归 (MLR)、分类与回归树 (CART)、独立的 XGBoost 模型以及使用...优化的多个混合 XGBoost 变体。

讨论
在评估了本研究中应用的数据驱动方法和集成方法后，很明显，嵌入元启发式优化技术（如 BAT, COA, DOA, GOA, GWO 和 WOA）的混合 XGBoost 模型与传统的统计方法 (MLR) 和独立的机器学习方法 (CART 和单一 XGBoost) 相比，显著提高了叶绿素 a 预测的准确性。如结果部分所解释的，在 USGS 14210000，XGBoost-GWO 取得了最佳性能 (NSE =...。

局限性与未来方向
尽管本研究获得了令人印象深刻和可接受的结果，但重要的是要注意几个局限性。首先，本研究中使用的数据集覆盖了有限的时间段，因此，模型尚未在多年或极端水文条件下进行测试和评估。值得注意的是，气候变化可能会改变太平洋西北部河流的降水模式，这可能限制模型结果对未来条件之外的泛化能力。

结论
本研究调查了使用六种元启发式算法优化的混合 XGBoost 模型（XGBoost-BAT, -COA, -DOA, -GOA, -GWO, WOA）与单一机器学习模型（XGBoost, CART, MLR）相比，在美国克拉卡马斯河两个 USGS 监测站预测叶绿素 a 浓度的性能。关键发现表明，将受自然启发的优化算法与 XGBoost 集成，显著提高了相对于统计指标的预测准确性，如...。

伦理批准
不适用。

资金
本研究未收到外部资金。

CRediT 作者贡献声明
Mohammad Zounemat-Kermani: 写作 – 初稿，可视化，验证，调查，形式分析。Sungwon Kim: 写作 – 初稿，可视化，调查，形式分析，数据管理。Ozgur Kisi: 写作 – 初稿，验证，监督，调查，形式分析，构思。Francesco Granata: 写作 – 初稿，验证，监督，调查。Salim Heddam: 写作 – 初稿，监督，调查，数据管理。

写作过程中生成式 AI 及 AI 辅助技术声明
使用了 AI 辅助工具（OpenAI 的 ChatGPT 和 Google 的 Gemini）来支持语言编辑并提高手稿的清晰度和可读性。所有科学内容、数据分析、结果解释和结论均由作者单独开发和验证，作者对本出版物的内容承担全部责任。

利益冲突声明
作者声明他们没有已知的可能影响本论文中报告工作的竞争性财务利益或个人关系。

致谢
不适用。

参与同意
不适用。

出版同意
所有作者已同意发表本手稿。

临床试验号
不适用。

利益冲突
作者声明他们没有利益冲突。

Khaled Merabet | Sungwon Kim | Ozgur Kisi | Francesco Granata | Salim Heddam | Mohammad Zounemat-Kermani
科学学院，农艺系，水力学部，1955 年 8 月 20 日大学，Route El Hadaik, BP 26, Skikda, 阿尔及利亚