《Engineering Applications of Artificial Intelligence》:Enhancing the performance of machine learning models for simulation of river flows in data-scarce catchments using bootstrapping and physics-based data augmentation
编辑推荐:
在数据稀缺地区,准确的河流流量预测对于气候变化下的可持续水资源管理至关重要,然而有限的观测数据限制了数据驱动模型的性能和适用性。本研究系统评估了统计和物理知识数据增强策略在改善河流流量模拟中机器学习(ML)模型性能的有效性。评估在两个气候差异显著的撒哈拉以南非
在数据稀缺地区,准确的河流流量预测对于气候变化下的可持续水资源管理至关重要,然而有限的观测数据限制了数据驱动模型的性能和适用性。本研究系统评估了统计和物理知识数据增强策略在改善河流流量模拟中机器学习(ML)模型性能的有效性。评估在两个气候差异显著的撒哈拉以南非洲数据稀缺流域进行。为解决数据稀缺问题,研究人员应用自举法和物理知识数据增强来扩展前馈神经网络(FFNN)和长短期记忆(LSTM)模型的训练数据集。由此产生的模型性能以基于物理的水文工程中心水文建模系统(HEC-HMS)模型为基准进行了对比。独立机器学习模型与HEC-HMS的比较揭示了数据依赖的性能表现,即在非常有限的数据集上HEC-HMS优于机器学习模型。相比之下,随着数据可用性的增加,机器学习模型实现了卓越的性能。将机器学习模型与数据增强方法相结合表明,特别是在可用训练数据有限时,FFNN和LSTM的性能有所提高。当使用较长的训练数据集时,观察到有限或可比的性能。结果进一步表明,应用的数据增强方法与模型架构和流域水文气候条件无关。这些发现为水资源工程师和建模者在数据稀缺地区进行河流流量建模时,关于数据增强策略的模型特定和数据依赖性适用性提供了实用指导。
研究背景与意义
在气候变化、快速城市化和用水需求增长的背景下,准确预测河流流量对于构建韧性和可持续的水资源管理至关重要。然而,在撒哈拉以南非洲等地区,水文气象站不足、数据稀缺以及未来气候变化预测的不确定性严重制约了可靠流量预测。传统的概念性或基于物理的水文模型(如HEC-HMS)虽然能够明确表征降雨-径流过程,但通常需要大量的物理流域数据集,且校准工作繁重,受模型结构不确定性的限制。近年来,人工智能/机器学习(AI/ML)模型因其在数据中学习复杂非线性水文关系的卓越能力而日益普及。然而,机器学习模型(尤其是深度学习模型)通常依赖长序列的训练数据集,这在发展中国家往往难以满足。因此,探索在数据稀缺条件下提升机器学习模型性能的方法具有重要的现实意义。该研究发表于《Engineering Applications of Artificial Intelligence》,旨在通过引入数据增强技术解决这一难题。
关键技术方法
研究人员选取了南非的上鳄鱼河(Upper Crocodile)流域和乌干达的上玛雅尼亚河(Upper Mayanja)流域作为两个数据稀缺的案例研究区。针对数据缺失问题,采用了正态比率法(NR)和偏差校正遥感降水数据(CHIRPS)进行数据填补。研究构建了独立的FFNN和LSTM模型,并引入了两种数据增强策略:一是基于统计的自举法(Bootstrap),通过对原始数据集进行有放回的重采样生成新的训练样本;二是基于物理知识的数据增强,利用校准后的HEC-HMS模型生成合成河流流量数据,并将其与观测数据合并以扩展训练集。为了全面评估模型性能,研究人员采用了纳什效率系数(NSE)、决定系数(R2)、均方根误差(RMSE)以及流量持续时间曲线高/低段体积百分比偏差(%BiasFHV/%BiasFLV)等指标。此外,还利用SHapley加性解释(SHAP)技术提高了机器学习模型结果的可解释性。
研究结果
3.1 HEC-HMS
敏感性分析表明不透水率是两个流域中最敏感的参数。HEC-HMS模型能够较好地捕捉不同季节和河流流量模式。在测试期,HEC-HMS在上玛雅尼亚河流域的表现优于独立机器学习模型,但在上鳄鱼河流域则逊于机器学习模型。HEC-HMS在上鳄鱼河流域高估了枯水期流量,而在上玛雅尼亚河流域低估了枯水期流量,且在两个流域均低估了洪峰流量。
3.2 Bootstrapping
研究人员评估了自举样本量对模型性能的影响,发现当中位NSE大致保持一致时,100个自举样本产生了最低的RMSE和更窄的四分位距,因此被确定为最佳样本量。这表明超过一定阈值后,模型不会从自举重采样中学习到额外信息。
3.3 ML model performance
3.3.1 Standalone ML models
在上鳄鱼河流域,FFNN和LSTM模型在测试期的NSE、R2和RMSE表现相似,且均优于HEC-HMS。而在上玛雅尼亚河流域,由于训练数据较短且观测站稀疏,FFNN的表现优于LSTM,且HEC-HMS的整体表现最佳。这表明机器学习模型在观测记录较长时能更有效地学习复杂的降雨-径流关系。
3.3.2 Bootstrapping data augmentation
自举法数据增强在上玛雅尼亚河流域显著提升了模型性能,但在上鳄鱼河流域表现相当。自举法能有效改善峰值流量的模拟,但对枯水流量的改善效果不明显。其优势在于能在训练数据严重稀缺时提供性能提升,并增强对峰值流量的预测能力。
3.3.3 Process-based data augmentation
基于物理知识的数据增强同样在上玛雅尼亚河流域带来了性能提升,并在上鳄鱼河流域取得了与独立机器学习模型相当的结果。该方法在预测峰值和枯水流量条件时表现出平衡性,能够结合物理模型的优点弥补纯数据驱动模型的不足,但其效果高度依赖于底层物理模型的质量。
3.4 SHAP
SHAP可解释性分析表明,在前一天的高降雨事件对两个流域的流量影响最大,蒸发量影响较小。在上玛雅尼亚河流域,由于沼泽性质,远至39天前的降雨对流量仍有显著影响。这些发现与已知的水文原理一致,证实了模型学习到了合理的物理机制。
讨论与结论
研究讨论指出,独立机器学习模型与基于物理模型在不同流域表现迥异,这归因于可用训练数据集的长度和气象观测站的数量。自举法在增强峰值流量估计方面贡献显著,而物理知识增强则在数据稀缺条件下提供了平衡的性能。尽管研究取得了积极成果,但也存在局限性,如仅评估了两个流域、未考虑降水的空间变异性及土地利用等因素,且未测试在气候变化下的稳健性。
结论
- 1.
自举法和物理知识数据增强均能提升FFNN和LSTM模型在数据稀缺流域的性能,但在训练数据较长时影响有限;自举法能显著改善峰值流量预测。
- 2.
这两种增强方法在两个研究流域均表现出色,显示出在不同水文气候和流域特征下应用的潜力,但由于仅包含两个案例,其代表性可能存在局限。
- 3.
物理知识数据增强通过补充多样化的物理合理流量,帮助减少了结构性和认知不确定性,从而提升了数据稀缺条件下机器学习模型学习流域行为的能力。