利用机器学习、云层遮蔽技术和多源数据提高降雨量估算的准确性:以越南中部四个沿海省份为例
《PLOS One》:Enhancing rainfall estimation accuracy with machine learning, cloud masking, and multi-source data: A case study of four coastal provinces in central Vietnam
【字体:
大
中
小
】
时间:2026年02月14日
来源:PLOS One 2.6
编辑推荐:
摘要
本研究开发了LGBM-3SC-CF产品,这是一个集成多源数据(Himawari-8、ERA5、ASTERDEM和雨量计)的机器学习框架,显著提高了越南中部四个沿海省份的降雨分类和估算精度。在方法论上,我们的核心贡献在于提出了一个三阶段分类架构,并结合了一种新颖的云层掩蔽
摘要
本研究开发了LGBM-3SC-CF产品,这是一个集成多源数据(Himawari-8、ERA5、ASTERDEM和雨量计)的机器学习框架,显著提高了越南中部四个沿海省份的降雨分类和估算精度。在方法论上,我们的核心贡献在于提出了一个三阶段分类架构,并结合了一种新颖的云层掩蔽技术。为了解决降雨数据集中固有的类别不平衡问题,我们进一步采用了基于降雨强度分布的有效数据平衡技术,以及基于云层和降雨形成因素的特征选择方法。所提出的降雨产品的性能与四种现有的区域降雨产品进行了比较:IMERG Final Run V07、IMERG Early Run V06、GSMaP_MVK_Gauge V07和PERSIANN-CCS。LGBM-3SC-CF取得了最高的性能,其关键成功指数(CSI)为0.55,检测概率(POD)为0.74,相关系数(CC)为0.47,修正Kling-Gupta效率(mKGE)也为0.47。此外,它的误差指标最低,平均绝对误差(MAE)为2.66毫米/小时,均方根误差(RMSE)为5.48毫米/小时。本研究不仅建立了一个强大的机器学习框架,还为通过无缝替换大气再分析特征与近实时气象特征来开发近实时降雨估算模型提供了必要的方法论基础。
引言
越南中部地区经常受到与降雨变化密切相关的极端天气事件的影响,包括洪水和山体滑坡[1]。因此,开发高精度的降雨数据集在支持经济发展、提高预测模型的准确性以及制定更有效的灾害预防和缓解策略方面发挥着至关重要的作用[2]。已经采用了多种方法进行降雨估算,包括雨量计站、天气雷达和气象卫星[3,4]。然而,每种方法在空间覆盖范围、时间分辨率、地形影响和传感器质量方面都存在固有的局限性。近年来,将机器学习(ML)和深度学习(DL)技术与多源数据相结合已成为提高降雨估算精度的一种有前景的解决方案。特别是ML模型能够有效处理中等规模的数据集,并捕捉输入特征与降雨输出之间的复杂非线性关系,同时所需的计算资源较少,且比DL模型更简单。因此,ML方法在降雨估算研究中越来越受到青睐[5,6]。提高降雨估算精度从根本上需要一个稳健的初步降雨分类[7]。文献中的降雨分类方法通常分为两大类:(i)单阶段分类和(ii)两阶段分类。在单阶段方法中,使用单个模型将输入数据分类为降雨/非降雨或直接分类为不同的降雨强度等级,然后进行降雨估算[8]。在两阶段方法中,第一个模型将数据分类为降雨区域和非降雨区域,第二个模型进一步将降雨区域分类为不同的降雨强度等级,然后根据这些等级进行降雨估算[5]。然而,无论选择哪种方法(单阶段或两阶段),降雨分布不平衡始终是准确建模的一个严峻挑战。因此,本研究提出了一种多阶段方法,将降雨范围划分为几个连续的子区间,并对每个区间进行二分类(两类分类),以有效缓解样本不平衡问题,并显著提高模型对少数类别的预测精度。除了架构设计外,还提出了多种数据平衡技术——主要依赖于数值和数学处理——来减轻分类任务中的类别不平衡效应[9]。这些技术通常包括类别加权(CW)、少数类别的随机过采样以及合成过采样方法,如合成少数类过采样技术(SMOTE)[10]、边界SMOTE[11,12]和自适应合成采样(ADASYN)[12]。例如,在[13]中,使用了三种ML模型(包括RF、K-最近邻(KNN)和决策树(DT)来估算印度的降雨,并应用了SMOTE来处理相关的数据不平衡问题。在这些模型中,RF结合数据平衡获得了最佳的分类结果,F1分数为0.91,精确度为0.89,召回率为0.94,准确率为0.91。同样,在[14]中,XGBoost(XGB)模型与SMOTE和SMOTEN技术结合使用来平衡每日降雨分类数据。结果显示,使用SMOTEN的XGB模型准确率最高,达到92.92%,其次是SMOTE的90.58%,而不平衡模型的准确率仅为75.36%。然而,每种平衡方法都有其优势和局限性;因此,选择哪种方法应取决于数据集的特点。这对于类别不平衡的多类任务尤为重要,例如样本量非常少的强降雨或非常强降雨[15,16]。因此,选择和组合适合每个降雨类别分布特征的不同数据平衡技术可以潜在地提高少数类别的准确性,以及总体上提高降雨分类模型的性能[17]。这也是本文采用的方法。此外,降雨分类中的一个主要挑战是严重的数据不平衡,这常常导致非降雨样本被错误地分类为降雨事件(误报),因此需要有效的空间过滤来抑制这种过度检测现象。为了解决这个问题,引入了基于关键大气属性(如云顶高度(CTH)、云顶温度(CTT)和云相(CP)的云层掩蔽作为限制降雨估算区域的关键策略,显著提高了检测系统的可靠性和准确性[18–20]。开发这些掩蔽的常用方法依赖于分析来自卫星图像(如Himawari-8)红外(IR)通道的亮度温度(BT)阈值和亮度温度差异(BTD)。例如,在[22]的研究中,使用了Himawari-8 IR通道的各种BT和BTD阈值来根据云与地表降雨的关系对云进行分类。这种方法经过GPM卫星产品的验证,获得了较高的整体准确性(云/非云分类为0.97,雨-云分类为0.72)。同样,在[23]的研究中,针对2020-2021年中国的特定地区,应用了Himawari-8 B14B通道的255 K BT阈值成功检测了对流雨云。然而,准确识别降雨云的适当BT阈值高度依赖于当地气候、气象和地形条件。本研究通过分析研究区域特定数据集的统计分布特征来定制云层掩蔽过程,从而选择适当的阈值来生成应用于所提出的降雨分类模型中的云层掩蔽。此外,从卫星数据中准确进行降雨分类和估算从根本上需要整合局部特征,如地形和区域气象模式,因为地球表面的降雨与这些条件密切相关[21,22]。因此,本研究利用ERA5和ASTER DEM数据来提高降雨估算和分类的准确性。为了优化模型性能并避免冗余,对这些多源特征进行了仔细的特征选择。总之,本研究旨在提高2019-2023年越南中部四个沿海省份的降雨分类和估算精度——解决了上述方法论挑战。这是通过使用集成多源数据的LGBM模型实现的,包括Himawari-8卫星图像、ERA5再分析数据、ASTER DEM和区域雨量计网络。本研究的主要贡献如下:
1. 提出了一种新颖的三阶段降雨分类架构。在第一阶段,输入数据被分类为降雨区域和非降雨区域。在第二阶段,第一阶段识别的降雨区域进一步被分类为低强度降雨和高强度降雨。在第三阶段,低强度降雨区域被分类为小雨和中雨,而高强度降雨区域被分类为大雨和非常强雨。这种分层结构提高了所提出的降雨产品的整体分类性能,特别是对于大雨和非常强雨类别。
2. 提出了一种特征选择策略,以识别有效反映研究区域地形和气象特征的相关特征,旨在提高分类和回归模型的性能。
3. 提出了使用云层掩蔽的方法,以提高区分降雨云和非降雨云区域的准确性,以及区分低强度和高强度降雨相关的云层。从而提高了所提出的降水产品的整体降雨分类性能。
4. 提出了一种结合不同数据平衡技术来提高降雨分类性能的策略。具体来说,对降雨/非降雨分类模型应用了基于范围的降雨(RR)增强技术,而对于低强度和高强度降雨的分类以及区分小雨和中雨与大雨和非常强雨的分类,则使用了类别权重(CW)技术。
本文的其余部分组织如下:第2节介绍数据和方法论。第3节讨论实验结果和评估。第4节提供结论和未来研究的潜在方向。
数据和方法
案例研究
案例研究是位于越南中部的四个沿海省份,包括Quang Binh、Quang Tri、Thua Thien Hue和Da Nang(图1)。该地区的地形主要是山区,平均海拔约为500米。它东临东海,西接老挝,两者之间被陡峭的高Truong Son山脉分隔。来自海洋的湿润气团向内陆移动,在遇到高地时被迫上升,从而在迎风坡形成地形降雨。相反,从内陆吹向海岸的热干气团湿度较低,形成了所谓的“老风”现象。该地区的狭窄地形加上复杂且不断变化的地形,导致空气运动模式复杂且难以预测。气候特征是季风气候,受东北季风和西南焚风的影响[23]。
数据集
输入数据集包括雨量计数据、Himawari-8卫星数据(BT)以及辅助数据,包括ERA5再分析和ASTER DEM,所有数据均收集于2019-2023年期间。Himawari-8数据由日本气象厅(JMA)提供,时间分辨率为1小时,空间分辨率为2公里[5]。在本研究中,使用了来自10个独立红外(IR)通道的亮度温度(BT)数据——即I4B、WVB、B09、B10、B11、B12、IRB、B14、I2B和B16——以及45个派生的双通道IR特征(计算为这些独立IR通道之间的BT差异)。这一综合收集共得到55个Himawari-8特征。ERA5数据由欧洲中期天气预报中心(ECMWF)开发,时间分辨率为1小时,空间分辨率为25公里[24]。在本研究中,使用了ERA5的17个特征,包括K指数(KX)、对流抑制(CIN)、对流有效位能(CAPE)、总柱水汽(TCW)、总柱水汽(TCWV)、瞬时水分通量(IMF)、次网格尺度地形的各向异性(ISOR)、次网格尺度地形的坡度(SLOR)、250 hPa、500 hPa和850 hPa的相对湿度(R)、250 hPa、500 hPa和850 hPa的风的U分量(UWIND)以及250 hPa、500 hPa和850 hPa的风的V分量(VWIND)。其中,所提出的降雨产品使用了常见的特征集,包括TCW、SLOR、R850、UWIND850和VWIND850,用于训练所提出架构中的所有模型M1至M8。同时,使用RF重要性技术的降雨产品应用了所有17个特征来识别每个模型的关键特征子集。除了NASA开发的ASTER DEM数据外,它还提供了空间分辨率为30米的全球范围高程数据[25]。比较数据包括五种区域降雨产品,包括NASA和JAXA开发的IMERG产品(早期运行和最终运行),这些产品提供空间分辨率为30公里、时间分辨率为30分钟的降水量估算。IMERG Early Run (V06) 是一种接近实时的产品,延迟时间约为6小时[26],而IMERG Final Run (V07) 是一种延迟产品,延迟时间约为3.5个月,并且已经使用地面雨量计数据进行了偏差校正。由JAXA开发的GSMaP_MVK_Gauge (V07) 提供每小时降水数据,空间分辨率为[未提供具体数值],延迟时间约为3天[27]。PERSIANN_CCS 由水文气象与遥感中心(CHRS)开发,是一种接近实时的产品,具有高空间分辨率和每小时的时间分辨率,延迟时间约为30分钟[28]。在这项研究中,输入数据集和比较数据集都被重新采样为共同的空间分辨率4公里和时间分辨率1小时。最后,从该地区175个自动气象站(AWS)收集的雨量计数据被用作模型训练的目标标签,以及评估降水产品性能的地面真实值。2019-2023年期间研究区域内的总降水量如图2所示。此外,国家水文气象预报中心(NCHMF)在2019-2023年期间收集的天气雷达图像被用来直观评估所提出产品的降水图与雷达观测降水图之间的空间一致性。下载:PPT、PowerPoint幻灯片、PNG格式的大图、TIFF格式的原始图像。图2. 研究区域的年累计降水量。链接:https://doi.org/10.1371/journal.pone.0342825.g002
方法论。本研究提出了一个用于详细降水分类和回归的机器学习框架,如图3所示。本研究调查了三种机器学习算法:LGBM、XGB和RF。输入数据来自多个来源,具有不同的空间和时间分辨率,如2.2节所述。因此,在训练之前,这些数据集被标准化为统一的空间分辨率4公里和时间分辨率1小时。本研究的整体方法论分为三个主要部分:三阶段降水分类过程、随后的降水回归(估计)过程以及全面的性能评估程序。每个过程的详细步骤在以下部分中描述。下载:PPT、PowerPoint幻灯片、PNG格式的大图、TIFF格式的原始图像。图3. 提出的降水估计框架。链接:https://doi.org/10.1371/journal.pone.0342825.g003
首先,描述三阶段分类过程如下:
第一阶段:通过两个结果的逻辑组合进行初步的降雨/非降雨检测。模型M1提供降雨/非降雨区域的初步分类。同时,Cloud Mask 1(CM1)根据Himawari-8的BT阈值识别出降雨云和非降雨云。最终降雨区域仅由M1同时分类为降雨且CM1也识别为降雨的区域定义。M1分类为降雨但位于降雨掩码之外的区域被重新分类为非降雨。
第二阶段:使用第一阶段识别的合并降雨区域作为输入,进行低/高强度降水分类。模型M2提供初步的低/高强度分类。同时,Cloud Mask 2(CM2)根据特定的BT阈值区分产生低强度和高强度降雨的云。最终的高强度降雨区域仅由M2同时分类为高强度且CM2识别为高强度降雨的区域定义,其余区域则被视为低强度降雨。
第三阶段:基于第二阶段(M2 + CM2)的输出,通过并行分支过程细化降雨强度分类。之前被分类为低强度降雨的区域被输入到模型M3中进行详细的小/中等降雨分类。同时,被分类为高强度降雨的区域被输入到模型M4中进行详细的重/非常强降雨分类。用于定义M3和M4输入数据的这些细粒度强度级别的具体降雨阈值在表1中详细说明。下载:PPT、PowerPoint幻灯片、PNG格式的大图、TIFF格式的原始图像。表1. 用于分类降雨级别的降雨阈值。链接:https://doi.org/10.1371/journal.pone.0342825.t001
在将降雨分为小、中、重和非常重四个类别后,相应的样本被传输到模型M5至M8进行降水回归。最后,通过整合这四个模型的输出生成最终的降水产品,形成研究区域的降水图。所提出的降水产品的分类和回归性能通过与四个现有的区域降水产品(即GSMaP_MVK_Gauge V07、IMERG Final Run V07、IMERG Early Run V06和PERSIANN_CCS)进行定量评估指标对比(针对雨量计观测数据)和定性视觉评估(针对雷达图像)来进行比较。此外,为了优化模型的复杂性和效率,对分类和回归模型实施了特征选择,以减少输入变量的数量。本研究采用了两种特征选择方法:一种是在所有分类和回归模型中应用固定的特征集;另一种是每个模型使用随机森林(RF)重要性技术进行特征选择。这两种特征选择方案的详细信息在3.1.1节中介绍。此外,为了提高分类质量并解决降雨数据中固有的类别不平衡问题,采用了两种数据平衡技术。具体来说,基于角度的降雨(RR)技术被应用于模型M1,通过随机增加少数类样本的数量(3.1.2节);而对于模型M2、M3和M4,则使用了类别权重(CW)技术。
为了显著提高不同阶段的分类性能,两个专用的云掩码被集成到所提出的降水产品中。第一个是Cloud Mask 1(CM1),与初始降雨/非降雨分类模型(M1)的输出结合使用,以过滤错误检测。随后,Cloud Mask 2(CM2)与低强度/高强度分类模型(M2)的结果一起使用,以细化降雨强度级别的区分。CM1依赖于Himawari-8通道(WVB、IRB、I2B、B14)的BT值及其衍生的BT差异作为输入特征。这些特征被选中是因为它们与降雨云的物理属性高度相关[29-31]。确定CM1的最佳阈值的程序是一个迭代过程,包括三个主要步骤:
步骤1:根据雨量计站实际记录的降雨点,为每个单独的输入通道建立初始BT范围。
步骤2:进行二分类。只有当一个点在每个输入通道中的BT值都在步骤1中定义的范围内时,才将其分类为降雨云;否则,将其分类为非降雨云。
步骤3:涉及性能评估和迭代调整。计算混淆矩阵,重点是最大化真正例(TP)和最小化假负例(FN)。如果性能目标未达到(例如,FN过高且TP过低),则使用离散的经验值在两端迭代扩展BT范围,直到达到所需的TP/FN平衡(例如[具体数值]),确保稳定检测到降雨云区域。
CM2的生成方式与CM1类似,但使用了一组不同的输入特征(WVB、IRB、I4B和B14),以区分低强度和高强度降雨云。
LGBM是一种属于梯度提升决策树(GBDT)家族的算法,由微软在2017年引入[32]。它基于组合多个弱学习器来形成一个强学习器的原理,从而提高整体预测性能。其目标是在每次提升轮次中迭代最小化损失函数的一阶导数(梯度)[32]。数学上,LGBM模型初始化为一个常数值,该值最小化整个训练数据集的总体误差。给定一个包含n个样本的训练数据集,其中xi是第i个样本的特征向量,yi是第i个样本的真实标签。模型由M棵决策树(DTs)的集成构成,形式如下:(1)其中,fk是第i个样本的预测值,fk是第k棵决策树,表示模型中的所有回归树集合。数学上,LGBM模型初始化为一个常数值,该值最小化整个训练数据集的总体误差:(2)对于分类问题,损失函数的形式为:(3)对于回归问题,损失函数定义为:(4)模型使用M棵树进行训练,在每次迭代中执行以下基本步骤:
步骤1:计算每个样本i的损失函数导数。这代表了模型旨在纠正的残差(δi):(5)
步骤2:训练一棵新树来近似残差误差,其中hm(x)是在第m次迭代中训练的决策树:(6)
步骤3:应用学习率α来更新模型fm(x),使用在m次迭代中训练的树:(7)经过M次迭代后,样本的最终预测为:(8)LGBM采用基于直方图的算法和逐叶生长策略,并结合了两种关键技术:独特征捆绑(EFB)和基于梯度的单边采样(GOSS)。EFB通过移除不相关的特征来减少特征数量,从而缩小特征空间并加速训练。GOSS保留具有较大梯度的实例,减少训练样本数量的同时保留关键信息,从而提高模型性能和准确性[33]。
XGBoost(XGB)是一种基于决策树的优化技术,建立在梯度下降方法之上。它从原始数据集中构建弱学习器的集成,以最小化预定义的损失函数并提高预测性能[34]。XGB采用逐层生长策略(宽度优先扩展),其中每棵后续树都训练来纠正前一棵树的残差(误差),从而迭代提高整体模型准确性[35]。XGB算法已被证明在处理大型数据集的分类和回归任务中表现出高性能[36]。随机森林(RF)算法由Breiman在2001年首次提出,它使用自助聚合(bagging)方法构建决策树集成[37]。决策树从输入数据中随机采样并并行训练,以优化学习过程。对于分类任务,最终预测通过多数投票获得;对于回归任务,通过平均获得。在训练过程中,决策树逐层生长。更深层次的树提供更详细的学习能力,但同时也更容易过拟合,并需要更多的计算资源[38]。
a) 训练
用于训练模型的数据集占原始数据的80%。在本研究中,采用了k折交叉验证技术(k=5)进行模型训练和验证,以防止过拟合。本研究基于时空采样框架构建了一个评估数据集,该框架捕捉了降雨在空间和时间尺度上的连续变化。具体来说,2019-2023年间每天五个特定时间点(00:00、06:00、12:00、16:00和21:00)在研究区域内的每个站点的观测数据被指定用于评估和地面真实值数据集。所有其他时间点的降雨数据用于构建训练数据集。表2提供了用于训练LGBM、XGB和RF模型进行降水分类和回归的主要超参数的详细总结。下载:PPT、PowerPoint幻灯片、PNG格式的大图、TIFF格式的原始图像。表2. 用于模型训练的超参数列表。链接:https://doi.org/10.1371/journal.pone.0342825.t002
RR数据平衡技术用于模型M1(降雨/非降雨分类)。具体来说,原始降雨范围0.1至95.2毫米/小时(记录的最大降雨强度)被划分为11个较小的区间:0.1–1.0毫米/小时、1.0–2.0毫米/小时、2.0–3.5毫米/小时、3.5–5.0毫米/小时、5.0–8.0毫米/小时、8.0–12.0毫米/小时、12.0–20.0毫米/小时、20.0–30.0毫米/小时、30.0–40.0毫米/小时和>50.0毫米/小时。在每个降雨区间内随机增加新的合成样本,比例不同,遵循较高降雨区间获得的比例更多的样本原则。这有助于平衡每个降雨类别内的分布,并减轻丰富的中小雨类别(0.1–1.0毫米/小时)与少数雨类别之间的不平衡。同时,CW技术被应用于降雨分类模型M2、M3和M4的数据平衡,其中为少数类别分配了更高的权重。CW值是根据每个模型输入数据集中的类别不平衡程度计算的。模型M1–M4的每个类别的降雨样本数量如图4所示。下载:PPT、PowerPoint幻灯片、PNG格式的大图、TIFF格式的原始图像。图4.模型输入数据集中的降雨样本数量。(a) M1,(b) M2,(c) M3,(d) M4。https://doi.org/10.1371/journal.pone.0342825.g004b
评估
用于评估的数据集占原始数据集的20%,并且与训练数据集独立。本研究在平衡和不平衡数据条件下评估了模型M1至M4的分类性能,以评估数据平衡技术对这些模型分类结果的有效性。为了评估两种提出的降雨产品的分类和回归性能,这些产品对应于两种特征选择策略,与使用雨量计观测数据的四个区域降雨产品进行了比较。此外,在选定的降雨事件中,还使用雷达图像作为参考,对提出的降雨产品的分类和回归性能进行定性和定量评估。另外,将提出的具有三阶段降雨分类架构的降雨产品与使用相同机器学习模型(LGBM)的单阶段和两阶段降雨产品进行了比较。表3总结了分类模型的几个性能指标。这些指标包括:检测概率(POD)表示模型检测实际降雨事件的能力;关键成功指数(CSI)表示正确预测为降雨的样本占所有被分类为降雨的样本的比例;公平威胁得分(ETS)在考虑随机击中的情况下衡量降雨事件的预测准确性;Heidke技能得分(HSS)评估降雨和非降雨类别的整体分类准确性;偏差(BIAS)表示模型高估或低估降雨事件的倾向;误报率(FAR)是错误预测为降雨的事件数量与总预测降雨事件数量的比例。因此,它反映了降雨分类的精确度。
下载:
PPT
PowerPoint幻灯片
PNG
较大图像
TIFF
原始图像
表3. 用于评估分类模型的基本指标。https://doi.org/10.1371/journal.pone.0342825.t003
同样,用于评估回归模型性能的基本指标在表4中呈现。其中,相关系数(CC)表示提出的降雨产品的估计降雨值与实际观测降雨值之间的线性相关性;平均绝对误差(MAE)和均方根误差(RMSE)表示模型的整体回归性能,同时考虑了相关性、偏差和估计降雨与实际降雨之间的误差;改进的Kling-Gupta效率(mKGE)衡量估计降雨与观测降雨之间的变异性。
下载:
PPT
PowerPoint幻灯片
PNG
较大图像
TIFF
原始图像
表4. 用于评估回归模型的基本指标。https://doi.org/10.1371/journal.pone.0342825.t004
其中,TP表示正确分类为降雨的降雨样本数量(真阳性);FP表示错误分类为降雨的无降雨样本数量(假阳性);TN表示正确分类为无降雨的无降雨样本数量(真阴性);FN表示错误分类为非降雨的降雨样本数量;N表示样本总数;pi、pj分别表示估计和观测的降雨值;分别表示平均观测和估计的降雨量。参数β和γ反映了模型的偏差和变异性。
结果与讨论
本节介绍了与特征选择、数据增强和训练过程超参数优化相关的实验结果。此外,还分析和评估了每个单独的分类和回归模型以及提出的降雨产品的分类和回归结果。提出的框架研究了三种算法(RF、XGB、LGBM),采用3阶段分类方案和云掩蔽技术,并使用两种特征选择技术进行了评估:通用特征集(CF)和基于RF重要性的特征集(RF)。CF特征选择方法应用于整个第3节,产生了三个相应的降雨产品:RF-3SC-CF、XGB-3SC-CF和LGBM-3SC-CF。第二种特征选择方法(RF)仅应用于第3.4.4节,以比较其性能与CF方法。
特征选择数据增强和超参数优化的结果
输入特征的选择显著影响了提出的降雨产品的质量。因此,本研究提出了两种特征选择方案,从而开发了两种不同的降雨产品,对应于不同的输入特征集。第一种策略使用一个共同的(固定的)特征子集,该子集直接与当地天气、气候和地形相关,并在M1至M8的所有模型中一致应用。第二种策略利用Scikit-learn库中实现的随机森林(RF)重要性技术动态选择特征子集。该技术根据特征的可预测性对特征进行排名,从而为每个模型(M1至M8)分别选择不同的最优特征子集。用于训练模型的特征子集在表5中呈现。从表5可以看出,用于训练模型M1至M8的通用特征集包含13个特征。其中,ERA5特征包括R850、UWIND850和VWIND850,这些特征因其能够反映对流云(Cb)在低层大气的发育而被选中,因为携带水分从海洋到大陆的密集空气团比中层和高层更容易引发降雨[39]。TCW特征表示大气中的总水汽含量,表明给定区域的降水潜力[40]。SLOR特征提供了关于地形坡度的信息;坡度较陡的区域(迎风面)往往表现出更高的地形降雨潜力[41]。Himawari-8 BT特征包括四个单红外波段——WVB、IRB、I2B和I4B——这些波段有助于识别云区和降水区以及地表特征,并指示大气中的水汽垂直分布。此外,三个双波段组合——wvb_irb、i2b_irb和i4b_i2b——与云顶温度、云顶高度和云相相关。ERA5和Himawari-8特征与ASTER DEM特征的结合提供了关于不同地形、天气和气候条件下降雨特征的全面信息。需要注意的是,第3节中模型M1至M8的结果和最终降雨产品都使用了这个通用数据集。由于输入特征数量较多(55个Himawari-8特征、17个ERA5特征和1个ASTER DEM特征),我们选择了最重要的特征以提高训练效率、减少计算时间并简化建模过程。此外,为了客观比较基于RF重要性选择的特征与使用通用特征集的降雨产品的性能,模型M1至M8使用的选定特征数量固定为13个。
数据增强
表6展示了应用RR数据增强技术前后不同降雨范围内的降雨样本数量。如表6所示,在应用RR数据增强技术之前,M1模型在每个降雨类别内的样本数量存在显著不平衡。特别是,在大雨和非常大雨类别中,这种不平衡更加明显。为了解决这种数据不平衡问题,我们根据更高的降雨强度应与更大的增强比率相关的原则增加了每个区间内的降雨样本数量。目标是实现每个降雨类别内样本的更平衡分布,并减少不同降雨类别之间的样本数量差异。具体来说,原本样本数量最多的小雨类别未经增强保持不变。同样,由于样本数量较多,中等降雨类别中的1.0–2.0 mm/h区间也保持不变。该区间被选为参考水平,以指导其余区间的增强。对于样本数量较少的区间,特别是在大雨和非常大雨类别中,我们应用了更高的增强比率,如表6中详细说明的。我们的实验表明,将增强比率提高到这些指定值以上并没有显著提高模型准确性,但显著增加了计算复杂性和训练时间。
超参数优化
表2中描述的参数使用网格搜索技术进行了调整,以确定M1至M8每个模型的最优值。参数优化过程的结果在表7中详细呈现。
云掩蔽和分类模型
本研究提出了一种结合Himawari-8卫星IR波段的BT阈值和BT差异(BTDs)的方法,包括WVB(m)、IRB(m)、I2B(m)和BTDs组合(),以确定图像中的像素是否对应于降雨云或非降雨云(CM1)。此外,BT值相对于地表降雨测量的变化(图5)为选择构建CM1时使用的适当BT阈值提供了依据。
下载:
PPT
PowerPoint幻灯片
PNG
较大图像
TIFF
原始图像
图5. IR波段的BT值随降雨量的变化。(a) WVB,(b) IRB,(c) I2B,(d) 2B14-I2B-IRB。https://doi.org/10.1371/journal.pone.0342825.g005
如图5所示,对于降雨率大于0.1 mm/h的情况,观测通道的BT值倾向于集中在以下范围内:WVB(160 K – 255 K)、IRB(150 K – 300 K)、I2B(160 K – 285 K)和(0 K – 70 K)。因此,这些范围被采用为构建CM1的BT阈值。如果所有上述通道的BT值都在其相应范围内,则该像素被分类为降雨云。否则,它被视为非降雨云。通过将CM1与模型M1的降雨/非降雨分类结果结合起来,生成最终的降雨/非降雨分类图。然后将此分类图与三个特定降雨事件的参考雷达基降雨/非降雨图进行比较,如图6所示。
下载:
PPT
PowerPoint幻灯片
PNG
较大图像
TIFF
原始图像
图6. 提出模型和雷达的降雨/非降雨分类图。(a) M1模型的降雨/非降雨分类图;(b) 基于CM1的降雨/非降雨云分类图;(c) M1+CM1的组合降雨/非降雨分类图;(d) 雷达观测的参考降雨/非降雨分类图。https://doi.org/10.1371/journal.pone.0342825.g006
下载:
PPT
PowerPoint幻灯片
PNG
较大图像
TIFF
原始图像
表5. 用于模型训练的特征子集列表。https://doi.org/10.1371/journal.pone.0342825.t005
下载:
PPT
PowerPoint幻灯片
PNG
较大图像
TIFF
原始图像
表6. 应用RR技术前后降雨区间内的样本数量。https://doi.org/10.1371/journal.pone.0342825.t006
下载:
PPT
PowerPoint幻灯片
PNG
较大图像
TIFF
原始图像
表7. 超参数优化。https://doi.org/10.1371/journal.pone.0342825.t007
图6a显示了M1模型生成的降雨/非降雨分类图,其中降雨区域用红色表示。图6b展示了CM1的云分类图,其中被识别为降雨云的区域用蓝色表示。图6c展示了提出的组合模型的降雨/非降雨分类结果。在这种方法中,只有同时被M1分类为降雨并且被CM1识别为降雨云的位置被标记为降雨(红色);所有其他像素被分类为非降雨。对于2020年10月6日00:00的降雨事件,提出的模型生成的降雨/非降雨分类图(图6c)与基于雷达的分类图的相关性高于原始M1模型(图6a)。在图6c中,被分类为降雨的区域(红色)比图6a中的要小。值得注意的是,图6a中M1模型分类为降雨但CM1未识别为降雨云的北部和东北部区域被排除在外。因此,图6c中的降雨区域(红色)在空间上比图6a更为受限。相比之下,对于2011年11月6日06:00和2020年9月2日12:00的降雨事件,M1模型(图6a)识别的降雨区域完全位于CM1分类为降雨云的区域(图6b)内。因此,在移除了M1中与降雨无关的云区域后,提出的模型(图6c)的降雨/非降雨分类图与原始M1模型(图6a)基本相同。总体而言,在评估的三个降雨事件中,包括LGBM、XGB和RF在内的三个提出的模型在分类降雨/非降雨区域方面表现出高性能。其中,LGBM模型结合云掩蔽()生成的组合降雨/非降雨分类与基于雷达的降雨图的一致性高于XGB和RF模型生成的分类图。CM2以及低/高强度降雨分类。为了识别携带高强度降雨的云区,本研究提出了结合Himawari-8卫星四个红外通道(包括WVB、I4B(米波)、IRB和B14(米波)的BT阈值的方案。区分携带低强度降雨和携带高强度降雨云区的分类图被称为CM2。这些通道的物理特性在2.3.2节中有描述,同时还有根据地面雨量计站获得的数据得出的BT值变化(图7),这些变化对应于超过5.0毫米/小时的地面降雨率。这些为选择适当的BT阈值以开发CM2提供了基础。下载:PPT、PowerPoint幻灯片、PNG、较大图像、TIFF、原始图像。图7显示了不同红外波段的BT值随降雨率的变化。(a) WVB,(b) I4B,(c) IRB,(d) B14。https://doi.org/10.1371/journal.pone.0342825.g007如图7所示,对于降雨率大于5.0毫米/小时的情况,红外通道的BT值倾向于落在以下范围内:WVB(185 K – 240 K),IRB(185 K – 260 K),I4B(180 K – 270 K),以及B14(180 K – 240 K)。因此,这些BT范围被采纳为构建CM2的阈值。如果上述红外通道的BT值满足选定的阈值条件,则该位置被识别为携带高强度降雨的云区。所提出的模型结合了M2和CM2(表示为),生成了高强度/低强度降雨分类图,并与相应的基于雷达的分类图进行了比较,详细信息见图8。下载:PPT、PowerPoint幻灯片、PNG、较大图像、TIFF、原始图像。图8展示了所提模型和雷达的低强度降雨及高强度降雨分类图。(a) M2模型的低强度降雨和高强度降雨分类;(b) 基于CM2的低强度降雨和高强度降雨云区分类;(c) 综合模型的分类结果;(d) 基于雷达的低强度降雨和高强度降雨分类。https://doi.org/10.1371/journal.pone.0342825.g008图8a显示了M2模型对低强度和高强度降雨的分类结果,其中高强度降雨区域用粉色标出。图8b展示了CM2模型的云区分类结果,高强度降雨云区用红色标出。图8c显示了所提出的综合模型对高强度/低强度降雨的分类结果。在这种方法中,只有同时被M2(粉色)和CM2(红色)识别为高强度降雨的位置才被标记为高强度降雨(粉色);所有其余像素被标记为低强度降雨(浅黄色)。对于2020年10月6日00:00的降雨事件,所提出的模型生成的高强度/低强度降雨分类图(图8c)与基于雷达的分类图(图8d)的一致性更高,而仅使用M2模型的分类图(图8a)则不然。具体来说,M2模型识别为高强度降雨但CM2未识别为高强度降雨云区的区域被排除在外,使得图8c中的高强度降雨(粉色)分布更加准确且空间上更加紧凑。相比之下,对于2019年11月28日06:00和2020年9月2日12:00的降雨事件,所提出的模型生成的高强度/低强度降雨分类图(图8c)与仅使用M2模型的分类结果以及基于雷达的分类图相似。这可以解释为CM2在这两种情况下将大多数云区分类为低强度降雨云区。因此,最初被M2标记为低强度降雨的区域在与CM2结合后保持不变,导致最终分类图没有显著差异。从图8还可以观察到,总体而言,三种评估模型生成的低强度和高强度降雨分类图与雷达分类图的高度一致性。其中,LGBM模型的一致性最高。然而,高强度降雨区域的分类准确性较低,这与降雨强度的固有复杂性密切相关。在基于M2和CM2组合准确划分出低强度和高强度降雨区域后,这些区域随后被输入到M3和M4模型中,进一步分为四个降雨强度类别:小雨、中雨、大雨和暴雨。为了直观评估所提出产品的降雨分类性能,选择了三个代表性的降雨分类图进行评估,如图9所示。下载:PPT、PowerPoint幻灯片、PNG、较大图像、TIFF、原始图像。图9显示了所提产品和雷达的降雨分类图。(a) M3模型对低强度降雨区域的分类;(b) M4模型对高强度降雨区域的分类;(c) 所提降雨产品的最终降雨分类图;(d) 基于雷达的参考降雨分类图。https://doi.org/10.1371/journal.pone.0342825.g009图9中,所提出的LGBM、XGB和RF模型生成的最终降雨分类图与基于雷达的分类图高度一致。其中,LGBM模型的一致性最高,其次是XGB和RF模型。小雨和中雨区域的分类一致性最高,而大雨类别的相关性逐渐降低。所提模型分类为大雨的区域在空间上比雷达识别的范围更广。这种差异可能归因于大雨事件的局部性和短暂性,这些事件通常发生在狭窄的空间和时间尺度上,并且通常与强风和雷暴等复杂天气条件相关,给准确观测和分类带来了挑战。所提出的降雨产品的性能评估。使用LGBM、XGB和RF算法生成的降雨产品分别称为LGBM-3SC-CF、XGB-3SC-CF和RF-3SC-CF。所有这些产品都结合了数据平衡技术和云遮蔽处理。它们的降雨分类性能与未使用云遮蔽的版本(分别表示为LGBM-3S、XGB-3S和RF-3S)以及四个基于区域的卫星降雨产品进行了比较,这些区域产品包括IMERG Final Run、IMERG Early Run、GSMaP_MVK_Gauge和PERSIANN_CCS。所有产品在基于雨量计观测数据的基础上重新采样到统一的空间和时间分辨率(图10)。下载:PPT、PowerPoint幻灯片、PNG、较大图像、TIFF、原始图像。图10显示了降雨产品的分类性能。黑色实线代表CSI,蓝色虚线表示BIAS。https://doi.org/10.1371/journal.pone.0342825.g010图10使用四个指标(POD、CSI和BIAS)评估了降雨产品的分类性能。所提出的降雨产品LGBM-3SC-CF、XGB-3SC-CF和RF-3SC-CF均表现出强大的降雨分类性能。其中,LGBM-3SC-CF的得分最高,为0.70,分别比XGB-3SC-CF和RF-3SC-CF提高了7.70%和11.11%。在BIAS方面,LGBM-3SC-CF的得分为1.04,在三个提出的产品中最高,分别比XGB-3SC-CF和RF-3SC-CF提高了14.05%和15.45%。在CSI方面,LGBM-3SC-CF和XGB-3SC-CF都获得了最高的0.55分,而RF-3SC-CF略低,为0.53分。在POD方面,XGB-3SC-CF、RF-3SC-CF和LGBM-3SC-CF的得分分别为0.79、0.78和0.74。总体而言,这些结果表明LGBM-3SC-CF在三个提出的产品中具有最高的降雨分类性能。当将所提出的LGBM-3SC-CF与其未使用云遮蔽的变体(LGBM-3S)进行比较时,LGBM-3SC-CF在POD和BIAS方面表现更好。具体来说,POD提高了9.38%,BIAS提高了18.75%。然而,值得注意的是,LGBM-3SC-CF的CSI降低了1.82%,POD降低了10.81%。与延迟产品相比,LGBM-3SC-CF在该组中表现最佳,CSI提高了14.58%,在POD和BIAS方面分别提高了16.67%和16.13%。在近实时产品中,IMERG Early Run在CSI、POD和BIAS方面表现最佳。然而,LGBM-3SC-CF仍然表现出优越的性能,CSI提高了71.88%,POD提高了89.74%,BIAS提高了89.47%。在所有评估的降雨产品中,PERSIANN_CCS和LGBM-3SC-CF的CSI得分最高,均为0.70。此外,本研究还使用多个评估指标(包括POD、CSI、ETS和BIAS)比较了所提产品LGBM-3SC-CF与基于雷达图像的降雨分类性能。表8详细展示了比较结果。表8表明,所提出的LGBM-3SC-CF产品在POD、CSI、ETS和BIAS方面均优于雷达。https://doi.org/10.1371/journal.pone.0342825.t008表8显示,所提出的LGBM-3SC-CF产品在POD、CSI、ETS和BIAS方面分别比雷达高出37.04%、12.24%和93.65%。然而,雷达的CSI(0.85)比LGBM-3SC-CF产品高出21.43%。这意味着LGBM-3SC-CF倾向于将更多无雨区域分类为降雨。在代表性案例研究中评估分类性能。为了直观评估所提出的LGBM-3SC-CF产品和区域降雨产品的降雨分类性能,将这些产品的降雨/无雨分类图与作为参考的基于雷达的分类图进行了比较。选择了四个代表性的降雨事件进行比较,这些事件代表了总共7851张降雨/无雨分类图中的不同时间点,如图11所示。下载:PPT、PowerPoint幻灯片、PNG、较大图像、TIFF、原始图像。图11显示了降雨产品的降雨/无雨分类图。https://doi.org/10.1371/journal.pone.0342825.g011显然,对于前四个降雨事件,所提出的LGBM-3SC-CF产品成功检测到了雷达基准识别的所有降雨像素。同样,在最后一个事件(2021年6月5日21:00),该模型准确检测到了地图中西部区域的降雨点。此外,LGBM-3SC-CF错误分类为降雨的区域(误报)在大多数分类图中始终小于表现最好的经过雨量计校正的产品GSMaP_MVK_Gauge。相比之下,GSMaP_MVK_Gauge产品在2020年10月28日12:00和2021年6月5日21:00的事件中遗漏了大量实际降雨像素——表现为与雷达数据相比红色区域较小。相反,在其余三个事件中,它通过将许多非降雨区域错误分类为降雨而出现了显著的高估。此外,本研究还使用CSI和POD指标定量比较了所提出的LGBM-3SC-CF产品和区域降雨产品的降雨/无雨分类性能。表9显示了所提出的LGBM-3SC-CF产品与雷达在五个降雨事件中的分类性能。https://doi.org/10.1371/journal.pone.0342825.t009表9表明,所提出的降雨产品LGBM-3SC-CF在三个特定降雨事件中的分类性能最高:2019年10月28日12:00;2019年11月11日00:00;以及2020年11月9日16:00。对于2019年10月28日12:00的事件,LGBM-3SC-CF的CSI为0.40,POD为0.61,分别比最佳延迟产品(IMERG Final Run)提高了37.93%和32.61%。与最佳实时产品(IMERG Early Run)相比,LGBM-3SC-CF在CSI方面提高了81.82%,在POD方面提高了60.53%。对于2019年11月11日00:00的事件,LGBM-3SC-CF的CSI为0.22,POD为0.68,分别比最佳雨量计校准产品(GSMaP_MVK_Gauge)提高了4.55%和25.93%。在2020年11月9日16:00的事件中,LGBM-3SC-CF的CSI为0.42,比最佳延迟产品(IMERG Final Run)高13.51%。其POD为0.89,比最佳雨量计校准产品(GSMaP_MVK_Gauge)高3.49%。对于2021年6月5日21:00的事件,LGBM-3SC-CF的CSI为0.27,与最佳实时产品(PERSIANN-CCS)相当,但低于最佳延迟产品(IMERG Final Run)。值得注意的是,在2020年3月25日06:00的降雨事件中,所提出的LGBM-3SC-CF模型得到的CSI值为0.38,比IMERG最终运行结果低13.16%,比IMERG早期运行结果低7.32%,但仍比GSMaP_MVK_Gauge高40.74%。对于POD指标,LGBM-3SC-CF的值为0.86,比GSMaP_MVK_Gauge低12.17%,但比IMERG最终运行结果高45.76%,比IMERG早期运行结果高72.0%。总体而言,所提出的LGBM-3SC-CF产品在评估的所有产品中表现出最高的降雨分类性能。
为了评估所提出的降雨产品的回归性能,包括LGBM-3SC-CF、XGB-3SC-CF和RF-3SC-CF,本研究将它们与基于地面观测数据的区域降雨产品进行了比较。评估使用了多个指标,包括CC、MAE、RMSE和mKGE,详细结果如图12所示。下载:PPT、PowerPoint幻灯片、PNG、更大图像、TIFF、原始图像。图12显示,所有结合了云掩膜的降雨产品(包括LGBM-3SC-CF、XGB-3SC-CF和RF-3SC-CF)在降雨回归性能上均优于未结合云掩膜的产品。具体来说,在mKGE指标上,LGBM-3SC-CF的性能比LGBM-3S提高了6.82%;XGB-3SC-CF比XGB-3S提高了2.27%;RF-3SC-CF比RF-3S提高了10.0%。在误差指标MAE和RMSE上,LGBM-3SC-CF分别比LGBM-3S提高了6.01%和2.84%;XGB-3SC-CF分别比XGB-3S提高了0.96%和0.63%;RF-3SC-CF分别比RF-3S提高了1.72%和0.96%。在CC指标上,LGBM-3SC-CF、LGBM-3S和XGB-3SC-CF获得了最高的值0.47,其次是XGB-3S的0.46,而RF-3SC和RF-3S的CC值为0.44。因此,LGBM-3SC-CF是具有最佳回归性能的降雨产品,其CC值为0.47,mKGE值为0.47,MAE值为2.66毫米/小时,RMSE值为5.48毫米/小时。与延迟降雨产品相比,LGBM-3SC-CF在CC指标上比GSMaP_MVK_Gauge和IMERG最终运行结果提高了6.82%。在mKGE指标上,LGBM-3SC-CF的表现优于最佳的延迟降雨产品IMERG最终运行结果,提高了17.5%。在RMSE指标上,LGBM-3SC-CF比表现最佳的延迟产品GSMaP_MVK_Gauge提高了0.72%。在MAE指标上,LGBM-3SC-CF的表现略低于GSMaP_MVK_Gauge,低6.39%,但仍排在所有评估降雨产品中的第二位。同样,与近实时降雨产品相比,LGBM-3SC-CF在MAE指标上比表现最佳的PERSIANN_CCS产品提高了7.64%,在RMSE指标上提高了11.57%。在CC和mKGE指标上,LGBM-3SC-CF的表现优于最佳的近实时产品IMERG早期运行结果,分别提高了30.55%和67.86%。
此外,本研究还使用mKGE和BIAS指标,将所提出的LGBM-3SC-CF产品的降雨回归性能与研究区域内雨量站的雷达观测数据进行了比较。详细比较结果见表10。下载:PPT、PowerPoint幻灯片、PNG、更大图像、TIFF、原始图像。表10显示,所提出的降雨产品LGBM-3SC-CF在降雨回归性能上优于雷达数据,mKGE指标提高了2.17%,BIAS指标提高了86.15%。
为了直观评估所提出的LGBM-3SC-CF产品和区域降雨产品的降雨估计性能,将这些产品的降雨图与参考的基于雷达的降雨图进行了比较。第3.3.3节中选定的四个降雨事件被进一步详细分析,并在图13中展示。下载:PPT、PowerPoint幻灯片、PNG、更大图像、TIFF、原始图像。图13显示,所提出的LGBM-3SC-CF产品生成的降雨强度地图与参考雷达降雨地图非常相似。具体来说,在2019年10月28日12:00的降雨事件中,降雨集中在地图的北部和西北部地区;在2019年11月11日00:00、2020年3月25日06:00和2020年11月9日16:00的事件中,降雨主要集中在南部和东南部地区;在2021年6月5日21:00的降雨事件中,降雨值主要分布在地图的中西部。相比之下,区域降雨产品在降雨覆盖范围和强度上存在显著偏差,经常无法匹配雷达数据指示的位置。此外,本研究还使用RMSE指标定量评估了所提出的LGBM-3SC-CF产品和区域降雨产品在四个选定事件中的降雨回归性能,结果见表11。下载:PPT、PowerPoint幻灯片、PNG、更大图像、TIFF、原始图像。表11显示,在所有五个降雨事件中,所提出的LGBM-3SC-CF产品的RMSE值最低。具体来说,与最佳比较产品相比,LGBM-3SC-CF在2019年10月18日12:00的事件中减少了7.72%;在2019年11月11日00:00的事件中减少了87.42%;在2020年11月9日16:00的事件中减少了14.65%;在2020年3月23日06:00的事件中减少了87.69%;在2021年6月5日21:00的事件中提高了2.80%。
所提出的LGBM-3SC-CF产品采用了三阶段降雨分类架构,其性能与LGBM-2S(使用两个分类阶段)和LGBM-1S(使用一个分类阶段)产品进行了比较。比较基于四个分类指标和两个回归指标(mKGE和BIAS),结果见表12。表12显示,所有三种降雨产品在CSI和ETS指数上表现相当。然而,在FAR和Bias指标上,所提出的LGBM-3SC-CF产品的性能最佳,FAR为0.30,Bias为1.04。这些结果分别比第二名的LGBM-2S提高了3.23%和33.33%,比第三名的LGBM-1S提高了11.76%和76.47%。同样,LGBM-3SC-CF产品在降雨回归性能上也优于LGBM-2S和LGBM-1S产品。具体来说,LGBM-3SC-CF的mKGE值为0.47,是LGBM-2S的49.0倍,是LGBM-1S的2.47倍。在BIAS指标上,LGBM-3SC-CF的值为1.09,比LGBM-2S提高了1.43倍,比LGBM-1S提高了1.26倍。
为了评估所提出框架在将降雨分为四个详细类别(小雨、中雨、大雨和暴雨)方面的效率,本研究将其与[5]中提出的类似框架进行了比较。在[5]中,降雨根据1.8毫米/小时的阈值被分为两类:小雨和大雨。具体来说,所提出的LGBM-3SC-CF产品与[5]中的框架进行了比较,后者使用了与LGBM-3SC-CF相同的云掩膜(CM1和CM2)和特征集。这两种产品的降雨回归性能使用CC、MAE、RMSE、mKGE和BIAS指标进行了评估,详细结果见表13。表13显示,所提出的LGBM-3SC-CF产品在降雨回归性能上优于LGBM-2SC-CF(采用了Hirose等人2019年[5]中的框架)。具体来说,它在CC指标上提高了6.82%,在MAE指标上提高了9.83%,在RMSE指标上提高了5.29%,在mKGE指标上提高了14.63%,在BIAS指标上提高了47.06%。
为了评估数据平衡技术对降雨分类的影响,本研究在平衡数据和不平衡数据两种情况下,比较了所提出的LGBM-3SC-CF产品与[5]中提出的框架在测试集上的F1分数。图14详细展示了在平衡数据下,所有降雨分类模型(M1-M4)对少数类别的分类性能显著提高。具体来说,对于模型M1,使用LGBM、XGB和RF算法后,雨类的F1分数分别提高了2.53%、1.28%和2.67%。其中,LGBM获得了最高的F1分数0.81。对于模型M2,高强度雨类的F1分数分别提高了12.72%、13.46%和11.53%。同样,LGBM获得了最高的F1分数0.62。对于模型M3,中雨类的F1分数分别提高了8.47%、8.47%和12.50%。在这种情况下,LGBM和XGB获得了相同的最高F1分数0.64。对于模型M4,使用LGBM时,暴雨类的F1分数提高了9.66倍,达到最高的0.29分;使用XGB时,F1分数提高了6.5倍;使用RF时,F1分数提高了13倍,两者都达到了0.26分。
为了评估特征选择技术的有效性,我们将所提出的LGBM-3SC-CF产品的性能与使用Scikit-learn库[36]中的RF重要性方法选择的特征的LGBM-3SC-RF产品的性能进行了比较。这两种降雨产品采用了相同的LGBM架构。评估使用了四个分类指标(POD、CSI、ETS和HSS),详细结果见表14。表14显示,所提出的LGBM-3SC-CF产品在各项指标上均优于LGBM-3SC-RF产品,分别提高了1.36%、3.77%、7.50%、5.26%和11.76%。这表明本研究中的共同特征集非常适合捕捉该地区的实际降雨模式,从而提高了降雨分类性能。同样,所提出的LGBM-3SC-CF产品的降雨回归性能也与LGBM-3SC-RF产品进行了比较,使用了五个指标(CC、MAE、RMSE和BIAS)。详细结果见表15。表15显示,所提出的LGBM-3SC-CF产品在降雨回归性能上优于LGBM-3SC-RF产品,分别在CC、MAE、RMSE、mKGE和BIAS指标上提高了14.63%、8.28%、5.35%、5.26%和11.76%。因此,在所有评估的降雨产品中,所提出的LGBM-3SC-CF在中部越南四个沿海省份的降雨分类和估计方面表现出最佳性能。然而,准确估计非常高的降雨强度(>30毫米/小时)仍然是一个重大挑战,这种情况通常发生在复杂的天气和地形条件下。
本研究介绍了一种新颖的集成三阶段分类机器学习架构,旨在显著提高越南中部四个沿海省份的降雨分类和估计的准确性。该架构的核心是一种专门的云掩膜技术,该技术基于Himawari-8红外波段的亮度温度阈值,显著提高了降雨/无降雨和低/高强度降雨分类模型的性能。此外,为了优化多类分类性能并解决严重的类别不平衡问题,该框架策略性地采用了两种数据平衡技术:基于范围的降雨量的样本增强技术和类别加权技术。所提出的架构应用了三种算法:RF、XGB和LGBM,分别生成了三种降雨量产品:RF-3SC-CF、XGB-3SC-CF和LGBM-3SC-CF。实验结果表明,在这三种降雨量产品中,LGBM-3SC-CF的性能最高。它在分类和回归任务中均显著优于四种区域卫星产品(IMERG Final Run V07、GSMaP_MVK_Gauge V07、IMERG Early V06和PERSIANN_CCS),以及未使用云遮罩的版本(LGBM-3S)。此外,该架构的设计建立了一个稳健且灵活的方法论基础,通过直接用实时气象数据替换再分析数据,为未来开发近实时应用提供了可能。随着框架扩展到这些应用场景,罕见和极端降雨事件仍可能影响模型性能,尤其是在短期或基于事件的情境中,这突显了未来工作中需要更详细地评估高强度降雨事件的重要性。参考文献
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号