《Informatics》:Ensuring High-Quality Rainfall Datasets in Thailand: A Multi-Step Quality Control Approach and Satellite-Based Evaluation
编辑推荐:
可靠的高质量降雨数据对于土壤和水管理、作物预测以及风险评估至关重要。这些应用对于粮食安全、气候韧性、生物多样性监测和农村生计至关重要。泰国的降雨监测面临挑战,原因是官方站点密度有限,且来自多源的数据质量不一致,加之校准问题。本研究引入了一种针对泰国情境量身定制
可靠的高质量降雨数据对于土壤和水管理、作物预测以及风险评估至关重要。这些应用对于粮食安全、气候韧性、生物多样性监测和农村生计至关重要。泰国的降雨监测面临挑战,原因是官方站点密度有限,且来自多源的数据质量不一致,加之校准问题。本研究引入了一种针对泰国情境量身定制的全面质量控制(QC)方法,呈现了一个系统性的流程,阐明了操作的层级和顺序。该方法使用了来自泰国气象局(TMD)和Thaiwater网络的3075个站点的降雨数据。它包括用于数据完整性的基本质量控制(QC)和用于评估站点可靠性的高级质量控制(QC),使用质量(Q)指数将站点分为五组:差(<50)、中等(50–80)、可接受(80–85)、良好(85–90)和优秀(>90)。结果表明,Thaiwater网络持续达到中等至优秀的Q指数值,每年超过70%,其中2023年超过90%。相比之下,TMD保持了优秀质量,所有年份均高于90%。在超过一百万条日记录中,87%被验证为正确,但Thaiwater 2024年的数据显示只有70%的准确率。质量控制(QC)程序显著提高了数据可靠性,将GSMaP和IMERG的均方根误差(RMSE)分别降低了1.7%和1.5%,并将误报率降低了约0.001–0.002,且未损害强降雨检测。一个系统的质量控制(QC)框架对于确保降雨应用中的高质量数据集至关重要。
## 论文解读:确保泰国高质量降雨数据集的多步骤质量控制与卫星评估
### 研究背景与问题
降雨数据是土壤和水管理、作物预测、风险评估等应用的基础,直接影响粮食安全、气候韧性和农村生计。泰国降雨监测面临核心挑战:官方站点(如泰国气象局TMD)密度有限,而来自多源数据集(如Thaiwater网络)虽覆盖更广,但质量因不同机构传感器标准、维护差异和数据格式不一致而参差不齐。先前研究多聚焦于单一质量控制(QC)方面(如物理阈值检查或空间一致性),缺乏系统性、层级化的流程,导致数据过滤不全面,且难以集成多源数据。为此,研究人员开发了一种针对泰国情境的综合QC方法,旨在建立可靠的高质量日降雨数据集,并通过卫星产品验证其有效性。该论文发表在《Informatics》。
### 研究方法概述
研究采用泰国3075个降雨站点数据(TMD的128站和Thaiwater网络的2947站,来源包括水文信息研究所、水资源局、排水与污水处理局及国家公园野生动物植物保护局)。主要技术方法包括三个关键阶段:**基本QC**(数据验证、去重、坐标检查及物理限值过滤,如排除日降雨超过极大可能降雨PMP阈值742 mm的记录)、**高级QC**(基于时间一致性的质量Q指数,综合缺口指数G、完整性P、月零指数M
0、周零指数W
0和离群值检测O
d,将站点分为五类)以及**空间一致性检查**(通过代表指数R筛选邻近参考站,计算日差异与月阈值,依据加权一致率Wm标记有效/可疑/无效记录)。卫星评估使用GSMaP和IMERG产品(0.1°×0.1°分辨率),经立方插值至1 km网格以匹配站点位置。
### 研究结果
#### 整体QC结果
基本QC、高级QC和空间一致性检查依次过滤数据。Thaiwater数据集在2022–2024年期间,经QC后保留记录比例从88%降至70%(2024年最差),而TMD数据集每年保留超过99%的记录。
#### 高级QC结果
Q指数显示:Thaiwater网络大部分站点处于中等至优秀级别(2023年平均Q指数74.82%),但2024年较差站点比例显著上升;TMD则持续保持优秀(Q≥90),所有年份无显著下降。
#### 空间一致性检查结果
空间检查仅在Thaiwater数据中移除少量记录(0.68%–1.15%/年),TMD移除少于1%,表明Thaiwater存在一定空间异常。
#### 统计分析
QC后数据记录减少,但平均值变化微小,标准差下降,90百分位和最大值保持稳定,证明过滤主要移除低质量数据而保留极端降雨有效事件。
#### 覆盖评估
QC后所有77个府仍保持完整空间覆盖,无数据覆盖损失。
#### 与卫星数据的相关性分析
- **日尺度**:QC后相关系数(CC)仅微降0.0002–0.0004,但RMSE下降(GSMaP从11.268降至11.073 mm/d,IMERG从11.219降至11.049 mm/d);误报率(FAR)降低0.002,临界成功指数(CSI)微升,检测能力不变。
- **月尺度**:RMSE在干季(1–6月、10–12月)改进,雨季略增。
- **季节尺度**:冬季RMSE改进,夏季和早冬季改进,但雨季RMSE增加(因空间一致性算法将真实局部对流雨误判为异常)。
### 讨论与结论
讨论部分指出:该三阶段QC框架优于单一方法,尤其通过先进行站级过滤(Q指数)避免低质量站作为参考站传播误差。Thaiwater数据因多源特性需要严格QC,而TMD数据原始即可靠。季节性分析显示雨季RMSE升高并非QC失效,而是热带降水空间异质性导致。研究还强调站移除优先于记录移除的策略。结论翻译如下:
本研究引入了一种用于管理多源降雨数据的质量控制程序。为确保准确性和可靠性,研究实施了三步骤流程:基本QC验证数据完整性并检查文件格式;高级QC评估单个站点可靠性;空间一致性检查通过与邻近站点比较识别统计离群值。过滤过程在两级操作:排除Q指数低的整个站点,以及移除偏离周围空间背景的特定记录。
QC结果显示数据集间显著的结构差异。Thaiwater数据集因多源特性需广泛QC,高级QC尤为关键,每年移除286至861个站点;空间一致性检查每年额外移除5000至11,000个离群值。相比之下,TMD数据集几乎无需干预,每年仅移除1个站点且少于1%的记录被丢弃,表明其原始数据高度可靠。
QC评估在不同时间尺度上表现各异。季节上,冬季相关性最强(>0.90),但严格过滤使RMSE轻微增加而未显著改善与IMERG或GSMaP的一致度。月尺度上,相关性微降但RMSE改进(雨季除外)。然而,QC框架在日尺度上最有效:相关系数保持0.507不变,但RMSE显著降低。分析还凸显了稳健的检测能力:QC在维持高检测率的同时降低误报率,使临界成功指数稳定或微升,证实该框架在过滤噪声和误报的同时未丢弃有效强降雨数据。
通过严格质量控制开发的精细化降雨数据集最大限度地减少了误差,增强了数据可靠性,为未来降雨量化应用提供了坚实基础,可用于机器学习、深度学习模型输入、农业土壤和水分管理、作物产量预测以及干旱洪水风险评估。