《Sustainable Environment Research》:A robust and uncertainty-aware machine learning framework for PM2.5 prediction in a coastal urban Indian environment: implications for sustainable air quality management
编辑推荐:
准确预测细颗粒物(PM2.5)仍然具有挑战性,因为大气过程是非线性的、非平稳的,并且受到时间变异性、测量不确定性和偶发性污染事件的影响。本研究开发了一个可解释且不确定性感知的机器学习(ML)框架,用于印度维沙卡帕特南(Visakhapat
准确预测细颗粒物(PM2.5)仍然具有挑战性,因为大气过程是非线性的、非平稳的,并且受到时间变异性、测量不确定性和偶发性污染事件的影响。本研究开发了一个可解释且不确定性感知的机器学习(ML)框架,用于印度维沙卡帕特南(Visakhapatnam)这一快速工业化的沿海城市环境中站级PM2.5预测,该地区以复杂的气象和排放条件为特征。基于2018–2024年期间收集的每日观测数据,使用无泄漏的时间顺序验证框架,比较评估了多种ML算法和梯度提升(Gradient Boosting)损失函数形式。所提出的框架集成了时间特征工程、滚动时间序列交叉验证、残差诊断、区间评估、共形不确定性估计、自助法(bootstrap)置信区间和基于SHAP(SHapley Additive ExPlanations)的可解释性分析。使用决定系数(Coefficient of Determination)、均方根误差(Root Mean Squared Error)、平均绝对误差(Mean Absolute Error)、平均绝对缩放误差(Mean Absolute Scaled Error)和平均绝对百分比误差(Mean Absolute Percentage Error)指标,在训练、验证和独立测试数据集上评估了预测性能。结果表明,在时间顺序评估条件下,基于集成(ensemble)的ML模型始终优于线性和基于核的方法。在评估的模型中,随机森林(Random Forest)在独立测试数据集上取得了最高的总体预测精度,而鲁棒性导向的梯度提升(Gradient Boosting)形式,特别是Huber损失配置,在异质性和噪声大气条件下表现出相对稳定的预测行为。中央污染控制委员会(Central Pollution Control Board, CPCB)的区间评估进一步揭示了在污染事件升高期间预测性能下降,强调了超出总体指标之外的污染区间特定评估的重要性。总体而言,所提出的框架为复杂沿海城市环境中的PM2.5预测提供了一种计算高效、可解释且经过严格验证的方法,支持运行中的空气质量监测和环境决策支持应用。
**论文解读:基于鲁棒与不确定性感知机器学习框架的沿海城市PM
2.5预测研究**
**研究背景与问题**
细颗粒物(PM
2.5)是大气污染中最具健康危害的组分,其预测面临大气过程非线性、非平稳、时间变异性强、测量不确定性高及偶发污染事件频发等挑战。传统统计模型难以刻画气象变量与污染物之间的复杂关系,而现有机器学习(ML)模型多缺乏对噪声、异常值的鲁棒性评估,且忽视时间顺序验证和不确定性量化,导致在极端污染条件下预测稳定性不足。印度维沙卡帕特南(Visakhapatnam)作为快速工业化的沿海城市,受工业排放、港口活动、海陆风环流及季节性气象调控影响,PM
2.5时空变异性显著,亟需开发一种计算高效、可解释且经过严格验证的预测框架。为此,研究人员构建了无泄漏、不确定性感知的ML框架,旨在提升复杂沿海城市环境下PM
2.5预测的可靠性,并支持可持续空气质量监测与管理。该论文发表在《Sustainable Environment Research》。
**关键技术方法**
研究人员基于中央污染控制委员会(CPCB)2018–2024年维沙卡帕特南GVMC监测站的每日观测数据(含PM
10、NO
2、O
3等污染物及温度、湿度、风速等气象参数),采用无泄漏时间顺序划分(70%训练、15%验证、15%独立测试)和五折滚动时间序列交叉验证(TimeSeriesSplit)进行模型开发。关键技术包括:时间特征工程(构建滞后1、3、7、14天特征及滚动均值、标准差)、多种ML算法(决策树DT、随机森林RF、弹性网络EN、支持向量回归SVR、XGBoost、LightGBM及四种梯度提升损失函数形式:平方误差GBR-SE、绝对误差GBR-AE、Huber损失GBR-H、分位数损失GBR-Q)、超参数优化(RandomizedSearchCV)、模型评估(R
2、RMSE、MAE、MASE、MAPE)、鲁棒性评估(残差诊断、CPCB污染区间评估、自助法(bootstrap)置信区间、共形预测区间)及基于SHAP的可解释性分析。
**研究结果**
**3.1 PM
2.5的季节与月变化**
通过分析2018–2024年PM
2.5浓度时序,发现冬季(12月–2月)和后季风期(10月–11月)浓度显著高于夏季和季风期,其中2019年冬季平均浓度超过100 μg m
?3,而季风期浓度较低。月分布显示1月浓度中位数和四分位距最高,并出现极端异常值(>150 μg m
?3),表明冬季停滞、工业活动及低边界层高度促进污染物累积。
**3.2 相关性与多重共线性分析**
Pearson相关分析显示,PM
10与PM
2.5相关性最强(r=0.87,p<0.001),CO、O
3、NO
2、气压与PM
2.5呈中等正相关;温度、风速、湿度、降水等气象因素呈负相关。滞后PM
2.5变量(如lag1)与目标变量高度相关(r=0.837),表明时间持续性。VIF分析显示部分工程特征存在高多重共线性,但树模型对其不敏感,不影响预测性能。
**3.3 ML模型的比较预测性能**
在独立测试集上,集成模型(RF、XGBoost、LightGBM、GBR-SE)均优于线性(EN)和核方法(SVR)。RF表现最优:R
2=0.8444,RMSE=9.3 μg m
?3,MAE=6.4 μg m
?3,MASE=0.77,且验证与测试集之间性能差异小,表明泛化能力强。RF的散点图显示预测值在低浓度区间紧密围绕1:1线,高浓度时略有偏差,但无系统性偏移。
**3.4 损失函数敏感性与鲁棒性分析**
比较四种梯度提升损失函数,GBR-SE获得最高测试集精度(R
2=0.8256),但GBR-H(Huber损失)在训练、验证、测试集上表现更均衡,对噪声和异质性环境更鲁棒。GBR-Q(分位数损失)和GBR-AE精度较低,表明损失函数选择显著影响预测行为。重要地,研究未对极端污染事件进行异常值剔除,GBR-H仅抑制孤立大残差的过度权重,而非消除极端事件影响。
**3.5 消融分析与超参数稳定性**
针对RF的消融实验表明,移除气象变量后测试集R
2降至0.5583,RMSE升至15 μg m
?3;移除PM
10后R
2=0.7498,RMSE=11 μg m
?3,说明污染物相互作用和气象因素共同驱动PM
2.5变异性。超参数优化显示RF最优配置为347棵树、最大深度14、最小分裂样本4、最小叶节点样本3,且验证与测试集性能差异小,表明过拟合风险低。
**3.6 残差行为与误差分布分析**
RF残差分布集中在零附近,对称性较好,但测试集尾部略有延伸,反映极端事件影响。残差-预测值图未见明显异方差性,但高浓度时残差变异性略增。Q-Q图显示中心分位数近似线性,上尾偏离,Shapiro-Wilk检验确认残差非正态,但属环境数据典型特征,未影响模型稳定性。
**3.7 区间性能评估**
按CPCB污染等级(Good、Satisfactory、Moderate、Poor)进行区间评估,集成模型在Good和Satisfactory区间表现良好(R
2正值),但在Moderate和Poor区间性能显著下降,部分模型出现负R
2,RMSE高达19–24 μg m
?3。Poor区间样本仅11个,统计稳定性差,表明极端污染事件预测仍是难点,需针对性评估。
**3.8 不确定性量化与残差诊断**
自助法置信区间和共形预测区间显示,集成模型(RF、LightGBM、GBR-SE、GBR-H)的区间宽度较窄,RF平均区间宽度26 μg m
?3,经验覆盖0.8824接近名义覆盖0.90。高污染时区间宽度增大,反映不确定性自适应变化。残差诊断(Durbin-Watson、Ljung-Box、Shapiro-Wilk)确认所有模型残差存在时间自相关和非正态性,但集成方法稳定性优于简单回归。
**3.9 特征重要性与SHAP可解释性分析**
SHAP分析显示,PM
10是最重要预测因子(平均SHAP值10.90),其次为PM
2.5_lag1(5.58),环境温度、O
3、风向、太阳辐射等气象因素也贡献显著。SHAP依赖图显示PM
10与PM
2.5呈单调正相关,PM
2.5_lag1呈非线性阈值响应,温度呈负相关,O
3表明二次光化学过程影响。消融实验证实模型不依赖单一替代变量,具备物理可解释性。
**总结讨论与结论**
讨论部分指出,集成ML方法在无泄漏时间验证下优于线性和核方法,Huber损失在噪声条件下提供鲁棒性与精度平衡;CPCB区间评估揭示了高污染时预测困难的本质;不确定性量化提升模型可靠性;SHAP分析确认PM
10、滞后PM
2.5、温度及O
3是主要驱动因素。研究局限性包括单站点数据、极端污染样本少、未纳入卫星数据及交通排放等。
**研究结论**(翻译)
在本研究中,开发并评估了一个基于ML的无泄漏、不确定性感知且可解释的框架,用于印度快速发展的气象复杂沿海城市维沙卡帕特南的PM
2.5预测。该框架结合了时间顺序数据划分、时间感知交叉验证、集成学习方法、不确定性量化、残差诊断、区间评估以及基于SHAP的可解释性分析,以在真实时序评估场景中全面评估PM
2.5预测性能。结果表明,基于集成的ML方法在模拟污染物浓度、气象条件与时间持续性效应之间的非线性相互作用方面显著优于简单的线性和核模型。随机森林在独立测试数据上表现出相对更优的整体预测性能,而梯度提升公式在存在噪声和异质性大气数据时表现出相对均衡的预测性能。损失函数敏感性分析进一步表明,替代优化目标影响重尾和噪声影响下的PM
2.5条件的预测稳定性与误差行为。区间评估揭示,预测性能在污染浓度水平之间变化显著,尤其在以大气随机性增加和样本代表性有限为特征的污染事件升高期间。这些发现强调了在总体性能指标之外评估预测可靠性的重要性。不确定性分析表明,预测变异性在污染条件升高期间大幅增加,凸显了将不确定性感知诊断纳入运行空气质量预测系统的必要性。残差诊断进一步确认了大气预测误差中存在时间依赖性和非正态性,反映了PM
2.5变异性固有的动态和非线性特征。基于SHAP的可解释性分析进一步识别出PM
10、滞后PM
2.5变量、环境温度和O
3相关预测因子是研究区域内PM
2.5变异性的主导因素。总体而言,研究结果表明,经过严格验证的集成学习框架为复杂沿海城市环境中的PM
2.5预测提供了一种有效、可解释且计算可行的途径。所提出的框架有助于开发更可靠的空气质量预测系统,并可能支持未来在动态演化大气条件下的近实时环境监测、暴露评估和环境决策支持应用。