《Chemosensors》:Machine Learning-Based Calibration of Low-Cost PM2.5 Sensors Using Location-Specific Environmental Covariates and Feature Engineering Strategies
编辑推荐:
本研究采用集成机器学习(ML)方法对低成本PM2.5传感器进行数据驱动校准。研究主要目的是系统评估位置特异性环境协变量、辅助气态污染物以及特征工程(FE)策略在户外居住环境部署的低成本PM2.5传感器校准中的相对贡献
本研究采用集成机器学习(ML)方法对低成本PM2.5传感器进行数据驱动校准。研究主要目的是系统评估位置特异性环境协变量、辅助气态污染物以及特征工程(FE)策略在户外居住环境部署的低成本PM2.5传感器校准中的相对贡献。为此,研究人员实施了基于消融研究设计的多阶段实验框架,该框架整合了不同环境信息组,并采用防泄漏的时间验证方法对模型进行评估。结果表明,FE策略在所有实验配置下均显著提升了模型性能。最高性能在仅使用原始PM2.5传感器数据与FE衍生特征的配置下获得,其中随机森林(RF)模型将测试R2值从0.7237提升至0.8467,并将均方根误差(RMSE)从6.96 μg/m3降低至5.19 μg/m3。特征重要性分析表明,基于湿度的交互特征与循环时间编码结构对模型性能贡献显著。研究结果表明,在连续共位监测操作不可行的场景中,利用位置特异性环境协变量与数据驱动FE策略可实现具有实际意义的PM2.5校准性能。
该论文发表于《Chemosensors》期刊,研究聚焦于大气环境监测领域中低成本传感器(LCS)数据质量提升这一关键问题。研究背景方面,PM
2.5(空气动力学直径小于2.5 μm的可吸入细颗粒物)因其可深入人体呼吸系统并诱发心血管疾病、慢性呼吸系统疾病、肺癌、神经系统疾病及早死等多种健康问题,已成为全球重大环境健康风险因素。2021年世界卫生组织全球空气质量指南建议年均PM
2.5浓度限值为5 μg/m
3,24小时平均浓度限值为15 μg/m
3;欧盟2024年修订的环境空气质量指令则设定了2030年年均10 μg/m
3及24小时25 μg/m
3(每年不超过18次超标)的目标值。传统参考级监测站虽精度高但成本昂贵,导致空间覆盖密度不足,难以捕捉交通密度、建筑结构、地形条件及局地气象变量等因素造成的微环境暴露差异。低成本传感器凭借高时空分辨率、便携性及可密集组网等优势,在智慧城市、物联网(IoT)环境监测系统与公众科学项目中应用广泛,但其测量精度受颗粒物浓度、粒径、气溶胶类型及环境条件等多因素影响,尤其相对湿度、温度、大气压及传感器漂移等因素显著干扰光学散射原理传感器的性能,故校准程序不可或缺。
早期研究多采用线性回归(LR)等统计方法,但难以处理PM传感器响应的非线性行为及与环境变量的复杂交互作用。近年来,机器学习数据驱动校准方法,特别是随机森林(RF)、极端梯度提升(XGB)、轻量梯度提升机(LGBM)等集成学习方法,在结合气象变量、辅助气态污染物及时间特征方面展现出优势。特征工程策略如滞后特征、滚动平均、环境交互项及循环时间编码等对提升校准精度亦至关重要。现有研究大多基于共位校准方法,即传感器与参考仪器同址同步运行,但在大规模网络中持续实施共位在操作和经济上均不可持续。因此,利用位置特异性环境协变量的数据驱动校准方法日益受到关注。
该研究旨在系统评估位置特异性环境协变量、辅助气态污染物与特征工程策略在低成本PM
2.5传感器校准中的贡献,并建立防泄漏的时间验证框架以更可靠地评估模型性能。研究在土耳其马尼萨省尤努埃姆雷区(Yunusemre, Manisa, Türkiye)的城市居住阳台环境(距地面约3 m)开展,样本来源于Plantower PMS7003光学PM传感器的分钟分辨率数据,经重采样为小时均值,并与通过Open-Meteo(OM)应用程序接口(API)获取的气象变量(温度、相对湿度、风速、大气压、露点)及气态污染物(CO、NO
2、SO
2、O
3)数据时间同步整合。研究使用OM_PM
2.5作为位置特异性代理校准目标而非直接参考级真值。
关键技术方法包括:(1)基于改编优化版AQ-MultiCal平台的综合校准分析框架;(2)包含四类实验配置(E1仅原始传感器数据、E2原始数据+气象变量、E3原始数据+气态污染物、E4全部环境变量)的消融研究设计;(3)涵盖线性模型(Ridge回归、弹性网络ElasticNet)、树模型(决策树DT)、距离模型(k近邻kNN)、袋集成(随机森林RF)、梯度提升(梯度提升GB、AdaBoost、XGBoost、LightGBM、CatBoost)共10种机器学习模型的比较评估,均采用默认超参数;(4)11项经筛选的特征工程结构,包括滞后1-3小时特征(lag1-lag3)、3小时和6小时滚动平均(roll3、roll6)、污染物-湿度/温度-湿度交互项、正弦-余弦时间循环编码(hour_sin、hour_cos、month_cos)及夜间标识(night_flag);(5)防泄漏的时间顺序验证协议,按70%-15%-15%比例将数据集按时间顺序分割为训练集、验证集和测试集,确保未来观测不泄漏至训练过程。
研究结果部分,"数据集统计特征"显示原始传感器测量与OM_PM
2.5目标变量整体趋势相似,但秋季和冬季PM
2.5浓度升高更显著;两者分布均呈右偏,原始传感器在高浓度范围分布更宽。OM_PM
2.5与CO、SO
2呈强正相关,与O3负相关;温度、风速等气象参数与PM2.5负相关。统计特征表明传感器测量受环境条件和短期大气波动影响更强。
"不同实验配置下的比较校准性能"结果显示,无特征工程时线性Ridge模型在E4配置中表现最佳(测试R2=0.7664,RMSE=6.40 μg/m3);整合特征工程后所有配置和算法性能均大幅提升,表明高质量时间序列与交互特征较数据源多样性更为关键。E1配置中,特征工程后RF模型最优(测试R2=0.8467,RMSE=5.19 μg/m3),证明仅利用原始传感器数据即可通过精心设计的特征工程获得显著解释力。E2配置(加入气象变量)特征工程后最优性能(RF:测试R2=0.7946,RMSE=6.00 μg/m3)反而低于E1,原因在于OM提供的大尺度区域模拟气象数据未能充分代表传感器微环境位置的局地热力波动或风影效应,这些差异作为噪声传播并限制了模型泛化性能。E3配置(加入气态污染物)特征工程后GB模型最优(测试R2=0.7800,RMSE=6.21 μg/m3),证实PM2.5形成、滞留与城市传输过程受交通排放和居民供暖等共享排放源影响。E4配置(全部环境信息)中Ridge模型在基线和特征工程后均最优(测试R2分别为0.7664和0.7804),因该配置特征空间维度最高且存在严重多重共线性,L2正则化有效抑制了冗余变量噪声,而非线性集成模型对高维噪声更敏感。总体而言,集成和提升树模型更擅捕捉复杂非线性关系,而Ridge模型在高维噪声数据正则化方面表现更优;增加环境信息或变量数量并不必然保证更高校准性能,特征结构质量与算法适配性更为关键。
"预测一致性与残差分析"部分,RF模型在E1配置下的预测值密集分布于理想1:1线附近(R2=0.8467,RMSE=5.19 μg/m3,MAE=3.88 μg/m3),低中浓度范围预测更稳定,高浓度时存在轻微低估倾向。残差围绕零线集中,无显著浓度依赖性偏差模式,但高预测水平处残差方差增大,符合空气质量时间序列的异方差结构。时间序列对比显示,校准输出较原始传感器高频波动显著平滑,更稳定地跟随大气总体趋势,滞后特征和滚动平均结构使模型能考虑历史PM2.5模式,但部分高强度短期峰值被平滑,极端短期事件的保守表征是集成模型的固有特性。
"特征贡献与环境解释"部分,RF模型特征重要性分析显示PM2.5×humidity贡献最高(8.4%),较第二位的hour_cos(5.8%)高约45%,甚至超过lag1(1.8%)、lag2(1.2%)与lag3(1.3%)之和,表明与相对湿度相关的非线性环境效应较短期时间依赖具有更强解释力,这与湿度增长效应对低成本光学PM传感器的影响相一致。temp×humidity(5.7%)与hour_cos贡献接近,说明温湿度联合大气效应显著。循环时间编码中hour_cos(5.8%)贡献约为hour_sin(1.9%)的三倍,提示日变化模式存在不对称时间结构;month_cos(3.1%)表明季节变异性有意义。roll3(2.6%)超过所有滞后特征,说明平滑时间模式较孤立历史观测更能有效表征短期大气连续性。night_flag仅0.6%,证实昼夜区分单独提供的解释力有限。
研究局限性方面,单地理区域和特定大气条件下的分析结果可能因气候区域、气溶胶特征和排放剖面差异而有所不同,工业、沿海或特殊地形环境的模型泛化性需多地点研究进一步验证;气象和辅助环境变量来源于环境数据服务而非传感器直接测量,其空间分辨率和测量不确定性可能影响模型行为;特征工程组件的独立效应未单独分析;模型的可扩展性应理解为基于AQ-MultiCal工作流程的可迁移性而非未经再训练的直接模型迁移。
研究结论部分,本研究通过集成机器学习方法对户外居住环境的低成本PM2.5传感器进行数据驱动校准,系统评估了位置特异性气象变量、辅助污染物数据及特征工程策略的贡献。消融研究结果表明特征工程策略在所有实验配置下均显著改善模型性能,尤以仅使用原始传感器数据的E1配置提升最为显著(测试R2从0.7237升至0.8467,RMSE从6.96 μg/m3降至5.19 μg/m3)。湿度基交互特征提供了特别强的解释贡献,滚动平均特征较传统滞后结构贡献更高,表明平滑时间模式更能有效表征短期大气连续性。集成模型在多数配置中表现更稳定,支持PM2.5行为涉及非线性环境关系的判断。预测-观测一致性、残差行为和时间序列分析综合表明该分析方法在宽浓度范围内具有平衡且可泛化的预测行为,特征工程组件有助于减少短期传感器噪声并产生更稳定的PM2.5表征。研究的主要贡献在于证明在连续共位监测操作不可行的场景中,利用位置特异性环境变量即可实现具有实际意义的PM2.5校准性能,这种方法为参考监测基础设施缺乏地区的低成本传感器网络应用提供了可扩展且操作实用的替代方案。未来涉及不同气候区域多传感器网络、更高空间分辨率环境数据源及实时自适应校准方法的研究,将有助于开发更具泛化能力的数据驱动校准模型。