用于通过可见光和红外成像技术测量PM2.5浓度的数据库和模型

《Pattern Recognition》：A database and model for the PM2.5 concentration measurement with visible and infrared imaging

PM2.5浓度监测中提出RGB-FIR多源融合网络及校正模块，构建含4909对图像的多源数据集，实验显示RMSE降低7.859，MAE降低5.483，R2提升12.77%。

　　

韩旺|江红星|王光成|史全|蒋奎

中国江苏省南通市南通大学交通与土木工程学院

摘要

随着环境污染问题的日益严重，监测PM_2.5浓度变得至关重要。在多种监测技术中，基于视觉的方法因其成本效益高、效果显著以及易于集成而脱颖而出。然而，这些方法目前仅依赖于可见光（RGB）成像，这限制了它们捕捉颗粒物细微变化的能力。为了解决这个问题，我们提出了首个用于PM_2.5测量的RGB和远红外（FIR）多源图像数据集，包含4909对RGB-FIR图像对。我们还提出了一个基于先验知识的RGB-FIR多源融合网络，该网络通过注意力机制整合RGB-FIR多源特征，以提高对PM_2.5变化的敏感性。此外，一个校正模块利用现有的RGB数据作为先验知识来优化预测结果。实验表明，我们的方法优于现有的基于视觉的算法，将RMSE降低了7.859，MAE降低了5.483，并将R提高了12.77%。我们自建的数据集和代码将在https://github.com/StarDJJ/RGB-FIR-dataset上发布。

引言

“双碳战略”在大幅减少污染物排放、改善空气质量以及缓解气候变化带来的环境健康危害方面起着关键作用[1]。近年来，随着实现“双碳”目标的步伐加快，空气污染监测，特别是PM_2.5的分析，已成为中国气象和环境保护机构的首要任务[2]。传统的基于仪器的颗粒物监测方法，如重量法、$\beta -射线吸收法和锥形元件振荡微天平法，成本高昂且操作不便。这些方法存在明显局限性，包括采样周期长、操作要求严格以及维护程序复杂[3]，[4]。因此，它们无法广泛用于高密度空间分布环境中的PM$_2.5实时监测。因此，开发一种低成本、操作简便且有效的PM_2.5浓度监测方法对于理论研究和实际应用都具有重要意义。随着人工智能的快速发展，基于视觉理解的PM_2.5浓度测量已成为PM_2.5监测研究的重要方向[5]，[6]。现有的基于视觉理解的PM_2.5测量方法大致可分为两类：基于统计模型的测量方法和基于深度学习的测量方法。

基于统计模型的PM_2.5浓度测量方法将手工制作的统计特征与机器学习算法相结合，从而实现对PM_2.5浓度的精确估计。例如，Yue等人通过比较饱和度图和灰度图之间的梯度相似性，并用Weber分布对饱和度图进行建模，来量化PM_2.5图像中的结构和颜色信息损失[3]。然后他们通过非线性映射结合这些特征来估计PM_2.5浓度。Wang等人基于自然场景的统计分析，在饱和度和暗通道域中制定了视觉先验，从而能够测量PM_2.5图像中的颜色和结构损失[5]。Gu等人利用图像的熵特征，开发了一个统计模型，该模型能够捕捉在有利天气条件下拍摄的图像的自然性[7]。随后，他们通过评估PM_2.5图像与高质量参考图像之间的自然性差异来估计PM_2.5浓度。这种方法为利用图像分析技术测量PM_2.5浓度提供了新的视角。Wang等人通过融合多域视觉特征开发了一种PM_2.5浓度测量方法[8]。该方法从PM_2.5图像的纹理和深度域中提取结构、颜色和深度损失特征，然后使用支持向量回归进行特征融合。Sun等人探索了颜色丰富度、结构退化和对比度，提取了18个特征，如色调、饱和度和颜色描述符[9]。然后他们利用随机森林模型对这些特征进行回归分析，准确估计PM_2.5浓度。然而，值得注意的是，这些统计估计模型的准确性在很大程度上取决于训练数据库中的特征分布。因此，在面对复杂多样的实际测量环境时，它们的精确度和鲁棒性需要进一步提高。

随着深度学习的快速发展，基于深度学习的PM_2.5浓度测量引起了广泛关注[10]，[11]，[12]。与手工制作的特征相比，卷积神经网络（CNN）能够自动提取图像特征，从而可以从颜色、对比度和纹理等视觉信息的细微变化中挖掘出与PM_2.5浓度高度相关的特征[13]，[14]。Gu等人结合了信息丰富度（IA）测量和宽深度学习进行PM_2.5监测，即IAWD，利用黑暗度和饱和度（DS）变换提取IA特征，并使用宽深度神经网络学习非线性映射以实现精确的浓度估计[6]。Fang等人提出了一个基于先验的PM_2.5浓度测量框架，该框架从输入图像和相应的暗通道及反转饱和度先验图中学习[10]。此外，他们开发了一种直方图平滑算法来解决数据分布不平衡的问题，从而在严重空气污染的情况下提高测量精度。Kow等人将CNN与回归分类器结合，通过从照片中提取特征并将这些特征分类为不同的空气质量等级来估计感兴趣区域的空气质量[11]。他们的模型在包含当前图像、基线图像和HSV（即色调、饱和度和值）统计数据的各种数据集上进行了训练和测试，以提高模型的可靠性和准确性。Sun等人提出了一个包含三个核心组件的PM_2.5浓度估计框架：一个幻觉高质量图像生成器、一个特征提取器和一个神经网络预测器[12]。生成器使用CNN根据输入的PM_2.5图像创建一个伪清洁参考图像（即幻觉高质量图像）。然后根据输入PM_2.5图像和幻觉高质量参考图像之间的质量差异设计反映PM_2.5浓度的视觉特征。最后，神经网络学习PM_2.5浓度模型。基于深度学习的PM_2.5浓度测量取得了很大进展。然而，现有的基于视觉的PM估计算法仅依赖于RGB图像，导致其对光照变化的鲁棒性较差，对浓度微小波动不敏感[8]，[10]，[15]。这一限制源于可见光成像的固有物理约束：在380–780纳米波段内，颗粒物的散射捕获高度依赖于环境条件，如阳光角度和云层覆盖，导致在不同光照环境下相同PM_2.5水平的像素强度差异显著。此外，RGB通道的狭窄光谱范围无法捕捉细颗粒物的细微变化，特别是在复杂气象条件下导致不确定性较高。

可见光和红外图像融合通过保留热目标的同时整合丰富的纹理细节，克服了单一传感器的局限性[16]，[17]，[18]。这项技术有效减轻了恶劣天气和光照对视觉算法的影响，在语义分割[19]，[20]、对象跟踪[21]，[22]和图像增强[23]，[24]等领域有广泛应用。FIR成像在PM_2.5感知中的有效性基于气溶胶颗粒的光学特性：作为大气气溶胶的关键组成部分，PM_2.5颗粒通过其对长波辐射的散射和吸收效应调节大气辐射传输，导致亮度温度的空间异质性。根据Mie散射理论，气溶胶颗粒对FIR电磁辐射的消光效应与气溶胶光学深度（AOD）之间存在定量关系，使得FIR成像系统能够通过捕获AOD引起的背景辐射衰减信号来表征PM_2.5浓度分布[25]。然而，将RGB-FIR融合应用于回归任务面临独特挑战：（1）由于可见光散射和热辐射成像在物理意义、数据分布和噪声特性上的根本差异，导致模态异质性；（2）需要动态平衡模态贡献，以避免冗余或冲突，同时保持连续和精确的数值输出。因此，我们开发了一种利用可见光和红外成像的PM_2.5浓度测量方法，旨在解决现有方法在不同光照条件下的鲁棒性限制和微小浓度波动问题，以及多模态融合在回归任务中的固有挑战。本工作的主要贡献如下：

• •
  我们构建了一个涵盖不同空气质量水平的真实世界RGB-FIR多源PM_2.5图像数据集，为基于可见光和红外成像的后续PM_2.5浓度测量研究提供了宝贵的数据支持。
• •
  开发了一种用于PM_2.5浓度测量的RGB-FIR多源融合神经网络，该网络结合了多源图像融合和空间通道注意力机制，以实现特征融合和RGB及FIR图像对的优化，从而实现PM_2.5浓度的精确测量。
• •
  我们开发了一个基于先验知识的PM_2.5预测校正模块，该模块利用大量现有的RGB PM_2.5图像数据作为先验知识，来校正RGB-FIR多源融合神经网络的输出。

本文的其余部分安排如下。第2节详细介绍了RGB-FIR多源PM_2.5图像数据集的构建过程。第3节介绍了基于先验知识的RGB-FIR多源PM_2.5浓度测量算法。第4节展示了与现有最先进（SOTA）方法的实验比较、消融研究及相关讨论。最后，第5节总结了整篇文章。

部分章节

动机

现有的PM_2.5测量图像数据集主要关注可见光数据。例如，Chen等人提供了一个空间分辨率为2.5平方公里、时间分辨率为1秒的污染测量数据集，其中包含图像、PM_2.5浓度、GPS位置、湿度和温度信息[4]。Gu等人在北京工业大学校园内收集了半年的54,000张PM_2.5图像数据，主要包含相似的场景

基于先验知识的RGB-FIR多源PM_2.5浓度测量

在本节中，我们将详细阐述所提出算法的关键组成部分：用于PM_2.5浓度测量的RGB-FIR多源融合神经网络和基于先验知识的PM_2.5预测校正模块。

实验与讨论

本节首先介绍实验设置和细节，然后涵盖实验结果以及深入分析和发现。

结论

本研究致力于提高基于视觉的PM_2.5浓度估计的精确度和鲁棒性，创新性地引入了一个利用可见光（RGB）和远红外（FIR）成像的PM_2.5浓度测量数据库和模型。所提出的算法包括一个RGB-FIR多源融合神经网络和一个基于先验知识的预测校正模块

CRediT作者贡献声明

韩旺：撰写——原始草案，方法论。江红星：软件，方法论，形式分析，数据管理。王光成：撰写——审阅与编辑，监督，方法论，资金获取。史全：撰写——审阅与编辑，验证，资源管理，形式分析，概念化。蒋奎：撰写——审阅与编辑，监督，软件，方法论，形式分析。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。

致谢

本工作部分得到了国家自然科学基金（项目编号：62401296、61872425）和南通自然科学基金（项目编号：JC2023005、JC2024066）的支持。