基于Transformer模型利用多站点智能路灯数据进行道路周边空气污染物预测的方法

《TRANSPORTATION RESEARCH PART D-TRANSPORT AND ENVIRONMENT》：Transformer-based approach for roadside air pollutant prediction using multi-site smart lamppost data

　　

# 摘要

路边空气质量对公众健康和城市生态系统有显著影响。本研究开发了一种基于Transformer的深度学习模型，利用香港三个测试站点多传感器智能路灯杆的数据来预测短期路边NO?和PM2.5浓度。该模型通过自注意力机制整合交通流量、车速和气象因素，捕捉复杂的时序依赖关系。智能路灯杆数据直接在路边采集，提供了高保真度的测量值，无需使用排放估算算法。研究使用涵盖小时级、周级和季节性变化的一年期数据集进行训练和验证，并采用单站点、跨站点和混合站点测试策略。将Transformer与统计方法、神经网络和基于树的机器学习基线模型进行对比，取得了令人满意的预测精度。SHAP分析和敏感性分析表明，NO?对交通因素更为敏感，而PM2.5更多受气象条件影响。

## 1. 引言

城市道路沿线的空气质量构成重大环境挑战，对公众健康和周边生态系统产生直接影响。道路附近的空气，尤其是在有信号灯的交叉口处，含有复杂的污染物混合物，可能对城市居民产生不利影响（Mishra和Padmanabhamutry, 2003, Qiu等, 2017）。常见污染物如颗粒物（PM）和氮氧化物（NOx）与交通排放密切相关（Cen等, 2016）。在信号灯控制的交叉口处，车辆频繁加速、减速和怠速，导致其排放量相比匀速行驶或自由流状态更高（Goel & Kumar, 2015）。例如，红灯等待时的怠速会降低发动机效率，增加燃料消耗和污染物排放。这些交叉口的高交通流量进一步加剧了路边污染物的累积。

表征路边空气污染对于制定有效的防治措施至关重要。路边污染物暴露问题日益受到关注，特别是在交通信号优化等应用中（Zhu等, 2013, Han等, 2016, Song等, 2020a, Song等, 2020b, Li等, 2021）。准确预测路边空气质量至关重要，原因如下：首先，它可以为公众，尤其是老年人、儿童以及患有呼吸系统或心血管疾病等既有疾病的脆弱人群提供早期预警，使他们能够采取预防措施（Che等, 2020）。其次，可靠的空气质量预测可以指导城市规划者和政策制定者制定有效的环境政策，例如通过改进信号配时来缓解交通拥堵，以及推广公共交通（Li等, 2018; 2021; Du等, 2025）。

由于交通相关因素（如流量、车速和行驶模式）、气象条件（温度、湿度、风速和风向）和污染物排放之间的复杂相互作用，实现准确的路边空气质量预测是一项挑战。传统的预测方法，如统计模型，往往难以捕捉该系统中非线性和多方面的关系。近年来，人工智能和机器学习技术的快速发展，特别是深度学习模型，在处理复杂数据和做出准确预测方面展现出了巨大的潜力。

人工神经网络（ANN）已被广泛应用于地面空气污染的估算。虽然它们在建模多因素和不确定性方面表现优异，但常常面临训练效率和泛化能力的问题（Cai等, 2009）。此外，监测站点通常位于道路中心线相当远的地方，许多研究依赖于排放估算模型（如EMFAC-HK模型和机动车排放模拟器（MOVES））提供的估算数据，这些数据可能与实际测量值存在显著偏差（Wu等, 2014）。EMFAC-HK是香港专用的车辆排放因子模型，旨在根据车辆类型、速度和行驶条件估算道路交通的污染物排放速率（Wang等, 2021）。

在本研究中，我们旨在利用配备多种传感器的智能路灯杆收集的数据来克服上述局限性。智能路灯杆数据与深度学习模型的整合可以显著提高预测精度。使用智能路灯杆数据的优势有两个方面：（1）它们可以直接在路边采集数据，无需使用估算算法，而且由于数据在靠近地面和污染物集中的路边采集，因此更加准确和及时；（2）自动化数据采集使我们能够获取大规模数据集用于模型训练和验证，涵盖小时级、周级和季节性变化，这可以提高预测模型在不同交通模式和环境条件下的鲁棒性和准确性。

我们的研究全面分析了影响路边空气质量的因素，包括交通变量（流量、车速）和气象条件（温度、湿度、风速和风向）的影响。传统模型往往忽视了这些因素之间复杂的相互作用。例如，温度升高会增加车辆尾气中污染物的蒸发，而风速则影响污染物的扩散。忽视这些相互作用可能导致次优的预测。以往的研究往往只关注单一的空气质量指标（Wang等, 2020, Al-Nefaie和Aldhyani, 2023），而本研究分析了颗粒物（PM2.5）和二氧化氮（NO?）指标，同时评估了多因素影响的变异。我们利用智能路灯杆传感器在一年的时间内自动采集的近25,000个有效样本大数据集来训练和验证模型，确保其鲁棒性和泛化能力。

本研究旨在开发一个鲁棒且准确的深度学习模型，用于预测短期路边空气污染物浓度。本研究做出三项主要贡献。首先，我们将基于Transformer的深度学习模型应用于短期路边空气污染物预测，并对该模型进行了系统评估，这一领域中Transformer的应用仍然有限。通过自注意力机制整合交通和气象因素，我们证明了该架构在捕捉路边空气质量动态中复杂时序依赖关系方面的有效性。其次，我们利用高质量的、来自直接部署在路边的多传感器智能路灯杆的更新数据集，该数据集提供了交通、气象和空气质量条件的直接测量值，无需排放估算算法。这些多源数据流的整合提供了一种可复制的数据驱动路边空气质量预测方法。第三，我们提供了与多个基线模型的全面比较，包括统计模型、循环神经网络模型和基于树的机器学习方法。我们进行了系统的特征分析（SHAP分析和敏感性分析），以阐述交通和气象因素在NO?和PM2.5预测中的差异化作用。该预测模型可以帮助脆弱人群做出出行决策，并为城市环境可持续发展战略的制定做出贡献。

## 2. 相关工作

### 2.1. 传统方法

预测路边空气质量的传统方法历来依赖扩散模型和统计技术。扩散模型，如加州线源模型3（含排队和热点计算）（CAL3QHC），旨在模拟大气中污染物的扩散。Song等（2020）利用CAL3QHC估算西安一个信号控制交叉口的PM浓度。除扩散模型外，排放因子模型如EMFAC-HK（Wang等, 2021）根据车辆类型、速度和特定于香港的行驶条件提供车辆排放速率估算。然而，这些模型输出的是排放速率而非环境污染物浓度，将排放估算转化为路边浓度需要与大气扩散模型耦合，这引入了额外的模型不确定性。这些经验模型对数据需求量大，需要关于车辆特征、气象条件和交叉口配置的详细输入数据，这给精确数据采集带来了挑战。本研究通过利用路灯传感器直接获取的数据并纳入六个影响因素，确保了为开发鲁棒的预测模型获取更可靠和精确的数据集。

在另一个方向上，Lawson等（2011）引入了结构时间序列（STS）方法来预测都柏林交通相关的氮氧化物浓度，对环境中的NOx和NO?水平做出了准确的预测。然而，该方法的一个显著局限是它排除了关键的外部变量，如风速和交通流量。此外，Nagendra等（2007）利用统计方法，包括自回归积分滑动平均（ARIMA）和多元线性回归，基于空气质量指数（AQI）评估了班加罗尔交通交叉口附近的空气质量。尽管这些传统方法做出了贡献，但它们在有效捕捉空气污染数据的动态和非线性特征方面仍面临困难。Catalano和Galatioto（2017）引入了一种元模型方法来增强与交通相关的低频极端污染事件的预测。通过将该方法与特定情境下的统计模型进行比较，元模型在预测极端污染事件方面表现更优，相比标准统计方法提升了高达27%。

### 2.2. 深度学习模型

深度学习模型最近已成为预测空气质量的高效方法，这得益于其处理复杂非线性关系和大规模数据集的能力。循环神经网络（RNN），包括长短期记忆网络（LSTM）和门控循环单元（GRU）变体，在处理序列数据方面表现突出。RNN在捕捉空气质量变化的时序依赖关系方面表现出色，Cho等（2014）的研究已证实这一点。卷积神经网络（CNN）在从数据中提取空间特征方面已被证明有效，从而有助于分析空气污染物的空间分布（Azeez等, 2019）。Paas等（2017）在研究中使用人工神经网络（ANN）结合声学数据来预测德国道路附近的大气PM浓度。他们的模型利用多层感知器（MLP），在特定情况下对PM(0.25–1)、PM(0.25–2.5)和PM(0.25–10)浓度进行了令人满意的预测。然而，仍有改进空间以增强这些预测在不同场景下的泛化能力。

长短期记忆网络（LSTM）因其处理长期依赖关系和有效建模时序模式的能力而被广泛采用。Park等（2023）专注于利用气象和运营数据预测集装箱港口的颗粒物浓度。他们的研究表明，特别是在涉及运营数据的场景中，LSTM模型优于其他神经网络方法，如循环神经网络（RNN）和多元线性回归（MLR）。Zhang等（2022）对近年来空气污染预测中深度学习方法的最新发展进行了全面综述。

虽然LSTM已被证明有效，但基于注意力机制的架构的最新进展，如Transformer模型，提供了一种不依赖顺序循环的捕捉长距离依赖关系的新方法。Li等（2024）结合变分自编码器和Transformer编码器来研究气象波动对交通动态的因果影响。他们的模型在预测交通流量和速度方面超越了传统和替代的深度学习方案，有效捕捉了天气模式和交通条件之间的因果关系。此外，Zhang等（2025）引入了拥塞感知稀疏注意力Transformer（CASAformer）用于拥堵场景下的交通速度预测。通过在真实数据集上的实验，CASAformer在低于40英里/小时的各种预测时间范围内，在速度预测方面表现优于现有模型。

Transformer架构在环境建模中越来越多地被采用，展现出捕捉复杂时空依赖关系的强大能力。Castangia等（2023）将Transformer网络应用于提前一天的河流水位预测用于洪水预报，结果表明Transformer在RMSE方面比循环模型高出4%以上，在MAE方面高出7%，且计算成本更低。Xu等（2024）开发了一种使用多源时空数据进行大规模环境评估的Transformer模型，准确率约为98%。Li等（2025）提出了一种具有多尺度注意力的Transformer预测模型，用于关键水质变量的预测，采用三分支结构分别提取趋势、季节和残差成分。这些进展持续验证了基于Transformer的模型在环境时间序列预测中的有效性和可解释性，这促使我们开发一种定制的Transformer模型用于路边空气污染物预测，通过同时整合交通和气象因素来实现。据我们所知，本工作是少数将Transformer架构应用于路边空气污染预测这一特定任务的研究之一。

## 3. 预备知识

在深入介绍预测路边空气污染的深度学习模型的构建之前，本节概述了数据采集方法和数据集预处理程序等预备工作，这些对于深度学习应用至关重要。在第3.1节中，我们详细介绍了数据的来源和特征。随后，在第3.2节中，我们对从路灯传感器和监测站收集的包括交通、空气污染物和气象变量在内的影响因素进行了全面分析，考察了三个研究站点在时间和空间上的变化。

我们将在第 5.3.1 节中进行详细的场景分析，包括空气污染物预测、交叉验证、基线模型比较和影响因子分析。

**数据收集**

香港政府推出了多功能智能路灯计划，以促进智慧城市发展并鼓励创新应用。超过 400 盏配备多种传感器的智能路灯被策略性地部署在全香港，用于收集实时城市数据进行分析，如图 1 所示。智能路灯放置在路边，用于监测交通状况和空气质量。空气质量数据通过位于路边的路灯传感器收集，提供路边空气质量的直接测量值，与现有文献相比，得出更准确的数据集。这种方法与使用未在路边直接测量的估计或模拟空气污染数据的研究形成对比。空气质量传感器记录街道层的二氧化氮和 PM2.5 浓度。除了空气质量测量外，交通相关数据通过热传感器和激光雷达传感器收集。这些传感器捕获实时信息，如车辆计数和平均点速度。该系统计算特定时间间隔内通过特定车道的车辆数量，以获得交通流量数据。

下载：下载高分辨率图像 (177KB)
下载：下载全尺寸图像
图 1. 智能路灯和传感器。

气象数据来自香港天文台运营的附近气象站。这些站点收集分区级数据，包括温度、相对湿度、风速和风向。如图 2 所示，从靠近路边的监测站检索的数据用于我们的分析。我们选择靠近路灯的监测站，以确保交通和气象数据有效地被视为源自同一地理位置。这一选择得到几个因素的支持。香港天文台提供分区级气象数据，其中温度、相对湿度等参数在同一分区内变化极小。尽管气象站传感器和路灯之间的距离通常为 50 至 300 米，但在气象数据收集的背景下，这种空间差距可以忽略不计。因此，路灯的数据（主要是交通和空气质量数据）和监测站的数据（气象数据）可以整合，形成用于模型训练和验证的综合数据集。

下载：下载高分辨率图像 (89KB)
下载：下载全尺寸图像
图 2. 路边空气质量监测站（香港特别行政区环境保护署）。

表 1 总结了路灯传感器和监测站的详细数据收集信息，列出了每种传感器类型的更新频率、测量单位、传感器类型和数据来源。空气质量数据以 5 分钟分辨率记录，交通数据以 1 分钟分辨率记录，气象数据以 10 分钟分辨率记录。为确保数据集的一致性，数据点通过计算每个小时内的平均值汇总为 1 小时间隔。此过程将所有数据类型对齐为统一的 1 小时分辨率格式，这将用于构建模型训练和验证数据集。本研究中使用的所数据均通过 https://data.gov.hk/ 获取的开源数据。

表 1. 影响因子的参数和单位。

| 影响因子 | 最小值 | 最大值 | 单位 | 更新频率 | 设备类型 | 数据来源 |
| :--- | :--- | :--- | :--- | :--- | :--- | :--- |
| PM2.5 | 0 | 50.0 | ??g/m3 | 5 分钟 | 空气质量传感器 | EPD (LP/MS) |
| NO2 | 0 | 148.9 | ??g/m3 | 5 分钟 | 空气质量传感器 | EPD (LP/MS) |
| 交通流量 | 0 | 1257 | Veh/h | 1 分钟 | 热探测器 | TD (LP) |
| 交通速度 | 0 | 67.3 | Km/h | 1 分钟 | 激光雷达 | TD (LP) |
| 风速 | 0 | 38 | Km/h | 10 分钟 | 气象传感器 | HKO (MS) |
| 风向 | -10.99 | 正弦/余弦 | 10 分钟 | 气象传感器 | HKO (MS) |
| 温度 | 10.7 | 35.2 | °C | 10 分钟 | 气象传感器 | HKO (MS) |
| 相对湿度 | 22.7 | 97.7 | % | 10 分钟 | 气象传感器 | HKO (MS) |

注：LP 表示数据收集自路灯传感器；MS 表示数据收集自监测站；EPD 代表“环境保护署”；TD 代表“运输署”；HKO 代表“香港天文台”。

为了考虑路边空气污染的季节效应，数据收集期为 2024 年 6 月至 2025 年 5 月，涵盖所有四个季节并包含气象数据。虽然路灯传感器广泛分布在香港，但我们的深度学习模型需要全面考虑影响空气污染物水平的多个影响因子。为了准确预测特定地点的路边空气污染，需要一个完整的包含交通流量、车速、温度、湿度、风速、风向以及包括 NO2 和 PM2.5 在内的空气污染数据的数据集。训练我们的预测模型需要在指定地点同时收集这些数据类型。因此，我们选择了香港三个地点：(1) 尖沙咀梳士巴利道；(2) 湾仔港兴路；(3) 黄竹坑 Aberdeen Praya Road，这些地点满足有效数据收集和形成数据集的要求。测试地点的选择将在第 5 节中讨论，有关数据处理的详细信息可在附录 A 中找到。这些数据源的组合提供了用于分析路边空气质量和开发精确预测模型的综合数据集。了解路边空气质量的演变以及交通相关排放的影响对于研究很有价值，并可以支持相关城市政策的制定，这具有重要的实际意义。

**3.2. 影响因子**

传统排放模型擅长根据历史交通状况和经验排放值估算普遍存在的空气污染水平。然而，为了提高预测准确性，不仅需要考虑与交通相关的因素，还必须纳入气象变量，如风速、风向、空气温度和相对湿度。在本节中，使用从路灯和监测站收集的一年数据对这些影响因子进行全面分析，重点关注香港的三个代表性地点。这种整体检查旨在了解这些因素在不同一天时间段和一周天数的变化。此分析为后续开发预测模型奠定了基础。

**(1) 空气污染物**

路边空气污染物浓度受交通流量和车速的严重影响，这决定了车辆排放的速率和数量。图 3 显示了每周污染周期，而图 4 将其分为工作日和周末的小时平均值。对于这些图表，每个数据点代表特定星期几特定小时数的年平均浓度（例如，所有星期一 00:00 的平均值）。实线表示算术平均值，而阴影区域代表数据的四分位距（第 25 至 75 百分位数）。

下载：下载高分辨率图像 (478KB)
下载：下载全尺寸图像
图 3. 各区域每周空气污染物浓度。

下载：下载高分辨率图像 (469KB)
下载：下载全尺寸图像
图 4. 各区域工作日和周末空气污染物浓度。

这些路边数据图表的分析展示了与交通相关的污染动态。二氧化氮 (NO2) 浓度与交通模式表现出强烈相关性，在工作日通勤时间出现明显的昼夜峰值（车辆排放是主要本地污染源的明确证据）。PM2.5 浓度揭示了更复杂的情况。它们与交通的每日相关性较弱，表明受区域传输和背景气溶胶形成的影响更大。尖沙咀和湾仔记录到的两种污染物的高浓度直接反映了各自拥堵街道峡谷内的空气质量不佳。

**(2) 交通流量**

交通流量指的是道路上的车辆数量，是衡量道路运行负载的主要指标。相应的统计信息见图 5 和图 6。底层数据，每车道 30 秒交通计数，首先汇总为小时总计。然后将该总计在该道路的所有车道上平均，以得出每车道平均流量。每个数据点代表该特定小时和日期的年平均数。

下载：下载高分辨率图像 (290KB)
下载：下载全尺寸图像
图 5. 各道路每周平均车道交通流量。

下载：下载高分分辨率图像 (269KB)
下载：下载全尺寸图像
图 6. 各道路工作日和周末平均车道交通流量。

对这些图表的分析，特别是图 6 中的每小时数据，揭示了工作日和周末城市出行行为的差异。在工作日，交通模式的特点是明显的“双峰”或双峰分布。由于工作和上学通勤的高度集中和同步时间表，早上 08:00 至 09:00 之间出现急剧的高峰。在 18:00 至 19:00 之间观察到相应的晚间高峰，尽管这一高峰通常略宽且强度略低，表明离开工作时间更加分散。相比之下，周末交通模式缺乏这些尖锐的通勤高峰。相反，交通流量在上午较晚时候上升，并在整个下午和傍晚早期形成持续且宽阔的平台期。这种交通流量升高的持续时间反映了不受固定时间表限制的休闲导向活动。这一详细的每小时模式，结合速度数据（图 7），证实了工作日刚性、高通量的通勤高峰对道路网络造成最大压力，导致尖沙咀和湾仔严重拥堵。

下载：下载高分辨率图像 (247KB)
下载：下载全尺寸图像
图 7. 各道路所有车道每周平均交通速度。

**(3) 交通速度**

交通速度代表车辆的平均速度，是衡量道路效率的关键指标。这些数据如图 7 和图 8 所示。代表每车道 30 秒速度读数的原始数据被重新采样为小时算术平均值。然后将这些小时平均值在该特定道路的所有车道上平均。图表上的每个数据点是该特定小时和星期几的年平均数。实线是平均值，阴影区域是四分位距。

下载：下载高分辨率图像 (260KB)
下载：下载全尺寸图像
图 8. 各道路工作日和周末所有车道平均交通速度。

比较香港主要路线的数据集突出了不同的效率水平（图 7）。梳士巴利道（尖沙咀）和港兴路（湾仔）记录到的低且波动的速度是拥堵城市干道的特征，这种模式在每天的工作日和周末平均小时数中清晰可见（图 8）。相比之下，黄竹坑道保持一致的高速度，作为一条高效、高容量的快速路运行。

**(4) 风速和风向**

它们是控制空气污染物扩散的关键变量。图 9 使用一系列每月风玫瑰图可视化了该数据集。对于每张地图，原始数据被归类为八个方向区间，出于可视化目的，“静风”和“变化”风数据被排除。在每个方向内，数据进一步按风速分为 10 m/s 间隔进行分组，由不同颜色表示。地图上每个扇区的长度与该特定速度和方向类别中观测的频率成正比。

下载：下载高分辨率图像 (561KB)
下载：下载全尺寸图像
图 9. 各区域每月风速和风向。

对这些地图的分析提供了令人信服的说明，展示了当地城市形态如何塑造气流模式。中环和尖沙咀的路边传感器记录到了高度通道化、单向的风（经典的“街道峡谷”效应），其中建成环境引导空气运动。相比之下，黄竹坑更开阔的地形使风廓线更加多变、多方向。这种风动力学的差异是解释黄竹坑观测到更优越的污染物扩散和更好空气质量的关键因素。

**(5) 空气温度**

空气温度影响大气稳定性和形成二次污染物的化学反应速率。如图 10 所示，这绘制了一整年的空气温度。为了增强视觉清晰度并更容易识别趋势，对整个数据集应用了平滑因子为 24 的高斯滤波器进行可视化。

下载：下载高分辨率图像 (283KB)
下载：下载全尺寸图像
图 10. 各区域空气温度。

尖沙咀和黄竹坑的温度数据是从路边传感器收集的，而中环（靠近湾仔的一个位置）的温度数据是从香港公园（一个植被覆盖的区域）的监测站获得的。这解释了 2024 年 7 月至 10 月期间观察到的明显温度差异。具体来说，在此期间尖沙咀的温度始终高于中环。同时，黄竹坑作为白天暴露在阳光下的路边区域，记录的温度高于中环遮荫的公园区域。尽管存在这种轻微的温度差异，三个监测点显示出总体一致的温度水平并共享相同的波动趋势。如图 10 所示，温度也表现出明显的季节性变化。

**(6) 相对湿度**

相对湿度反映空气中的水分含量，可能影响气溶胶形成和污染物化学反应。相关的相对湿度数据如图 11 所示，该图表使用与温度图表（图 10）相同的方法生成。

数据分析显示，相对湿度主要由天气尺度天气系统决定，而非局部城市环境，且未观察到明显的季节变化趋势。这得到了三个监测站点之间高度相关的结果支持，尽管它们的传感器位置差异明显（两个位于路边灯柱上，一个位于监测站）。

图 11. 各区域相对湿度。

4. 基于Transformer的预测模型

4.1 整体架构

Transformer模型最初在论文《Attention Is All You Need》（Vaswani等人，2017）中提出，它在处理序列数据方面实现了突破。该模型基于自注意力机制，使得模型能够直接捕获输入序列中任意两个位置之间的依赖关系，而无需依赖循环或卷积操作。这一特点使得Transformer模型在处理长程依赖关系方面具有极高的效率，这对于预测路边空气质量至关重要，因为它涉及各种因素之间复杂的时间和空间关系。

Transformer模型的整体架构由编码器-解码器结构组成。然而，在本研究中，由于我们仅关注基于历史数据预测未来空气质量变化，因此仅使用Transformer模型的编码器部分。编码器由多个相同的编码器层堆叠而成。每个编码器层包含两个主要子层：多头注意力机制和前馈神经网络，以及残差连接和层归一化，以提高训练的稳定性和性能。

编码器的输入是特征向量序列。在我们的情况下，这些特征向量由交通流量、交通速度、温度、湿度、风速和空气质量指数的历史时间序列数据组成。编码器处理该输入序列并输出新的特征向量序列，该序列捕获了输入变量之间的复杂关系。然后，这些输出特征向量用于预测未来短期空气质量变化。图12展示了本研究使用的Transformer模型编码器的整体架构。

图12. Transformer模型编码器架构。

我们将输入序列??=[??1,??2,?,????,?,????]表示为历史影响因素数据，其中????是时间步??的特征向量，??是时间序列的长度。编码器通过多个编码器层处理该输入序列。在每个层中，多头注意力机制首先计算序列中不同位置之间的注意力权重，然后前馈神经网络进一步处理多头注意力机制的输出。在每个子层应用残差连接和层归一化，以确保训练过程的稳定性和有效性。编码器的最终输出表示为??=[??1,??2,?,????]，用于后续的空气质量变化预测。

4.2 注意力机制

4.2.1 自注意力

自注意力机制是多头注意力机制的基本构建模块。其核心思想是计算查询向量（??）与一组键-值对（??和??）之间的相似度，然后利用该相似度对值向量进行加权求和。在我们的空气质量预测背景下，如果输入序列为??∈???×??（??是特征维度），我们可以通过对??进行线性变换获得??、??和??，如公式（1）-（3）所示。

(1) ??=??·????
(2) ??=??·????
(3) ??=??·????

其中????、????、????∈???×????是可训练权重矩阵。????是查询/键向量的维度。查询向量??表示模型在输入序列中寻找的内容，而键向量??作为查询的参考点。值向量??包含基于注意力分数进行聚合的实际信息。这种分离使得模型能够灵活地确定输入中哪些部分最为相关。

注意力分数通过计算查询向量??与键向量??的点积获得，如公式（4）所示。??和??是所有时间步的查询向量和键向量的矩阵。该操作衡量查询与每个键之间的相似度。然后将结果除以键维度的平方根（????）进行归一化。除以√????是一种缩放操作。当????较大时，点积??·????可能产生非常大的值，这会导致softmax函数产生极小或极大的梯度。通过√????进行缩放有助于缓解此问题，使点积值归一化，从而使训练过程更加稳定。

(4) ??????????????????????????(??,??)=??·????/√????

softmax函数用于将注意力分数（??·????/√????的元素）转换为概率权重，如公式（5）所示。每个注意力权重????表示模型在进行预测时应放在每个时间步上的关注程度，如图13（a）所示。在公式（6）中，值向量??的加权和????通过将softmax输出权重????与??相乘计算得出，如图13（b）所示，得到自注意力机制的输出。该输出表示输入序列的污染感知表示，其中序列中的每个位置都通过其在序列中的所有位置的加权组合来表示，基于它们与查询的相似度。

(5) ????=????????????????????(??????????????????????????(??,??))
(6) ????=????·??

图13. 自注意力机制计算过程

4.2.2 多头注意力

多头自注意力机制通过将对输入拆分为多个头并为每个头并行计算注意力来扩展自注意力。这使得模型能够同时捕获输入序列的不同环境因素。多头自注意力的计算公式如（7）所示：

(7) ??=??????????????????????????(??,??,??)=[??1⊕≠??2⊕…⊕???]·????

其中⊕表示拼接，????=?????????=??????????????????????????(??·??????,??·??????,??·??????)，??=1,?,?，?是头的数量。

在我们的模型中，我们将输入序列??通过乘以?组不同的权重矩阵??????、??????和??????投影到?个不同的子空间中，用于每个头??。然后，每个头使用自注意力公式计算其自己的注意力输出?????????。之后，所有头的输出???????1,?,????????沿最后一个维度进行拼接。然后，该拼接矩阵通过权重矩阵????∈???×?????进行线性变换，得到多头注意力机制的最终输出。

权重矩阵??????、??????和??????的作用是将输入投影到不同的子空间中，使每个头能够关注输入序列中的不同特征或关系。例如，一个头可能关注交通流量与空气质量指数之间的关系，而另一个头可能关注温度和湿度对空气质量的影响。最终权重矩阵????整合了所有头的信息，产生捕获输入序列多个方面的综合输出。

4.3 前馈神经网络

在多头注意力机制之后，输出进一步通过前馈神经网络（FFN）进行处理。FFN用于引入非线性，并对多头注意力的输出进行进一步特征提取。多头注意力和前馈神经网络的结构如图14所示。前馈神经网络的公式如（8）所示：

(8) ??=FFN(??)=????2·??(????1·??+??1)+??2

其中??是FFN的输入，即多头注意力机制的输出。??1∈???×??????和??2∈???????×??是权重矩阵，??1和??2是偏置向量，??是非线性激活函数，例如ReLU（??(??)=max(0,??)）。

图14. 多头注意力和前馈网络结构

第一个线性变换??1·??+??1将输入??投影到更高维的空间中（在某些情况下，隐藏层维度大于输入维度）。然后，应用非线性激活函数??来引入非线性。这种非线性变换允许模型学习数据中的复杂关系。最后，第二个线性变换??2·??(??1·??+??1)+??2将非线性层的输出投影回原始维度（FFN输入的维度）。

在矩阵维度方面，如果输入??的维度为??（模型维度，也是多头注意力的输出维度），??1的维度为??×??????，??2的维度为??????×??，其中??????是FFN隐藏层的维度。在第一个线性变换??1·??之后，输出的维度为??????。在应用非线性激活函数??之后，维度保持为??????。然后，在第二个线性变换??2·??(??1·??+??1)之后，输出维度回到??。这种维度变化过程允许FFN学习和表示数据中的复杂特征，同时保持与模型其余部分的整体维度一致性。

4.4 位置编码

自注意力机制在Transformer模型中的一个局限性是，它本身无法捕获序列中元素的顺序。由于自注意力机制以并行方式计算序列中所有位置之间的关系，它对所有位置一视同仁，而不考虑它们的相对位置。前一时间步的变化与预测值具有强相关性，例如气象数据和空气污染物数据。为了解决这个问题，我们在Transformer模型中引入了位置编码。位置编码的公式如（9）和（10）所示：

(9) PE(pos,2i)=sin(pos/10000^(2i/(d_T×D)))
(10) PE(pos,2i+1)=cos(pos/10000^(2i/(d_T×D)))

其中pos是序列中元素的位置（范围为0到???1，??是序列长度），??是位置编码向量中的维度索引（范围为0到????×??/2?1），????×??是模型维度（与输入嵌入的维度相同）。

位置编码向量????与输入嵌入具有相同的维度????×??。位置编码值使用不同频率的正弦和余弦函数计算。偶数维度（2i）使用正弦函数，奇数维度（2i+1）使用余弦函数。这些具有不同频率的函数为序列中的每个位置创建唯一的编码，可用于表示元素的相对位置。

为了将位置信息整合到输入序列中，将位置编码向量加到输入嵌入向量上。设??为嵌入的输入序列，????为位置编码矩阵。在添加位置编码后，Transformer模型的输入为??′=??+PE。该加法操作确保模型能够区分序列中不同位置的元素，这对于短期空气质量预测至关重要。

4.5 残差连接和层归一化

两个编码器子层，即多头注意力和前馈网络，各自被残差连接和层归一化所包裹。编码器层中残差连接的公式如（11）所示：

(11) H_l = F_l(H_{l-1}) + H_{l-1}

其中H_l是第l层的输出，H_{l-1}是第l层的输入，F_l表示第F_l层中子层执行的操作。

在我们的模型中，输入H_{l-1}首先通过多头注意力机制得到MHA(H_{l-1})，然后将MHA(H_{l-1})与原始输入H_{l-1}相加得到中间输出。该中间输出然后通过前馈神经网络FFN得到FFN(MHA(H_{l-1})+H_{l-1})，最后将FFN(MHA(H_{l-1})+H_{l-1})加到MHA(H_{l-1})+H_{l-1}上，得到第l层的输出H_l。残差连接允许梯度在反向传播过程中更平滑地流动，并使模型能够轻松学习恒等映射，从而保留早期层的信息，并稳定深度网络的训练。

在残差连接之后，对子层的输出应用层归一化，如（12）所示：

(12) LN(x)=(γ·x?μ)/√(σ2+ε)+β

其中x是层归一化操作的输入向量，μ是对向量中所有元素计算的x的均值，σ2是对向量中所有元素计算的x的方差，γ和β分别是可学习的缩放和平移参数，ε是一个小常数。

在Transformer模型中，层归一化应用于每个子层的输出（在残差连接之后）。层归一化对每个样本内的所有特征进行归一化，这与在批次维度上进行归一化的批次归一化不同。在序列数据的情况下，层归一化更为合适，因为它可以处理可变长度的序列，并且不依赖于批次大小进行归一化。

4.6.

## 模型预测与评估

最终Transformer编码器层的输出通过预测头生成最终预测值。可以使用线性层将输出映射到预测的污染物浓度，如公式(13)所示：

(13) $\hat{y} = U \cdot W_P + b_p$

其中 $U$ 是Transformer模型的输出，$W_P$ 和 $b_p$ 是投影层的权重矩阵和偏置向量，$\hat{y}$ 是预测值。

模型性能通过损失函数进行评估，通常使用均方误差，定义如公式(14)：

(14) $L = \frac{1}{N} \sum_{t=1}^{N} (y_t - \hat{y}_t)^2$

其中 $y_t$ 是时间步 $t$ 的污染物浓度实际测量值，$\hat{y}_t$ 是Transformer模型的预测值。

在完成使用训练数据集的训练过程后，预测模型将在测试数据集上进行验证。预测结果使用以下几个误差度量指标进行评估：

$$RMSE = \sqrt{\frac{1}{N} \sum_{t=1}^{N} (y_t - \hat{y}_t)^2}$$

$$MAE = \frac{1}{N} \sum_{t=1}^{N} |y_t - \hat{y}_t|$$

## 5. 结果与分析

在本节中，我们将通过四个不同的实验来展示所提出的预测模型的特征和有效性。在5.1节中，我们概述了实验设置和准备工作，包括在三个测试站点收集的数据集，以及用于比较的基线模型的介绍。5.2节展示了Transformer模型本身的预测性能，通过三种验证策略：单站点测试、跨站点测试和混合站点测试，旨在验证预测模型在不同城市环境中的泛化能力。本节还讨论了Transformer模型的超参数选择以及训练和验证过程。在5.3节中，我们提供了Transformer模型与其他基线模型在平均绝对误差（MAE）和均方根误差（RMSE）性能方面的比较分析。5.4节深入探讨了各影响因素的敏感性分析，研究这些因素的微小扰动如何影响空气污染物的预测结果。需要注意的是，在此扰动分析中考虑了所有影响因素。5.5节应用SHAP分析来解释训练后的模型，量化每个特征对NO?和PM2.5预测的贡献。

### 5.1. 实验设置

**(1) 数据集**

为了展示所提出的Transformer模型的有效性和特征，实验在包含空气污染物、交通相关和气象数据的数据集上进行，这些数据来源于开放共享的路灯传感器和监测站。路边空气污染受交通条件显著影响，并在一天中表现出明显的变化。此外，排放模式在不同季节可能差异很大。在香港，六月、七月和八月等夏季月份经历高温，阻碍污染物扩散。相反，在十二月和一月等冬季月份，较低的温度和较高的风速促进污染物扩散。此外，由于香港以多雨著称，空气湿度也影响污染物排放。为确保稳健性，模型在2024年6月至2025年5月收集的数据上进行验证。

在模型训练过程中，数据集被分为三部分：70%用于训练，20%用于模型验证，10%用于测试。由于三种数据类型单位不同，进行标准化处理以确保数据在尺度上的一致性。在数据集划分期间使用随机洗牌以增强模型泛化能力。鉴于数据集包含恰好一年的污染数据，严格的按时间顺序划分会不当地将测试集限制在单一季节，从而无法捕获整个时间段内气象和交通模式变化的完整谱系。通过洗牌数据，我们确保所有物理环境状态在训练和测试阶段都有代表性分布，这与我们提取复杂多维敏感性而非作为前向外推工具的主要目标一致。为了保持特征的时序完整性，在洗牌过程中时间序列输入序列的内部时序结构，即回看窗口，保持完整。此外，Transformer模型被设计为支持针对不同污染物的不同时间窗口长度，增强了其灵活性。

**(2) 测试站点**

Transformer模型的训练和验证主要集中在尖沙咀收集的数据集上，反映全年多样化的场景。为了评估模型的泛化能力，在香港岛和九龙的三个不同站点进行交叉验证测试，如图15所示。这种全面的测试站点选择提供了多样化的城市土地利用特征，用于评估模型在不同场景下的性能。

- **站点1：尖沙咀梳士巴利道**

尖沙咀是香港繁华的商业区，以高车辆排放量和大量人流著称。该地区经历大量游客活动，拥有众多旅游巴士以及密集的私人交通和公共交通路线。路灯位于两个信号化交叉口，可以普遍测量严重的路边排放和较差的路边空气质量。

- **站点2：湾仔港湾道**

位于香港岛的湾仔是香港的中枢区域，聚集了政府总部。该地区表现出明显的交通模式，具有显著的工作日-周末特征，例如工作日通勤需求增加。湾仔高楼林立可能阻碍路边空气污染物的扩散。

- **站点3：黄竹坑 Aberdeen Praya Road**

位于香港岛南部区域，黄竹坑主要承担居住功能，与其他两个区域相比交通排放较低。鉴于该区域路灯空气传感器覆盖有限，我们利用环境保护署（EPD）监测站（距离路边路灯30米）的数据来评估该特定站点的空气质量。

**(3) 基线模型**

为了验证所提出模型的有效性，我们将其与各种基线模型进行比较，包括统计模型、树形机器学习和神经网络模型。比较模型描述如下：

- **SARIMAX（带外生回归项的季节性自回归积分滑动平均模型）**：一种传统时间序列模型，对路边空气污染物预测有效，擅长捕获时间模式。
- **随机森林（Breiman, 2001）**：一种集成学习方法，通过聚合多棵决策树进行稳健预测。由于能够捕获特征间的非线性相互作用而不需要显式时间建模，它被用作环境建模的基准。
- **XGBoost（Chen和Guestrin, 2016）**：一种决策树模型，广泛应用于空气质量预测，因其对表格数据的强性能和内置特征重要性分析。类似于随机森林，它将时间滞后特征作为静态表格输入处理，不进行序列建模。
- **卷积神经网络（CNN）（Yan等, 2021）**：我们利用历史空气污染物浓度数据和相应影响因素数据作为CNN模型的输入，以捕获预测路边空气污染中的时间序列关系。
- **循环神经网络（RNN）**：RNN擅长捕获时间上的序列依赖性，适合时间序列数据。RNN在捕获长程依赖方面可能存在困难，并在训练过程中遭受梯度消失问题。
- **长短期记忆网络（LSTM）（Cheng等, 2016）**：一种循环神经网络变体，以捕获空气污染物数据中的序列模式著称。其优势在于对时间依赖性建模、处理时间序列复杂性和保持长期记忆。
- **门控循环单元（GRU）**：一种轻量级循环神经网络，与LSTM相比具有简化的门控机制，计算复杂度介于基本RNN和LSTM之间。

### 5.2. 预测结果

在本节中，我们展示并解释Transformer模型在三个测试站点预测NO?和PM2.5的性能，即尖沙咀（TST）、湾仔（WC）和黄竹坑（WCH）。

为了全面评估Transformer模型，采用三种不同的测试策略：(1) **单站点测试**：模型在一个站点的数据上训练和测试（单独TST、WC或WCH）。这种设置隔离了模型在特定条件下的性能，包括独特的交通模式、气象特征和城市形态特征；(2) **跨站点测试**：模型在一个站点的数据上训练，在完全不同站点的数据上测试，使得测试站点数据在训练期间从未见过。此策略评估模型对未见环境的适应性；(3) **混合站点测试**：模型在三个站点合并的数据集上训练，并在每个站点上分别测试。这种方法对于评估模型在三种不同城市环境中的泛化能力至关重要，这些环境在交通密度、建筑高度和微气象影响方面各不相同。

当Transformer模型在TST特定数据上训练并在TST上测试时，它在污染物方面表现出最强的性能：NO?（MAE = 9.13 μg/m3，RMSE = 12.79 μg/m3）和PM2.5（MAE = 2.24 μg/m3，RMSE = 3.13 μg/m3），如表2所列。相比之下，在WC数据集上训练模型然后在TST上测试（跨站点测试）导致明显的性能下降。同样，使用WCH训练模型进行TST预测导致准确性降低，例如NO? MAE为11.64 μg/m3和RMSE为16.14 μg/m3。混合站点训练结合三个站点的数据，为TST产生中等结果（例如NO? MAE = 9.20 μg/m3，RMSE = 12.84 μg/m3）。对于TST特定站点训练，特定站点（TST）训练可以优化预测准确性，因为模型学习了当地交通、气象和污染物之间的紧密关系。混合站点训练提供了一定程度的泛化能力，具有相当好的预测结果，而跨站点（WC/WCH）训练导致性能下降，由于环境模式不匹配。

**表2. 交叉验证结果**

| 数据集（站点） | 尖沙咀（TST） | | 湾仔（WC） | | 黄竹坑（WCH） | |
|---|---|---|---|---|---|---|
| | NO? | PM2.5 | NO? | PM2.5 | NO? | PM2.5 |
| TST | MAE 9.13 | 2.24 | MAE 9.76 | 2.75 | MAE 10.00 | 3.45 |
| | RMSE 12.79 | 3.13 | RMSE 13.03 | 3.86 | RMSE 14.16 | 4.95 |
| WC | MAE 9.68 | 2.25 | MAE 8.28 | 2.31 | MAE 9.15 | 4.57 |
| | RMSE 13.39 | 3.05 | RMSE 11.50 | 3.45 | RMSE 11.42 | 5.79 |
| WCH | MAE 11.64 | 2.42 | MAE 10.04 | 2.64 | MAE 6.07 | 3.03 |
| | RMSE 16.14 | 3.23 | RMSE 13.73 | 3.71 | RMSE 8.92 | 4.41 |
| Mixed | MAE 9.20 | 2.12 | MAE 8.24 | 2.48 | MAE 6.05 | 2.96 |
| | RMSE 12.84 | 2.91 | RMSE 11.55 | 3.61 | RMSE 8.90 | 4.39 |

与TST类似，特定站点（WC）训练的Transformer模型可以最大化PM2.5预测性能（MAE = 2.31 μg/m3，RMSE = 3.45 μg/m3）。混合站点训练产生的NO?预测结果与WC的特定站点训练一样好（MAE = 8.28 μg/m3，RMSE = 11.50 μg/m3）。黄竹坑（WCH），一个具有更开放城市形态的居住区，在污染物预测中表现出独特模式。在混合站点数据上训练的模型在三个站点数据集中实现了最低误差：NO?（MAE = 6.05 μg/m3，RMSE = 8.90 μg/m3）和PM2.5（MAE = 2.96 μg/m3，RMSE = 4.39 μg/m3）（表2）。混合站点模型在三个站点合并的数据集上训练，使模型能够从每个站点收集的多样化数据集中学习。因此，模型有可能产生与特定站点测试结果相当甚至超越的预测结果，受益于更全面的训练数据集。在跨站点测试中，每个测试站点的环境条件、交通动态和气象因素的复杂性可能导致预测准确性下降，如果模型在训练期间未接触过这些地点的特定数据。因此，所得预测可能表现出精度降低，与特定站点和混合站点测试相比效果较差。

图16显示了Transformer模型对两种污染物的训练结果。模型在混合数据集上进行训练和验证，即考虑三个站点收集的数据。图17是损失曲线，展示模型训练的快速收敛和极小过拟合（第5-30个epoch训练/验证损失 < 0.02）。R2图（图16底部）显示大多数预测误差聚集在1:1线附近，而极端污染物浓度存在离群点散布。我们提取绝对误差最大的前50个预测案例并按时间段分组进行误差分析。结果显示预测不确定性存在明显的时间模式。如图18所示，最高误差数量发生在清晨时段（0-6小时），特别是对于PM2.5。这一现象可以归因于独特的路边污染动力学，在交通量极少和接近零交通排放时发生。污染物浓度通常由背景大气条件驱动。此外，为了评估模型对极端和非典型场景的适应性，我们在具有特殊交通条件的特殊日子评估Transformer性能，例如实施交通管制措施的圣诞前夕。详细结果见表B附录。我们注意到交通变量与路边污染物浓度之间的关系并非纯粹的直接影响。它受到当地扩散条件的中介作用，包括街道峡谷效应和站点特定的微气象，这些可能无法被区域级气象数据完全捕获。因此，本研究观察到的预测误差和特征归因模式应在这些中介因素的背景中解读。

Transformer 模型训练结果

下载：下载高分辨率图片（130KB）
下载：下载完整尺寸图片

图18. 按时段划分的预测误差分析。

在全部三个测试站点上，站点专属训练在预测精度方面通常优于跨站点或混合站点训练。混合站点训练提供了一种折中方案，它在多样化环境中具备更好的泛化能力，但牺牲了站点专属模型所能达到的精度。与此同时，跨站点训练会导致一定程度的性能下降，因为模型难以适应与其训练数据存在差异的环境模式（例如交通流量、建筑密度、风场模式）。虽然站点专属数据提升了精度，但纳入混合站点数据有助于模型学习更广泛的模式，从而降低对站点特异性异常情况的脆弱性。

此外，为了验证随机打乱并不会通过数据泄漏人为提升性能，我们将随机打乱策略与严格的按时间顺序划分方式进行了对比，分别用于 NO2 和 PM2.5 预测任务。随机打乱在多个随机种子下（对于 NO2：MAE = 7.04 ± 0.10，RMSE = 10.44 ± 0.21；对于 PM2.5：MAE = 2.24 ± 0.06，RMSE = 3.13 ± 0.12）的表现与按时间顺序划分（对于 NO2：MAE = 6.96，RMSE = 10.49；对于 PM2.5：MAE = 2.31，RMSE = 3.09）几乎一致。结果表明，本研究中所选择的策略对模型的预测有效性没有实质性影响。

我们开展了消融实验，以评估不同模型超参数设置对预测性能、模型规模和训练时间的影响。结果列于表3。这些实验在配备 AMD 3700X CPU 和 24GB DDR4 内存的计算机上使用 Adam 优化器进行。基于消融实验结果，明显可见，12 小时回看窗口、8 个注意力头以及适量的注意力层数有助于提升对 NO2 和 PM2.5 浓度的预测性能。虽然提升模型复杂度可以在一定程度上改善性能，但过于复杂的模型并不总能带来更好的预测结果。例如，具有 8 个注意力头的模型通常表现良好；将注意力头数量增加到 8 以上并不能显著改善模型性能。大多数仅含 1 个注意力层的模型表现尚可，但增加更多注意力层并不能稳定地改善结果。值得注意的是，模型训练过程通常在标准计算机上于约 100 至 1000 秒的实用时间范围内完成，这使得其在实际部署中是可行的。

表3. Transformer 超参数消融实验。

| 场景编号 | 回看窗口 | 注意力头数 | 前馈层数 | 注意力层数 | 学习率 | MAE (NO2) | RMSE (NO2) | MAE (PM2.5) | RMSE (PM2.5) | 模型参数量 | 轮数 | 训练时间(秒) |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | 1 | 8 | 1 | 2 | 8 | 1e-3 | 7.95 | 11.52 | 2.52 | 3.98 | 109,634 | 17 | 652 |
| 2 | 6 | 8 | 1 | 2 | 8 | 1e-3 | 7.66 | 10.98 | 2.68 | 3.99 | 110,274 | 15 | 853 |
| 3 | 12 | 8 | 8 | 1 | 2 | 8 | 1e-3 | 7.44 | 10.85 | 2.60 | 3.98 | 80,202 | 19 | 162 |
| 4 | 12 | 8 | 16 | 1 | 2 | 8 | 1e-3 | 7.17 | 10.60 | 2.52 | 3.90 | 82,258 | 39 | 278 |
| 5 | 12 | 8 | 32 | 1 | 2 | 8 | 1e-3 | 7.04 | 10.44 | 2.45 | 3.85 | 86,370 | 50 | 312 |
| 6 | 12 | 8 | 64 | 1 | 2 | 8 | 1e-3 | 7.26 | 10.72 | 2.49 | 3.90 | 94,594 | 31 | 216 |
| 7 | 12 | 2 | 1 | 2 | 8 | 1e-3 | 7.37 | 10.81 | 2.60 | 3.95 | 111,042 | 29 | 191 |
| 8 | 12 | 4 | 1 | 2 | 8 | 1e-3 | 7.43 | 10.80 | 2.55 | 3.94 | 111,042 | 26 | 186 |
| 9 | 12 | 8 | 1 | 2 | 8 | 1e-3 | 7.21 | 10.53 | 2.41 | 3.87 | 111,042 | 30 | 215 |
| 10 | 12 | 8 | 1 | 2 | 8 | 1e-3 | 7.22 | 10.74 | 2.45 | 3.83 | 15,714 | 40 | 160 |
| 11 | 12 | 8 | 1 | 2 | 8 | 1e-3 | 8.49 | 11.70 | 3.05 | 4.37 | 111,042 | 10 | 80 |
| 12 | 12 | 16 | 1 | 2 | 8 | 1e-3 | 7.30 | 10.57 | 2.49 | 3.88 | 111,042 | 36 | 347 |
| 13 | 12 | 32 | 1 | 2 | 8 | 1e-3 | 7.36 | 10.82 | 2.55 | 3.93 | 111,042 | 20 | 416 |
| 14 | 12 | 8 | 1 | 2 | 8 | 2e-3 | 7.20 | 10.65 | 2.49 | 3.92 | 210,626 | 34 | 374 |
| 15 | 12 | 8 | 1 | 2 | 8 | 3e-3 | 7.14 | 10.51 | 2.32 | 3.76 | 310,210 | 42 | 689 |
| 16 | 12 | 8 | 1 | 2 | 8 | 4e-3 | 7.43 | 10.87 | 2.46 | 3.89 | 409,794 | 21 | 555 |
| 17 | 12 | 8 | 1 | 2 | 8 | 5e-3 | 7.15 | 10.56 | 2.51 | 3.95 | 509,378 | 32 | 876 |
| 18 | 12 | 8 | 1 | 2 | 8 | 6e-3 | 7.46 | 10.82 | 2.48 | 3.88 | 608,962 | 22 | 1025 |
| 19 | 12 | 8 | 2 | 5 | 6 | 1e-3 | 7.54 | 10.86 | 2.55 | 3.93 | 143,938 | 30 | 243 |
| 20 | 24 | 8 | 1 | 2 | 8 | 1e-3 | 7.57 | 10.78 | 2.48 | 3.89 | 112,578 | 15 | 169 |
| 21 | 36 | 8 | 1 | 2 | 8 | 1e-3 | 7.29 | 11.17 | 2.42 | 3.64 | 114,114 | 33 | 351 |

5.3. 基线模型比较

我们使用混合数据集，将所提出的 Transformer 模型与七个基线模型（SARIMAX、随机森林、XGBoost、CNN、RNN、GRU 和 LSTM）进行性能比较，评估其预测精度。所有模型均通过定制化的超参数进行优化，以确保公平比较。我们针对两种污染物分别微调了模型参数，对各种参数组合进行了彻底探索，并最终选择了表现最优的参数。两种污染物在物理成因、排放特征和影响因子上差异显著。NO2 主要由本地交通排放主导，而 PM2.5 则同时受交通排放和二次生成过程影响。分别训练模型可使框架学习到针对每种污染物的不同时间模式、特征依赖关系和注意力权重分布，而不是强迫单一模型去捕捉相互冲突的动态。这种设计提高了对两种目标污染物的预测精度、可解释性和稳定性。各模型的具体参数设置分别列于表4。

表4. 各模型的超参数设置。

| 模型 | 超参数 | NO2 | PM2.5 |
|---|---|---|---|
| SARIMAX | 自回归、积分、移动平均阶数 | 12, 1, 0 | 12, 0, 1 |
| | 季节性自回归、积分、移动平均阶数 | 1, 0, 1 | 1, 0, 1 |
| | 季节周期 | 24 | 24 |
| 随机森林 | 树数量 | 30 | 30 |
| | 最大树深度 | 3 | 3 |
| | 最大特征比例 | 0.25 | 0.25 |
| | 回看窗口 | 12 | 12 |
| XGBoost | 树数量 | 70 | 70 |
| | 最大树深度 | 3 | 3 |
| | 子采样比例 | 0.7 | 0.7 |
| | 回看窗口 | 12 | 12 |
| CNN | 滤波器数量 | 16 | 32 |
| | 卷积核大小 | 5 | 4 |
| | 池化大小 | 1 | 2 |
| | 回看窗口 | 12 | 12 |
| RNN | 每层 RNN 神经元数 | 128 | 32 |
| | 回看窗口 | 12 | 12 |
| | Dropout 率 | 0.3 | 0.2 |
| GRU | 每层 RNN 神经元数 | 128 | 32 |
| | 回看窗口 | 12 | 12 |
| | Dropout 率 | 0.1 | 0.1 |
| LSTM | 每层 LSTM 各门神经元数 | 128 | 128 |
| | 回看窗口 | 12 | 12 |
| | Dropout 率 | 0.1 | 0.1 |
| Transformer | 注意力层数 | 1 | 3 |
| | 注意力头数 | 8 | 8 |
| | 前馈层数 | 32 | 128 |
| | 回看窗口 | 12 | 12 |
| | 批量大小 | 32 | 32 |
| | 随机种子 | 42 | 42 |

SARIMAX 采用 24 的季节周期以匹配日周期，并通过指定自回归和季节性阶数来追踪 NO2 和 PM2.5 随时间的变化趋势。对于基于树的机器学习基线，随机森林和 XGBoost 将 12 小时回看窗口内的特征展平为表格输入。其超参数（包括树数量、树深度、子采样/特征比例等）如表4所示。就深度学习模型而言，CNN 对 NO2 使用 16 个滤波器、5 大小的卷积核，对 PM2.5 使用 32 个滤波器、4 大小的卷积核，并结合 12 小时回看窗口以捕捉局部时间特征。RNN 和 LSTM 虽然都采用 12 小时回看窗口，但在记忆机制上有所不同，如表4所述。Transformer 模型则凭借 12 小时回看窗口、8 个注意力头，以及针对 NO2 使用 32 个前馈层、针对 PM2.5 使用 128 个前馈层的设置脱颖而出，利用多头注意力机制来建模长程依赖关系。为了获得稳健的实验结果，所有基于树的机器学习模型和深度学习模型均使用不同的随机种子运行五次，并在表5中报告 MAE 和 RMSE 的均值与标准差。SARIMAX 模型基于历史数据得出的经验值，没有随机初始化，因此仅报告单个数值。

表5. 不同模型的预测结果。

| 模型 | NO2 MAE（均值/标准差） | NO2 RMSE（均值/标准差） | PM2.5 MAE（均值/标准差） | PM2.5 RMSE（均值/标准差） |
|---|---|---|---|---|
| SARIMAX | 14.32 | 21.97 | 6.62 | 9.07 |
| 随机森林 | 7.73 / 0.10 | 11.28 / 0.23 | 2.66 / 0.03 | 3.93 / 0.14 |
| XGBoost | 7.70 / 0.09 | 11.26 / 0.25 | 2.64 / 0.04 | 3.90 / 0.12 |
| CNN | 7.63 / 0.27 | 11.06 / 0.49 | 2.52 / 0.26 | 3.89 / 0.22 |
| RNN | 8.78 / 0.63 | 12.20 / 0.54 | 3.48 / 0.40 | 4.75 / 0.46 |
| GRU | 7.92 / 0.20 | 11.49 / 0.28 | 2.84 / 0.08 | 4.08 / 0.10 |
| LSTM | 7.54 / 0.15 | 11.03 / 0.4 | 2.63 / 0.10 | 3.88 / 0.12 |
| Transformer | 7.33 / 0.23 | 10.77 / 0.20 | 2.34 / 0.07 | 3.60 / 0.10 |

对于 NO2（一种与交通排放紧密相关的污染物），Transformer 的表现优于所有其他模型（表5）。SARIMAX 表现尚可（MAE = 14.32 μg/m3，RMSE = 21.97 μg/m3），通过追踪时间模式起到作用，但无法捕捉复杂的相互作用，例如大雨如何在交通量很高的情况下降低 NO2 浓度。对于基于树的基线模型，随机森林（MAE = 7.73 μg/m3）和 XGBoost（MAE = 7.70 μg/m3）展现了强大的竞争力。在深度学习模型中，RNN 表现最差（MAE = 8.78 μg/m3），因为它缺乏记忆长期趋势的能力，例如早高峰的排放如何累积为下午的峰值。CNN（MAE = 7.63 μg/m3）和 LSTM（MAE = 7.54 μg/m3）更为有效，其中 LSTM 的门控结构有助于其追踪更长的序列。GRU 模型实现了 7.92 μg/m3 的 MAE，其性能介于另外两种循环深度学习模型之间。表格类基线显著优于 SARIMAX 以及 RNN 和 GRU 等部分深度学习模型，这反映了它们捕捉表格特征间非线性相互作用的优势。然而，由于基于树的模型将时间滞后变量视为独立的静态输入，缺乏显式的序列建模机制，因此略逊于 LSTM 等时间序列模型。Transformer 则实现了最低的 MAE（7.33 μg/m3）和 RMSE（10.77 μg/m3），其多头注意力机制能够有效加权关键输入（例如高峰时段交通量和风速），从而建模 NO2 复杂的空间时间动态。

PM2.5 受交通和气象两方面影响，呈现出相似的趋势（表5）。SARIMAX 有所改进（MAE = 6.62 μg/m3），但由于其线性方法的局限，仍然落后，无法捕捉非线性关系，例如低风速如何滞留 PM2.5。RNN 效果有限（MAE = 3.48 μg/m3），而 CNN（MAE = 2.52 μg/m3）和 LSTM（MAE = 2.63 μg/m3）通过整合气象输入表现优异。基于树的基线在 PM2.5 上也取得了有竞争力的结果，随机森林 MAE 达到 2.66 μg/m3，XGBoost 达到 2.64 μg/m3，这两者非常接近 LSTM 的表现。然而，Transformer 实现了 2.34 μg/m3 的 MAE，超越了基于树和卷积/循环类基线，展现了其整合交通相关的一次排放和气象驱动的二次过程的能力——这正是 PM2.5 预测的关键。

Transformer 对其它深度学习模型的持续超越突显了数据驱动方法在捕捉复杂城市空气污染动态中的价值。虽然表格类模型（随机森林和 XGBoost）能够有效捕捉特征级相互作用，但它们需要将时间窗口展平为静态表格输入，从而忽略了时间序列拓扑结构。与此同时，CNN 或 LSTM 等模型通过固定的局部窗口或逐步循环处理输入。然而，Transformer 的多头注意力机制通过显式建模跨远距离时间步的关系，弥补了这些局限。这使它能够捕捉静态或受序列约束的模型所遗漏的复杂相互作用。对于以交通为主导的 NO2，它强调时间的交通模式；对于受气象影响的 PM2.5，它则为气象输入赋予适当权重。Transformer 模型在两种污染物上均实现了所有模型中最低的 MAE 和 RMSE 均值，且标准差相对较小。这不仅证实了 Transformer 卓越的预测精度，也证实了其在重复实验中具备高稳定性和低随机波动性。这些结果展示了所提出 Transformer 框架令人满意的预测能力，使其成为复杂城市环境中路边空气污染物预测的有力工具。

5.4. 敏感性分析

为了评估各单一输入参数对空气质量预测的影响，我们使用训练良好的 Transformer 模型开展了敏感性分析。该分析涉及一个迭代预测过程，用以量化受控输入扰动的效应。对于每个气象和交通特征，先从测试集序列中生成 NO2 和 PM2.5 浓度的基线预测。随后，序列前推一个时间步，并对新时间步中的某个特定特征施加预定义的扰动值，例如将交通流量增加 100 辆/小时。在模型训练和验证阶段，我们使用正弦/余弦函数来编码风向。在风向扰动的语境下，由于正弦/余弦函数在横轴上可能无法清晰表示唯一值，我们采用绝对角度来表示扰动值，如图19所示。

下载：下载高分辨率图片（718KB）
下载：下载完整尺寸图片

图19. 特征敏感性。

调整后的序列现已包含被扰动的特征，并将其重新输入模型以模拟连续预测场景。在图19中，纵轴表示基线预测与扰动预测之间的浓度变化，而横轴则表示各影响因素的扰动值。每个扰动进行 150 次比较，每次迭代随机抽取 50 条序列。实线表示浓度变化的均值，虚线表示最小和最大变化。图19中还描绘了样本的 25-75 百分位区间。为将分析限制在模型学习的数据范围内，任何导致特征超出其训练集范围的扰动都会重新采样，直到获得有效比较为止。图19中绘制的汇总结果，包括均值、百分位以及最小/最大变化，展示了每个特定特征扰动的模型敏感性。

对于 NO2（图19a），交通流量呈现正相关：车辆数量上升直接推高 NO2 浓度。相反，交通速度呈现负相关：较低的速度（例如在红绿灯前怠速）会放大 NO2。需要采取交通管理策略（如交通流量优化）来抑制由拥堵引起的 NO2 排放。在气象因素中，风速显示为负相关，即较高风速会分散 NO2，从而降低浓度；而湿度和温度由于"最后一步"扰动模拟，对变化影响较小。对于 PM2.5（图19b），交通流量呈现正相关，但相比 NO2 较弱。这反映出 PM2.5 既依赖于交通的直接排放，也依赖于较慢的过程（例如二次气溶胶生成），这些无法通过短期扰动完全捕捉。虽然湿度和温度等气象因素的短期影响较小，但风速再次呈现负相关，即较高风速通过分散作用降低 PM2.5。总体而言，交通动态主导了 NO2 的变异性，而 PM2.5 对长期气象和化学过程更为敏感。敏感性分析验证了 Transformer 模型捕捉真实世界因果关系的能力，为设计有针对性的干预措施以减少路边空气污染提供了支持。

5.5. SHAP 分析

为了进一步解释训练好的 Transformer 模型并验证其特征学习逻辑，我们开展了 SHAP（SHapley Additive exPlanations）分析，以量化每个输入特征对 NO2 和 PM2.5 预测的贡献，如图20和图21所示。对于 NO2，交通流量和速度是最具影响力的特征，高流量和低速显著提高了预测的 NO2 浓度（正的 SHAP 值），这与 NO2 以交通为主导的排放机制一致。风速起到了关键的分散作用：高风速会降低 NO2 水平（负的 SHAP 值），而温度和湿度的影响较为温和。对于 PM2.5，特征重要性模式则有显著差异。交通流量仍然是主要驱动力，但与 NO2 相比，气象因素（风向、温度、风速）的作用更为突出。

这些SHAP结果证实，Transformer模型正确地捕获了支配路边环境中NO?和PM2.5动力学的不同物理机制。图20：NO?预测的SHAP值。图21：PM2.5预测的SHAP值。

6. 讨论

自2017年智慧城市蓝图发布以来，香港在智慧城市建设方面取得了 rapid 的进展。智能路灯等项目提升了城市感知能力，提供了路况的实时直接测量数据，为数据驱动的空气污染监测与建模奠定了基础。本研究在此基础上，整合了跨部门的城市数据，涵盖多站点、多季节和多周期的观测数据，并考虑了多样的影响因素（气象和交通），构建了基于Transformer的预测模型。

实验结果表明，Transformer模型在??????三个具有不同城市形态特征的研究站点（尖沙咀、湾仔和旺角）的路边NO?和PM2.5浓度预测中达到了有前景的预测精度。与统计模型和其他深度学习方法的对比显示，Transformer模型对两种污染物均实现了最低的MAE和RMSE均值，且多次运行的标准差较小，表明其既具有预测精度也具有稳定性。Transformer还优于基于树的机器学习基线模型（随机森林和XGBoost），展示了其自注意力机制在捕捉多变量时间序列数据中长期时间依赖关系方面的价值。

特征分析揭示了与物理规律一致的规律性模式。对于NO?，交通流量和车速是最具影响力的特征，高流量和低车速会增加预测浓度，这与NO?的交通主导排放机制一致。对于PM2.5，气象因素的影响相较于NO?更为显著，这与PM2.5动力学中的二次生成过程和区域传输贡献相符。这些发现表明Transformer模型能够从整合的多传感器数据中捕捉到具有物理意义的关系。

对于该模型的现实部署，建议定期进行重新训练以维持长期性能。考虑到香港电动汽车采用比例不断增长的趋势以及相应的路边排放特征变化，建议设置固定的重新训练间隔以适应交通车队构成和污染物排放特征的长期变化。对于高度动态的商业区域，可更频繁地进行季度微调；而对于相对稳定的住宅区域，6个月的重新训练间隔可能已足够。在检测到显著数据漂移时，也可触发临时重新训练。

本研究展示的站点特定建模范式可轻松适应其他已部署智能路灯或路边传感网络的城市。一旦本地交通和环境测量数据可用，类似的基于数据的Transformer框架即可应用。然而，我们注意到，目前的三站点验证仅提供了跨站点可迁移性的初步证据。该方法适用于具有与三个研究站点相似的城市峡谷结构、交通模式和气象条件的路边站点。需要在更多站点进行验证以进一步评估空间泛化能力。

7. 结论

本研究利用香港三个路边站点多传感器智能路灯采集的一年期数据集，开发了一种基于Transformer的深度学习模型，用于路边空气污染物浓度（NO?和PM2.5）的短期预测。该模型通过自注意力机制整合了交通因素（流量、车速）和气象因素（温度、湿度、风速、风向）。在三个研究站点中，Transformer模型提供了有前景的短期预测精度，在MAE和RMSE方面优于若干选定的神经网络基线模型、基于树的机器学习基线模型和统计模型。敏感性分析和SHAP分析表明，NO?浓度对交通相关因素更为敏感，而PM2.5浓度受气象条件的影响更大，这与它们各自的排放和生成机制一致。

应注意以下几项局限性。首先，模型仅在三个站点进行了验证。虽然这些站点被选择以代表不同的城市形态和交通特征，但三个站点不足以验证广泛的空间泛化能力。在少量局部站点上训练的深度学习模型可能无法捕捉泛化到未观测区域所需的全部站点间变异性。目前，本研究中的三个站点是唯一同时具备交通、气象和空气质量传感器的位置，这在一定程度上限制了现阶段进行额外空间验证的可行性。

其次，当前模型使用总交通流量和平均车速作为输入特征，未显式考虑车队构成。智能路灯的交通传感器目前仅提供汇总的流量和速度数据，未进行分类车辆检测。未来整合车辆类别数据可能提升模型捕捉车队构成排放特定效应的能力。

第三，本研究中使用的气象数据来源于附近的区级监测站，可能无法充分代表每个路灯站点的微气象条件，特别是在复杂城市峡谷环境中，导风效应和局部湍流可能改变污染物扩散。虽然Transformer模型能从训练数据中隐式学习这些关系，但使用区级数据可能引入额外的不确定性来源。

数值结果表明，智能路灯数据能够支持在受测站点进行准确的路边空气污染预测，且随着传感网络的扩展，该框架可扩展至更多站点。未来的工作将评估其在更长时间范围内的跨年稳定性，以及其在异构场景（如工业道路和郊区高速公路）中的泛化能力，这需要额外的监测站进行验证。

**作者贡献声明**

李路兵：写作—审阅与编辑，写作—初稿撰写，可视化，验证，方法论，调查，正式分析，数据整理，概念化。杜克军：写作—审阅与编辑，可视化，验证，方法论，概念化。Faizan A. Kashmiri：写作—审阅与编辑，方法论，概念化。吴颖辉：写作—审阅与编辑，方法论，概念化。罗鸿健：写作—审阅与编辑，监督，方法论，概念化。

李路兵 | 杜克军 | Faizan A. Kashmiri | 吴颖辉 | 罗鸿健