基于噪声感知的扩散算法:利用稀疏监测站数据重建城市尺度的空气质量 郑光雷(Guanglei Zheng)、 万玉才(Yuchai Wan)、 张迅(Xun Zhang)和 刘贤生(Xiansheng Liu)

《ISPRS International Journal of Geo-Information》:Noise-Aware Diffusion for City-Scale Air-Quality Reconstruction from Sparse Monitoring Stations Guanglei Zheng, Yuchai Wan, Xun Zhang and Xiansheng Liu

【字体: 大 中 小 】 时间:2026年04月16日 来源:ISPRS International Journal of Geo-Information 2.8

编辑推荐:

  摘要 可靠的空气质量监测对于城市暴露评估和环境政策至关重要,然而许多下游应用受到监测站点稀少和现实世界测量数据噪声的影响而受到限制。虽然扩散模型在概率性时空插补方面显示出潜力,但常见的条件化策略可能会遇到问题:纯基于输入的条件化可能因数据稀疏而偏离正确结果

  摘要 可靠的空气质量监测对于城市暴露评估和环境政策至关重要,然而许多下游应用受到监测站点稀少和现实世界测量数据噪声的影响而受到限制。虽然扩散模型在概率性时空插补方面显示出潜力,但常见的条件化策略可能会遇到问题:纯基于输入的条件化可能因数据稀疏而偏离正确结果,而硬性替换则可能导致干净数据与噪声数据之间的不匹配,并在反向采样过程中传播错误读数。在这项工作中,我们提出了STGPD(SpatioTemporal Graph Posterior Diffusion),这是一种将城市规模污染物重建问题表述为在图结构化时空场上进行后验抽样的概率框架。STGPD通过将可见观测值重新噪声化到当前扩散水平,并在明确的观测-噪声模型下,通过方差加权融合方法将噪声匹配的测量值与模型先验相结合,从而实现了对噪声的敏感处理和软一致性。为了改善异质城市环境中的空间外推能力,我们进一步构建了一个双视图图,该图结合了地理邻近性和来自静态描述符的功能相似性。在德国奥格斯堡的实际监测数据上对PM10和NO2进行的实验表明,在极端数据稀疏、基站故障以及合成传感器噪声注入的情况下,STGPD提供了一个稳健的概率重建框架。与基于确定性和扩散的基线方法相比,STGPD在当前评估协议下实现了更精确的重建结果(MAE/RMSE)和更准确的不确定性估计(CRPS)。

1. 引言
细粒度的城市空气质量场在地理空间决策中越来越被广泛应用,包括暴露评估、城市规划和政策评估,在这些应用中,邻里尺度的变化往往比城市范围内的平均值更为重要[1,2]。然而,从地理信息的角度来看,这些应用依赖于从稀疏、不规则且有时不可靠的观测数据中重建一个空间连续的时空场。在实际操作环境中,提供监管级监督的监测基础设施既有限又脆弱:基站部署成本高昂,由于故障、维护或通信问题导致的长时间中断很常见[3]。这在下游地理空间分析所需的空间细节与可靠测量的覆盖范围之间造成了持续的不匹配。我们在德国奥格斯堡研究了这个问题,目标是从少数固定基站中重建城市规模的PM10和NO2场,同时利用外部协变量(气象、交通)和静态地理描述符。由于仅有少量的基站时间序列数据来约束潜在的全城范围场,重建结果存在很大的不确定性,自然需要采用概率方法:我们寻求在数据和潜在噪声条件下得到一组合理的时空场分布。在包括单站可用性、长时间基站故障和传感器损坏等实际压力因素的情况下,这种考虑不确定性的场推断尤为重要,因为这些因素可能导致点估计产生误导。传统的地理统计和GIS插值方法(如Kriging [4]和IDW [5])仍然是有用的基线,但它们的平滑性和平稳性假设在异质城市环境中往往受到挑战。

最近基于学习的时空模型通过捕捉时间和空间的非线性依赖性,提供了更灵活的归纳偏差。在空气质量应用中,已经提出了基于时空注意力、图神经网络和多尺度表示的架构用于预测和推断[6,7,8,9,10,11]。关于传感器网络的相关工作,从扩散-卷积循环设计到图卷积主干网络,提供了将时间建模与空间信息传递有效结合的机制[12,13,14,15,16],而Transformer变体则为长距离时间结构提供了补充工具[17,18]。然而,这些方法大多数都是作为确定性预测器进行训练的:在极端数据稀疏的情况下,它们倾向于过度平滑未受约束的区域,长时间中断时性能会急剧下降,并且提供的不确定性估计有限或校准不当[19]。对于城市环境映射和地理信息应用来说,概率重建方法更为合适,因为它可以表示与现有证据一致的多重场实现。

扩散模型是一类特别吸引人的概率方法,因为它们可以通过采样来表示复杂的条件分布[20,21,22,23,24,25]。然而,在数据稀少的感知环境中,重建质量在反向采样过程中如何强制执行测量约束至关重要。如果观测值仅通过去噪器输入,抽样轨迹可能会偏离稀疏约束;如果采用硬性替换,将干净值插入噪声中间状态可能会导致干净数据与噪声数据之间的不匹配,并在测量不可靠时传播错误读数[26,27]。从贝叶斯的角度来看,条件化应该是在明确似然下的后验抽样,这与基于扩散的逆问题方法相联系,后者利用测量约束来指导抽样[28,29,30,31,32,33]。因此,我们提出了STGPD(SpatioTemporal Graph Posterior Diffusion),这是一种面向地理信息的后验抽样框架,用于在图结构化的时空域上进行城市规模空气质量场的重建。STGPD通过方差加权的高斯融合方法将模型建议与噪声匹配的测量值相结合,而不是刚性替换,从而在传感器噪声下实现了对噪声的敏感处理和软一致性更新。为了更好地捕捉异质城市结构,STGPD进一步构建了一个双视图图,该图结合了地理邻近性和来自多尺度地理描述符的功能相似性,使得远距离但功能相似的区域之间的信息能够传播。在涉及极端数据稀疏、基站故障和合成噪声注入的压力测试中,STGPD提高了重建精度和不确定性校准水平,同时与快速求解器和条件采样器兼容[34,35,36]。

我们的主要贡献有三个方面:我们将城市规模的空气质量重建表述为在图结构化时空域上进行基于扩散的后验抽样;我们提出了一种噪声敏感的、逐步的软一致性机制,确保测量数据的真实性而不产生干净数据与噪声数据之间的不匹配,从而提高了在不可靠传感器下的鲁棒性;我们引入了使用多尺度地理描述符的双视图(地理+功能)图构建方法,并在多种实际压力场景下展示了准确性和不确定性校准的一致性提升。

2. 相关工作
2.1. 时空插补和图神经网络
时空插补是城市计算和环境监测中的一个长期问题,其中观测数据稀少、分布不规则,并且经常在长时间内缺失。从地理信息的角度来看,这个问题对应于从稀疏的传感器网络中重建一个空间连续的环境场,这与GIS中的空间插值和环境映射密切相关。传统的地理统计插值方法(如Kriging [4]和逆距离加权(IDW),也称为Shepard插值[5],在平滑性和平稳性假设下提供了强有力的基线,但在非线性动态和强空间异质性下可能会失效。随着深度学习的兴起,图神经网络(GNNs)已成为在不规则传感器网络上建模空间依赖性的主要方法[19]。代表性的方法如GRIN [37]及相关图循环设计[38,39]将信息传递与时域建模结合在一起,以在空间和时间上传播信息。最近的工作还开发了用于城市传感器网络长距离依赖性建模的时空注意力和Transformer架构,主要用于交通流量预测等预测任务[40,41]。同时,考虑不确定性的时空GNNs明确地模拟了预测不确定性,以支持风险敏感的决策制定。尽管这些方法有效,但大多数确定性图插补器是为点估计优化的,当条件集极其稀少时可能会过度平滑,并且在部署压力下提供的不确定性估计有限或校准不当。此外,许多流程依赖于单一的图定义和粗略的静态上下文,而异质城市环境通常可以从更丰富的空间上下文和图构建中受益,后者更好地反映了地理邻近性和功能相似性。相关的IJGI研究也强调了空气质量映射中的空间非平稳性,这促使了如地理加权神经网络[42]等地理自适应学习的发展。

2.2. 用于时空学习的扩散模型
生成扩散模型作为一种概率插补和时空生成的竞争性方法,因它们能够模拟复杂的条件分布而受到重视[25]。地理信息文献中的最新进展还强调了深度学习与GIS和遥感结合在高分辨率空气污染映射中的作用[43]。CSDI [20]引入了基于条件分数的扩散方法用于概率时间序列插补,而PriSTI [21]通过在前置去噪过程中纳入空间先验,将这一范式扩展到了时空设置中。后续的进展通过自适应噪声缩放[22]、非自回归条件扩散和基于细化的策略[23]提高了条件稳定性和重建质量。同时,基于扩散和Transformer主干网络的时空基础模型为开放世界时空学习提供了可扩展的生成架构[44,45,46]。一个反复出现的挑战是在极端数据稀少情况下的测量真实性:如果观测信息仅通过网络输入,迭代抽样可能会偏离稀疏观测值,除非在整个反向抽样过程中强制保持一致性。在空气质量监测和地理空间环境映射中,这一点尤为重要,因为下游空间分析往往必须依赖于可用的基站测量数据。

2.3. 逆问题和物理信息驱动的生成建模
从稀疏测量数据中重建高分辨率时空场可以被视为一个逆问题,其中观测值是由测量算子作用在潜在场上的结果。在计算机视觉中,如DPS [28]和DDRM [29]等扩散后验抽样方法表明,扩散先验可以在反向抽样过程中受到观测约束的指导,包括对线性逆求解器的扩展[30]和高斯重构,后者阐明了似然项的作用[32]。一个补充方向是开发了物理信息驱动的扩散模型,将这些模型纳入作为软约束[45,47,48]。将这些想法直接应用于图结构化的时空感知并非易事。计算机视觉中的逆问题和修复风格的条件化通常在密集的像素网格上操作,使用相对密集的测量算子,并通常假设随机或空间连续的掩码,而地理空间感知仅在少量基站节点上提供观测值,这些节点分布在不规则的、通常是图结构化的域上,混合了传感器位置和城市网格。在这种设置中,测量算子对应于高度稀疏的采样或掩蔽,而不是密集的成像算子,因此强制观测数据的真实性必须遵循扩散噪声水平。因此,简单地将干净基站观测值替换为噪声中间状态可能会在测量不可靠时产生干净数据与噪声数据之间的不匹配,并传播错误读数。在实际基于GIS的空气质量建模中,这些问题很常见,其中地面站测量数据经常受到噪声、校准不确定性和缺失段的影响[49]。与修复风格的条件化[26]或线性损坏的变体[31]不同,我们的STGPD通过将测量值重新噪声化到当前扩散水平,并在明确的传感器-噪声参数下自适应地融合测量分支与模型的先验提案,实现了逐步、对噪声敏感的观测一致性,从而在极端数据稀少和传感器损坏的情况下保持了稳定的后验抽样。

2.4. 不确定性量化和采样效率
对于空气质量监测来说,不确定性量化与点精度同样重要,因为下游决策受益于经过校准的概率估计[50]。在城市环境映射和地理信息应用中,空间显式的不确定性通常对于暴露评估和风险感知规划是必需的,这使得经过校准的概率评估尤为重要。扩散模型通过采样提供不确定性,但确保校准和统计上有意义的概率分数(例如基于CRPS的评估)仍然是一个活跃的研究课题[51,52]。一个实际的限制是推理成本:迭代反向扩散可能代价高昂,可能会阻碍实时部署。加速采样器如DDIM [34]和DPM-Solver++ [35]减少了函数评估的次数,而条件采样策略在约束条件下提高了效率[36]。在这项工作中,我们将快速求解器与受限后验抽样相结合,以平衡推理速度、重建精确度和不确定性质量,同时保持与稀疏观测数据的严格一致性。

3. 方法论
我们首先介绍了奥格斯堡数据集和预处理流程,然后是图构建和提出的STGPD框架。研究区域和监测配置如图1所示。图2展示了所提出的STGPD框架的概述。我们关注两种与政策相关的污染物PM10和NO2。由于网格级别的真实数据不可用,基站测量是训练和评估的唯一 supervised 参考。网格节点被包括进来以支持城市规模的场重建,但除非另有说明,否则它们不参与 supervised 损失或评估指标的计算。图1. 研究区域和监测站。左:德国奥格斯堡的位置。右:包含空气质量监测站和用于提取交通协变量的交通监测位置的奥格斯堡边界。图2. STGPD的概述。该模型在融合的地理-语义图上学习条件扩散先验,并通过噪声匹配的重采样和硬性替换或噪声敏感的软融合来实施逐步观测一致性,从而实现了城市网格上的后验抽样和不确定性估计。

3.1. 研究区域和数据来源
研究区域是德国巴伐利亚州的奥格斯堡,这是一个具有异质土地利用模式和交通走廊的中等规模城市,为从稀疏监测中进行重建提供了挑战性环境,如图1所示。所有空间层(基站位置、城市边界和网格单元重心)都在一致的坐标参考系统中进行处理,图构建中使用的距离也是据此计算的。重建域包括奥格斯堡行政边界内的???? =456个网格单元重心。基于这种空间设置,我们接下来描述了用于重建的污染物测量数据和辅助协变量。从2016年7月1日至2020年12月31日,我们在四个固定监测站收集了PM10和NO2的每小时浓度数据:奥格斯堡/国王广场、奥格斯堡/布尔格斯广场、奥格斯堡/卡尔大街以及奥格斯堡应用科技大学(UAS)。由于设备故障,测量数据中存在缺失部分,在对齐后的数据集中这些缺失部分被保持为缺失状态。除了这些站点读数外,我们还结合了在整个区域内可获得的时间变化外生协变量。我们使用了包括压力、温度、相对湿度、降水量、风速和风向在内的每小时气象变量,以及奥格斯堡市提供的交通强度数据,还有日时、工作日、周末和节假日之类的日历指标。根据论文中使用的实验假设,包括留一法评估,气象和日历特征被视为所有节点(包括站点和网格单元)均可获得的协变量,这反映了它们来自密集的外部产品或行政记录的可用性。交通特征与每小时时间线对齐,并根据数据源提供的空间支持与节点相关联,例如通过将测量数据映射到附近的道路段或将它们聚合到提供商使用的空间单元中。最后,我们为每个节点分配一个静态描述符,以总结多尺度的地理背景并支持空间外推。

为了表示从局部到区域的空间背景,每个节点都被分配了一个静态描述符向量,该向量是从半径为0.1-5.0公里的同心缓冲区计算得出的。在每个半径范围内,我们计算了地理背景的统计摘要,包括与建筑环境和道路相关的土地使用类别和指标,并将它们跨尺度连接起来。这些描述符是为监测站和网格单元的中心点计算的,使得模型在从站点传播信息到网格时能够使用一致的空间背景。地理描述符是从OpenStreetMap(OSM)中提取的标准GIS层计算得出的,包括土地使用和土地覆盖数据以及与建筑环境和道路相关的指标,并在每个缓冲区半径内进行聚合。所提出的框架没有明确地引入源解析的排放清单。相反,通过交通协变量、气象作用力和多尺度地理描述符间接表示了源相关的空间异质性,这些因素共同捕捉了局部交通影响、更广泛的城市功能差异以及与交通和扩散相关的空间背景。表1总结了本研究中使用的四个固定监测站的名称和站点类型、测量方法以及质量保证/质量控制(QA/QC)信息。

3.2. 预处理和输入张量
接下来我们描述了如何将所有源对齐并转换为去噪器和后验采样过程所使用的张量。所有数据源都被对齐到一个共同的每小时时间线上。污染物通道可能会缺失,并在原始对齐数据中保留为缺失值。外生协变量通过时间戳进行同步。静态描述符根据位置与每个节点匹配。

在建模之前,我们应用标准转换和编码以确保数值稳定性和避免表示上的伪影。交通强度使用log1p进行转换。风向通过其正弦和余弦分量进行编码,以避免角度不连续性。日历特征被编码为标准时间指标。所有连续变量(污染物、气象、交通、静态描述符)都使用z分数标准化进行标准化。标准化统计仅在训练分割上计算,然后应用于测试分割以防止泄露。在实现过程中,缺失的污染物条目在标准化后用零填充,以避免传播NaN值;相应的观测掩码确保这些占位符不会影响监督目标。所有确定性指标(MAE/RMSE/??2)都以去标准化后的尺度报告。

有了对齐和标准化的输入,我们定义了本文中使用的目标字段、观测值和协变量。设T为每小时时间戳的数量,?? =???? +????为节点的数量,其中???? =4个站点,???? =456个网格单元中心点。我们定义:
- 潜在字段:??0 ∈???×??×2,包含两个对应PM10和NO2的通道。
- 观测值:?? ∈???×??×2,表示对齐后的观测张量;只有站点-节点条目被观测到,而所有网格-节点条目被视为缺失。
- 时间变化协变量:?? ∈???×??×????,包括气象变量、交通强度和日历特征,其中????表示动态协变量通道的数量。
- 静态描述符:?? ∈???×????,表示跨时间共享的多尺度地理描述符,其中????表示静态描述符通道的数量。

我们定义了一个污染物观测掩码??raw ∈{0,1}??×??×2,其中??raw,??,??,?? =1表示在节点i和时间t的原始数据集中(经过自然缺失处理后)污染物通道c是可用的,否则为0。外生协变量不进行掩码处理。

为了重新掩码评估,我们通过将??raw限制在站点节点上来定义一个仅限站点的观测掩码??st(并将所有网格-节点条目设置为零)。然后我们将观测到的站点条目分为可见掩码??keep和目标掩码??tgt,使得??keep⊙??tgt=??,??keep+??tgt=??st。我们将可见观测张量定义为??vis =?? ⊙??keep。

在重新掩码目标下的训练过程中,去噪器以(??vis,??keep,??,??,??)为条件,并且仅在由??tgt索引的目标条目上计算监督损失。关键的是,在推理(测试)期间,一致性更新仅应用于可见条目,通过设置一致性掩码??cons =??keep并在所有去噪和融合步骤中使用??vis;在??tgt中的目标条目在采样期间从不使用,仅保留用于度量计算。为了方便起见,??st在完整节点张量形状中表示,通过将所有网格节点的值设置为零。

3.3. 图构建
我们使用一个加权图?? =(??,?)来编码空间结构,其边权重定义如下。为了反映地理邻近性和功能相似性,我们融合了两个亲和矩阵:??=?????geo+(1???)????sem,(1)其中?? ∈[0,1],并且???geo,???sem在融合前被规范化到可比的尺度(例如,通过逐行规范化或其他单调重缩放)。具体来说,我们首先构建??geo和??sem,然后得到???geo =Norm?(??geo)和???sem =Norm?(??sem)。这里的Norm?( ·)表示用于在融合前将两个亲和矩阵置于可比尺度上的单调重缩放;在我们的实现中,我们应用逐行规范化,Norm?(??)????? =???????∑??′???????′+??,其中??是一个用于数值稳定性的小常数。

我们使用高斯核根据成对距离???????计算??geo:??geo?????=exp?(???2?????2???2??)。(2)这种基于邻近性的视图鼓励在城市网格上进行局部信息传播;然而,在异质性城市中,仅基于距离的连通性可能不足以捕捉远距离位置之间相似的土地使用和建筑环境特征。为了补充地理邻近性,我们引入了来自静态描述符的功能相似性亲和力。

我们根据静态描述符向量计算??sem。设????为节点i的规范化描述符。我们定义了一个非负相似性:??sem?????=max?(0,?????,?????∥?????∥∥?????∥),(3)这允许即使地理位置遥远的功能相似位置之间也存在边。在构建了??geo和??sem之后,我们使用??将它们融合,然后对结果亲和力进行稀疏化以获得一个可行的图。

为了效率和避免孤立节点,我们通过保留每个节点的前k个邻居来稀疏融合后的亲和力,通过对称化?? ←max?(??,???)来对称化,并在消息传递之前应用行规范化。为了确保监测站之间的连通性,在稀疏化过程中保留所有站点-站点边,使得站点节点形成一个完全连接的子图,同时对所有其他对进行修剪。

当建模风驱动的传输效应时,我们进一步使用风速和方向来调整边权重,以获得一个时间依赖的图????,然后进行同样的稀疏化和规范化。除非另有说明,否则??和k是在验证分割上选择的。

3.4. STGPD:时空图后验扩散
我们将重建视为在稀疏观测下的图结构时空场上的后验采样。设??0 ∈???×??×2表示所有节点和时间的潜在污染物场。观测到的站点读数遵循:??=??st⊙??0+??st⊙??,??~???(??,??2?????),(4)其中??st是由??raw诱导的仅限站点的掩码。网格节点的污染物条目被视为未观测到的;监督仅由站点条目提供,训练损失是在通过重新掩码引入的目标子集上计算的(第4节)。基于这个观测模型,我们首先在整个潜在场上学习一个条件扩散先验,然后在逆时间采样期间逐步强制执行与可见观测的一致性。

3.4.1. 带有图时空去噪器的扩散先验
我们学习了一个关于??0的条件扩散先验。对于噪声调度{????}????=1,定义???? =1 ?????和????????? =∏????=1????。前向过程是:????=√???????????0+√1????????????,??~???(??,??)。(5)我们训练了一个去噪器?????(????,??,??)来预测??,其中条件集是?? =(?? ⊙????, ????, ??, ??, ?? ?或 ????)。这里,?????(·)表示由??参数化的神经网络,用于预测扩散噪声残差??。这里,????表示条件掩码:在重新掩码协议下,???? =??keep;否则???? =??raw。去噪器遵循双向图循环设计:图消息传递捕获??上的空间依赖性,双向循环更新模拟两个方向上的时间演变。

训练最小化了污染物通道上的标准噪声预测损失:?prior=????0,??,???[∥?????????(????,??,??)∥22]。(6)当网格级别的真实值不可用时,损失仅在受监督的站点条目上评估,并且在重新掩码下,限制在由??tgt索引的目标子集上(第4节中有详细说明)。一旦学习到这个先验,我们通过逆扩散进行采样;然而,在稀疏感知下,无约束的采样可能会偏离观测到的站点值,这促使需要一个明确的一致性机制。

3.4.2. 采样期间的噪声感知观测一致性
无约束的逆扩散从学习到的先验中采样,当观测值稀疏时可能会偏离。STGPD通过在每一步更新逆轨迹来强制执行一致性,仅使用重新掩码协议指定的可见观测值。

一个标准的DDPM风格的提议是从?? →?? ?1:??prior???1=1√?????(?????????√1?????????????????(????,??,??))+???????,??~???(??,??)。(7)然后我们将这个先验提议与基于观测的项以噪声匹配的方式结合。为了避免将干净的值插入到嘈杂的状态中,并确保重新掩码评估协议无泄漏,我们首先定义了可见观测张量??vis =?? ⊙??keep,并将这些可见观测值重新噪声到当前的扩散水平:??meas???1=√??????????1??vis+√1???????????1??,??~???(??,??)。(8)硬一致性(噪声匹配)

我们在可见子集上严格强制执行一致性。设??cons =??keep是一致性掩码。更新是:?????1=??cons⊙??meas???1+(?????cons)⊙??prior???1。(9)在这种硬一致性变体中,我们将(重新噪声后的)可见观测值视为对可见子集的精确约束,即在噪声匹配后直接替换相应的条目。

当测量值嘈杂时,严格的限制可能会过度拟合损坏的读数。为了明确提出的更新的作用和范围,我们强调软一致性机制是一种在实际观测噪声假设下对后验指导的逆向采样的实用近似,而不是对完整扩散过程的确切逆时间贝叶斯后验的封闭形式推导。其目的是为了缓解由直接替换观测值引起的清洁-噪声不匹配,并在测量一致性和先验指导的去噪之间提供噪声感知的平衡。假设观测噪声具有方差??2??,步骤?? ?1的噪声匹配观测项的有效方差是:??2???1=(1???????????1)+??????????1???2??。(10)在观测条目上,我们通过高斯专家乘积将先验提议和测量项融合:??post???1=???2???1???meas???1+???2?????prior???1+???2??。(11)然后使用相同的一致性掩码??cons更新状态:?????1=??cons⊙??post???1+(?????cons)⊙??prior???1。(12)在这种解释下,??meas???1和??prior???1可以被视为两个高斯专家:前者携带噪声匹配的观测信息,而后者代表由去噪器和采样器产生的先验指导的逆向提议。它们的精确权重融合最好理解为对局部后验更新的实际高斯近似,而不是在完整生成模型下的精确贝叶斯最优性的声明。随着t的减小,扩散噪声减弱,约束自然变紧;当??2??较小时,这种解释也与????的敏感性分析中观察到的经验行为一致(第4.6.3节):适度的非零值在观测条件和先验指导之间提供了更好的平衡,而过大的值会削弱测量的贡献。除非另有说明,????是在标准化空间中定义的。当????以物理单位指定时,它通过除以相应污染物的训练分割标准差转换为标准化空间。

在重新掩码评估期间,由??tgt索引的目标条目被视为潜在变量,并从??cons和??vis中排除,以确保它们不影响逆扩散轨迹。去噪器的条件化类似地使用???? =??keep。通过这种逐步的一致性更新,我们可以使用不同的采样器来权衡速度和准确性,并通过重复的后验采样获得不确定性估计。3.4.3. 快速采样和不确定性估计方程(9)–(12)中的一致性更新在每个求解步骤之后应用,因此与不同的采样器兼容。在实验中,我们报告了在不同函数评估次数(NFE)下DDPM和加速求解器(DDIM、DPM-Solver++)的结果。根据第4.1节中的实验定义,不进行夹紧是指标准条件扩散,其中观测值仅通过去噪器输入进入(条件化),而不进行反向轨迹的显式替换或融合。不确定性通过蒙特卡洛采样获得。给定S个后验样本{??(??)0}????=1,我们通过以下方式估计矩:????[??0∣??]=1?????∑??=1??(??)0,?Var?[??0∣??]=1???1???∑??=1(??(??)0?????[??0∣??])2。(13)确定性指标使用后验均值,而概率指标(例如CRPS)是从样本集计算得出的。训练遵循标准的条件扩散公式和噪声预测目标。对于每个小批量,抽取一个diffusion步骤?? ~Uniform?({1,…,??})并绘制?? ~???(??,??)以通过方程(5)获得噪声状态????。观测到的站点污染物条目被随机划分为可见子集和目标子集,形成??keep和??tgt,且??keep +??tgt =??st。去噪器基于?? =(?? ⊙??keep, ??keep, ??, ??, ?? ?或????)进行条件化,参数??通过最小化方程(6)进行优化,监督仅限于由??tgt索引的目标条目。3.5. 实现细节为了保证可重复性,我们在这里提供了额外的实现细节。所提出的STGPD框架是在PyTorch 2.0中实现的,并在配备了单个NVIDIA V100 GPU(NVIDIA Corporation,Santa Clara,CA,美国)的工作站上进行了训练,该GPU具有24 GB VRAM,环境为Linux(Ubuntu 22.04)。核心去噪器采用双向图循环架构,隐藏维度为64。对于扩散过程,我们使用了线性噪声计划,其中?? =1000步,??1 =1 ×10?4和???? =0.02。在推理过程中,使用DPM-Solver++并设置???????? =20来加速采样,同时保持重建的保真度。所有主要超参数,包括学习率、批量大小、图构建设置和软一致性配置,都是根据验证性能选择的。报告的学习率在初步的基于验证的调整后保持不变,因为它在所有报告的实验中都产生了稳定的收敛。特别是,软一致性参数????在敏感性分析后设置在归一化空间中为0.05,以便在扩散先验指导和稀疏观测约束之间提供实际平衡。这些细节的提供是为了提高透明度,并帮助读者更好地评估所提出框架的稳健性和可重复性。4. 实验和结果我们使用Augsburg数据集评估STGPD。由于无法获得详尽的网格级真实值,定量评估依赖于在受控的重新掩蔽和留一站 out 协议下的站点级交叉验证。因此,报告的结果为在稀疏观测约束下的概率网格场重建提供了间接但实际相关的证据,而不是对所有网格级预测的详尽验证。我们从四个维度评估性能:(1)在标准稀疏性下的重建准确性;(2)通过站点保留测试的空间概括;(3)对极端数据损失的鲁棒性;以及(4)对传感器噪声注入和采样效率折中的抵抗力。在展示每个评估维度的结果之前,我们首先描述实验协议和实现细节。4.1. 实验设置为了评估时间概括,数据集按时间顺序划分,以防止未来时间戳的信息泄漏。训练、验证和测试分割遵循标准的时间顺序。确定性指标是在去归一化值(μ?g?/m3)上计算的,以反映物理量级,而概率得分(CRPS)则在归一化空间中报告,以便于比较PM10和NO2。我们使用随机重新掩蔽策略模拟稀疏监督。让??st表示可用站点条目的二进制掩码。在测试分割中,我们将观测到的站点条目随机划分为两个不相交的子集:一个用作模型输入的条件集(??keep),另一个严格用于评估的目标集(??tgt)。协议如下:输入:模型基于?? ⊙??keep以及外源性协变量(气象、交通、静态描述符)和图结构进行条件化。输出:模型重建完整的时空场;错误指标仅计算在由??tgt索引的条目上。该协议确保目标值永远不会影响采样轨迹,从而提供无泄漏的插补性能评估。除非另有说明,否则20%的可用站点条目被分配给??tgt。所有方法在测试分割上共享相同的固定重新掩蔽划分,这是用单个随机种子生成的。为了将性能置于上下文中,我们将STGPD与三类基线进行比较:1. 空间插值:IDW和Kriging,根据站点坐标和??keep中的可用观测值按时间戳应用。这些方法仅使用相同时间步的信息并忽略时间上下文。2. 确定性深度学习:BRITS [53] 和 GRIN [37],它们学习时空依赖性,但输出单点估计。3. 概率扩散模型:包括CSDI [20]、PriSTI [21]、SaSDim [22]、RDPI [23] 和 CoFILL [24] 的最先进的扩散插补器。STGPD默认使用DDPM采样器,扩散步骤数为?? =200。模型使用Adam进行训练,学习率为10?4,批量大小为32。基于验证损失应用早期停止。所有实验都是在配备了单个NVIDIA V100 GPU(NVIDIA Corporation,Santa Clara,CA,美国)的工作站上执行的。为了清晰起见,观测时间序列按时间顺序划分为训练、验证和测试子集,在模型优化和定量评估期间仅使用站点观测值作为监督参考。相比之下,城市网格节点作为未标记的推理目标,没有详尽的真实值。在标准评估协议下,只有测试期间的观测站点条目被重新掩蔽并用作目标,而自然缺失的条目除非在专门的掩蔽协议中明确涉及,否则被排除在外。4.2. 在随机重新掩蔽下的性能我们首先报告在标准随机重新掩蔽设置下的整体插补性能。表2报告了随机重新掩蔽下的确定性指标。在两种污染物下,STGPD实现了最低的RMSE/MAE和最高的??2。表3报告了基于扩散的模型的CRPS;STGPD取得了最低的CRPS,表明在相同的监督下概率质量有所提高。尽管在标准重新掩蔽设置下相对于最强基线的绝对优势适中,但重复运行的显著性测试表明这种改进在统计上是可靠的,而不仅仅是由于随机波动(图3)。此外,STGPD的实际贡献不仅限于平均点误差的降低,还在于对不确定性的感知条件化和在稀疏、噪声和部分缺失的观测设置下的更稳定行为。这种行为与该方法的设计一致,其中观测信息是通过噪声感知的软一致性而不是在反向扩散期间的刚性替换来结合的。表2. 在重新掩蔽下对伪缺失站点条目的确定性性能。粗体表示最佳结果,下划线表示第二好结果。↓表示RMSE/MAE越低越好;↑表示??2越高越好。表3. 在伪缺失站点条目上的概率性能(归一化的CRPS)(?? =20个样本)。粗体表示最佳结果;下划线表示第二好结果;↓表示越低越好。图3. 在标准随机重新掩蔽设置下的重复运行显著性测试。显示了STGPD和最强基线CoFILL在PM10和NO2上的RMSE分布。对于两种污染物,性能差异在统计上是显著的,表明观察到的改进不太可能仅由随机波动解释。4.3. 站点停机外推:留一法接下来我们通过4 folds的LOO评估来评估在完全站点停机下的空间外推。在每个折叠中,我们为整个测试时段屏蔽一个站点的所有污染物观测值,同时保持其在图中的节点。外源性协变量和静态描述符在保留的站点上仍然可用。我们评估了一个使用标准随机重新掩蔽目标训练的单一模型,不进行每折叠的重新训练。表4报告了每个折叠中保留站点的RMSE,表5报告了相应的归一化CRPS。图4可视化了绝对误差分布。STGPD在站点间的误差更低,四分位数范围更紧密,证明了在站点停机下的稳健空间外推。表4. LOO概率性能(RMSE)在保留的站点上。粗体表示最佳结果;下划线表示第二好结果;↓表示越低越好。表5. LOO概率性能(CRPS)在保留的站点上。粗体表示最佳结果;下划线表示第二好结果;↓表示越低越好。图4. LOO绝对误差分布对于PM10(a)和NO2(b)在站点S1–S4之间。STGPD显示出比GRIN和PriSTI更低的中位误差和更紧密的四分位数范围。4.4. 网格级重建的不确定性和解释我们承认,本研究中使用的基于站点的评估协议仅为完全未监控区域的网格级重建质量提供了间接证据。由于无法获得详尽的网格化真实值,因此重建的城市规模场应被解释为受站点观测限制的概率空间推断,而不是完全验证的确定性表面。为了更好地证明网格级重建的合理性,我们增加了基于扩散样本的后验标准差的不确定性分析。图5展示了后验平均场、相应的后验标准差场以及不确定性与最近的监测站距离之间的关系。后验平均场展示了在稀疏观测约束下的推断城市规模浓度模式,而后验标准差提供了对重建置信度的空间明确诊断。图5. 代表性重建案例的不确定性分析。(a)后验平均场。(b)后验标准差场。(c)后验不确定性与最近监测站距离之间的关系。三角形表示监测站。不确定性通常在观测站点附近较低,在约束较少的区域增加,为在稀疏监控条件下的网格级重建提供了可解释的置信度诊断。可以观察到明显的空间模式:不确定性通常在观测站点附近较低,并在约束较少的区域增加,特别是在站点支持稀少且需要空间外推的地方。这种行为与所提出的条件机设计一致。靠近监测站的网格节点通过软一致性更新受到更强的约束,而较远的节点则更依赖于学习到的时空先验。因此,后验不确定性自然随着外推距离的增加而增加。图5c中显示的后验不确定性与最近监测站距离之间的正相关进一步支持了这一解释。尽管这种分析不能替代直接的全场验证,但它为识别重建场在何处得到更强的观测支持以及在何处应更加谨慎地解释提供了可解释的置信度诊断。在极端稀疏的监控条件下,这种对不确定性的意识解释对于城市规模重建空气质表面的实际使用尤为重要。4.5. 对极端稀疏性的鲁棒性我们进一步测试了在极端信息损失下的鲁棒性,考虑了空间稀疏性(较少的条件站)和时间稀疏性(较少的观测时间戳)。我们将条件站的数量从四个减少到一个。对于每个?? ∈{1,2,3,4},我们选择k个站点作为条件站,并在条件掩码中屏蔽其余站点的污染物观测值,同时保持所有节点和协变量的可用性。评估是在由??tgt索引的相同目标集上进行的,因此报告的结果在不同k之间直接可比,并且与标准重新掩蔽设置一致。这种设计隔离了减少的条件信息的影响,同时保持评估目标分布的固定。我们首先通过在测试分割中屏蔽20%的观测站点条目来形成??tgt。从剩余的条目??keep中,我们进一步抽取?? ∈{100%,50%,10%,1%}的比例作为有效条件掩码。所有模型都在由??tgt索引的相同目标上进行评估。图6显示,随着信息的减少,STGPD的性能下降最为优雅,在极端空间和时间稀疏性下仍然保持与基线的明显差距。图6. 对稀疏性的鲁棒性。子图(a):PM10在空间稀疏性下(变化的观测站点数量)。子图(b):PM2在时间稀疏性下(变化的保留观测比例)。子图(c):NO2在空间稀疏性下(变化的观测站点数量)。子图(d):NO2在时间稀疏性下(变化的保留观测比例)。4.6. 效率和噪声感知的一致性最后,我们分析了采样效率和鲁棒性之间的 trade-off,重点关注在不同函数评估次数和明确的传感器噪声注入下的不同一致性策略的表现。4.6.1. 使用快速求解器的采样效率我们使用不同数量的函数评估(NFE)来评估DPM-Solver++:10、15、20、50和200。我们将Soft Clamping(STGPD)与Hard Clamping、Naive Replacement和No Clamping进行了比较。所有变体都在相同的站点-目标重新掩蔽协议下进行了评估。随着非参数先验(NFE)的降低,所有方法都显示出预期的准确性和效率之间的权衡。在测试的设置中,Soft Clamping在保持低NFE时始终提供最稳定的条件行为,并且准确性具有竞争力。这种行为与软一致性机制的作用一致,该机制旨在平衡基于观测的条件化和基于先验的降噪,而不是强制执行测量的刚性替换。

4.6.2 对传感器噪声的鲁棒性
我们在推理时向条件观测值中注入加性高斯噪声:?? = ?? + ??,其中?? ~??2(0,???noise) 且 ??noise ∈{0,5,10,20} ?μ?g?/m3。我们将Soft Clamping(自适应????)与Hard Clamping、Naive Replacement和No Clamping进行了比较。图7显示,Soft Clamping在不同噪声水平下都保持稳定,而Hard Clamping和Naive Replacement由于强制采样器适应被损坏的测量值而性能下降。这一结果与所提出的融合步骤的噪声感知设计一致,在该设计中,通过????调整对测量值的置信度,而不是将所有观测值视为同等可靠。

4.6.3 对观测噪声参数????的敏感性
为了进一步阐明软一致性参数的作用,我们在保持其他设置不变的情况下改变????,并评估重建准确性(RMSE)和概率质量(CRPS)。图8显示,适度的非零????值在观测条件化和扩散先验引导之间提供了最佳平衡。相比之下,硬约束(???? = 0)过度信任观测值,而过大的????值会削弱条件化效果并降低性能。这些结果支持将????解释为一个有效的观测噪声参数,它控制着对条件测量值的置信度,而不是对原始传感器误差的精确估计。

4.7 解释学习到的空间感受野
为了提供互补的可解释性视角,我们分析了在静态地理描述符中使用的19个缓冲半径(0.1–5.0公里)上的学习到的注意力权重。图9表明,NO2对局部环境的权重相对较大,而PM10的表现出更广泛的空间感受野,这与它们的预期空间特征一致。图9显示了NO2和PM10在缓冲半径(0.1–5.0公里)上的标准化多尺度空间注意力权重。NO2和PM10的不同尺度敏感性可以合理地归因于它们在主要城市大气过程中的差异。NO2与当地交通相关排放和近路浓度梯度有更强的关联,因此在相对较小的缓冲半径提取的描述符预计更具信息量。相比之下,PM10不仅受到当地来源的影响,还受到区域交通、背景浓度和再悬浮等更大尺度过程的影响。这可能有助于解释为什么PM10在非常小的半径(<0.3公里)处的重要性较弱,而在更大的空间尺度上有相对较强的贡献。

5. 结论
我们研究了奥格斯堡城市尺度上的时空空气质量重建问题,使用了稀疏且不可靠的站点测量数据,重点关注PM10和NO2。我们提出了STGPD,这是一个基于图的扩散框架,将重建视为受限的后验引导采样,并在整个反向扩散轨迹中强制执行观测一致性。关键组成部分是一个噪声感知的软一致性更新,它根据当前的扩散水平重新噪声化测量值,并在传感器损坏时自适应地放宽约束,避免了硬替换引入的干净-噪声不匹配问题。

在所有评估的压力场景中,包括站点可用性降低、严重的时间缺失、完全的站点中断以及明确的传感器噪声注入,STGPD显示出比评估基线更低的误差增长和更稳定的不确定性行为。这些优势是由方差加权融合带来的,它通过噪声匹配的观测项来平衡模型先验,而不是强制与可能损坏的读数完全一致。此外,学习到的多尺度空间注意力突出了不同缓冲半径上的污染物特定感受野,提供了哪些空间尺度对重建贡献最大的可解释视图。这些特性表明,STGPD可能适用于城市暴露评估和政策相关的环境映射,在稀疏监测的情况下非常有用,尽管还需要在现有案例研究之外进行进一步验证。将评估扩展到其他城市并纳入更丰富的交通感知图构造是自然的下一步。

这项研究也有一些局限性。首先,分析基于一个单一城市的案例研究,其监测网络非常稀疏,这限制了在不同城市、气候条件或监测密度制度下进行更广泛推广的力度。其次,尽管提出的框架能够重建密集的城市网格空气质量场,但无法获得详尽的网格级真实值;因此,完全未监测区域的网格级性能只能通过基于站点的验证协议和不确定性分析来间接评估。从这个意义上说,当前的评估为在稀疏观测约束下的概率空间重建提供了支持证据,而不是对所有网格级预测的详尽验证。第三,与来源相关的异质性是通过地理描述符和外生协变量间接表示的,而不是通过明确的源解析排放建模来表示的。因此,当前结果应被视为一个有前景的稀疏监测案例研究的证据,而不是普遍优越性或广泛外部推广的明确证明。未来的工作应该将分析扩展到其他城市、更密集的监测设置,并在可能的情况下结合独立的空间参考。

此外,本研究还有几个局限性。首先,分析基于一个单一城市的案例研究,其监测网络非常稀疏,这限制了在不同城市、气候条件或监测密度制度下进行更广泛推广的能力。其次,尽管提出的框架能够重建密集的城市网格空气质量场,但由于缺乏详尽的网格级真实值,因此只能通过基于站点的验证协议和不确定性分析间接评估完全未监测区域的网格级性能。在这个意义上,当前的评估为在稀疏观测约束下的概率空间重建提供了支持证据,而不是对所有网格级预测的详尽验证。第三,与来源相关的异质性是通过地理描述符和外生协变量间接表示的,而不是通过明确的源解析排放模型来表示的。因此,当前结果应被视为一个有前景的稀疏监测案例研究的证据,而不是普遍优越性或广泛外部推广的明确证明。未来的工作应该将分析扩展到其他城市、更密集的监测设置,并在可能的情况下结合独立的空间参考。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号