在存在缺失值与辅助协变量时增强可辨识变分自编码器用于时空臭氧建模

《Environmetrics》：Enhancing Identifiable Variational Autoencoder in the Presence of Missing Values and Auxiliary Covariates for Spatio-Temporal Ozone Modeling

　　

地面臭氧的形成遵循复杂的非线性光化学过程，这些过程受多种环境因素影响，并具有强烈的时空结构。用于研究这些动态过程的环境数据通常来自多个来源，包括原位监测站和卫星观测。虽然原位数据能提供更准确的测量，但往往存在缺失值与覆盖范围有限的问题，因此纳入额外的卫星协变量是有益的。为解决时空插值与预测中的上述挑战，研究人员引入了新型基于可辨识变分自编码器（iVAE）的方法，这些方法显式整合了卫星衍生的预测因子，并在非线性盲源分离框架内处理缺失值。所提出的扩展在随机缺失（MAR）假设下保留了iVAE框架的可辨识性保证。通过使用意大利北部的日平均臭氧浓度对已建立的统计与深度学习方法进行基准测试：在插值中，所提方法实现了估计误差的显著降低；在预测中，其训练时间约为最佳竞争方法的十分之一。研究结果确立了非线性盲源分离作为环境数据时空预测的一种有前景的方法。

论文解读

对流层臭氧（O₃）是近地面大气中的二次污染物，其形成涉及氮氧化物（NO_x）与挥发性有机物（VOCs）在光照和静稳条件下的复杂非线性光化学反应，并受气象与地理因素调节。高浓度O₃对公众健康、生态系统和农业产量构成威胁，因此准确建模和预测O₃浓度对公共卫生与环境管理具有重要意义。建模数据通常来自两类来源：地面原位监测站观测与卫星反演估计。原位测量精度高，但空间分布稀疏且缺失率较高；卫星数据空间覆盖密集，但测量精度较低。现有统计方法（如克里金、回归克里金）常假设线性和平稳性，难以刻画O₃生成的非线性光化学过程；而深度学习模型（如长短期记忆网络、卷积神经网络、图神经网络）虽能捕捉非线性关系，但多数未显式处理不规则的时空结构、高比例缺失值，以及卫星协变量与原位数据的异质融合，也难以在同一框架中同时支持空间插值与时间预测。因此，需要一种能同时处理非线性交叉变量关系、不规则时空依赖、缺失观测和外部协变量的统一建模框架。非线性盲源分离（BSS）与可辨识变分自编码器（iVAE）为此提供了潜在途径，但既有iVAE时空扩展并未纳入辅助协变量，也没有针对高比例缺失观测的训练机制。为此，研究人员提出了两种iVAE扩展。

该研究发表在《Environmetrics》上。研究人员在原有iVAE框架基础上，提出了协变量增强的iVAE和针对缺失值的掩码损失iVAE。前者将卫星衍生的协变量直接引入潜变量生成模型，使编码器与辅助函数能同时利用时空位置和外部协变量；后者通过二值掩码（mask）将缺失位置从重构项中剔除，并在编码器中加入掩码变量，从而在缺失数据下仍可优化观测数据的对数似然下界。两种扩展可组合使用，并在随机缺失（MAR）假设下保持iVAE的可辨识性保证。研究以意大利北部2018—2023年154个欧洲环境署（EEA）站点的日平均O₃为核心目标变量，同时使用NO₂和PM₁₀原位数据，以及Copernicus大气监测服务（AQ-CAMS）卫星污染物与ERA5Land气象变量作为协变量。通过将数据划分为训练、验证和测试集，并与线性回归、回归反距离加权（IDW）、回归克里金、随机森林、深度克里金等基准方法比较，研究发现：在插值任务中，所提出的协变量增强与掩码iVAE方法显著降低了估计误差；在预测任务中，其训练时间仅为最佳竞争方法的约十分之一。该结果将非线性盲源分离确立为环境数据时空预测的有前景的新方向。

论文主体分为理论建模与案例应用两部分。主要技术方法包括：（1）基于iVAE的编码器-解码器-辅助函数架构，通过证据下界（ELBO）联合训练；（2）径向基函数（RBF）构造时空辅助变量，以多分辨率节点捕捉大尺度和局部时空依赖；（3）掩码损失ELBO处理缺失观测，在MAR假设下保持可辨识性；（4）协变量扩展ELBO将卫星预测因子融入潜变量条件分布；（5）使用Spearman相关分析检验缺失机制；（6）采用平均绝对误差（MAE）和均方根误差（RMSE）并基于Bootstrap方法计算不确定性区间。样本来源包括EEA空气质量管理门户、AQ-CAMS和ERA5Land数据集。

4.1 多变量时空BSS建模
通过理论分析，研究人员指出BSS通过提取独立潜变量来简化多元时空协方差建模，而传统的时空BSS受限于线性与平稳性假设；iVAE利用辅助变量实现非线性、非平稳的BSS，并可直接用于新时空位置的预测。

4.2 可辨识变分自编码器
通过ELBO推导，研究人员提出两种扩展：掩码iVAE在缺失值下以观测数据对数似然为目标，协变量iVAE将外部信息加入潜变量条件分布。两种方法均保持原有iVAE的可辨识性保证。

4.3 案例研究设置
通过对意大利北部数据集的描述与缺失模式分析，研究人员发现O₃、NO₂和PM₁₀的缺失比例分别为5.6%、11.0%和26.9%，34.5%的多元观测不完整；卫星数据完整但精度较低。数据被划分为训练、验证和测试集，用于插值和预测任务的独立评估。

4.4 性能结果
通过基准比较实验，摘要报告的结果表明：在插值中，所提方法显著降低估计误差；在预测中，训练时间较最佳竞争方法减少至约十分之一。这验证了非线性BSS在环境数据时空预测中的有效性。

在所提供的论文文本中，第5节讨论与结论的详细正文未被包含。基于摘要中的明确结论，可翻译为：所提出的扩展在随机缺失假设下保留了iVAE框架的可辨识性保证；在意大利北部的插值任务中，该方法显著降低了估计误差；在预测任务中，其训练时间较最佳竞争方法减少至约十分之一。这些结果将非线性盲源分离确立为环境数据时空预测的一种有前景的方法。