GeoMAE：用于处理缺失值的时空图预测的掩码表示学习方法

《NEOTROPICAL BIOLOGY AND CONSERVATION》：GeoMAE: Masking Representation Learning for Spatio-Temporal Graph Forecasting with Missing Values

　　宋宇科|吴晨宇|梁玉轩|秦慧玲|张俊波|郑宇
中国福建省福州市福州大学计算机与数据科学学院

摘要
在城市智能系统中，由于恶劣的环境条件和设备故障，缺失数据普遍存在，这对下游应用的有效性构成了重大挑战，尤其是在交通预测和能耗预测领域。因此，迫切需要开发一种强大的时空学习方法，能够从不完整的数据集中提取有意义的见解。尽管已经存在一些在缺失值存在的情况下进行时空图预测的方法，但一些未解决的问题仍然存在。首先，大多数现有研究基于时间序列分析，从而忽略了传感器网络中固有的动态空间相关性。此外，缺失数据模式的复杂性进一步增加了问题的复杂性。另外，维护条件的变化导致缺失值的比例和模式发生显著波动，从而对预测模型的泛化能力提出了挑战。为应对这些挑战，本文引入了GeoMAE，这是一种带有自监督辅助损失函数的增强型时空表示学习模型。该模型包括三个主要组成部分：输入预处理模块、基于注意力的时空预测网络（STAFN）和辅助学习任务，后者受到掩码自编码器的启发，以增强时空表示学习的鲁棒性。在真实世界数据集上的实证评估表明，GeoMAE的表现显著优于现有基准模型，在MAE指标上实现了高达13.20%的相对改进（例如，在25%的缺失率下，GeoMAE的MAE为22.42，而最佳基准模型的MAE为25.01）。

引言
时空表示学习已成为一个关键的研究领域，它支持着智慧城市中的各种智能应用，这些应用在多个领域都至关重要。例如，精确的天气预报可以通过早期预防显著减轻自然灾害的负面影响；先进的交通预测系统有助于优化交通流量并大幅减少拥堵；环境监测能够快速识别城市环境中的污染热点。然而，由于传感器故障、网络中断、人为错误以及其他在数据采集、传输和存储过程中的问题，时空数据中缺失值的普遍存在使得表示学习过程变得复杂。这些缺失值深刻影响了时空数据中固有的复杂时间和空间依赖性，从而阻碍了识别潜在模式的能力。此外，尽管对深度学习模型来说插补缺失值通常是必要的，但这会增加额外的计算成本，并可能引入影响模型泛化能力的偏差。因此，有效处理缺失值并从不完整的时空数据中学习表示已成为这一领域的一个关键研究方向。

目前针对不完整数据的表示学习方法大致可以分为两种主要范式。第一种方法将缺失值插补视为一个独立的任务，使用独立的方法或模型来准确插补缺失值，然后再应用专门的表示学习模型进行预测或分类等下游任务。传统的机器学习方法（包括线性回归、K-最近邻、随机森林、聚类和主成分分析）以及先进的深度学习技术（如变分自编码器（VAE）、生成对抗网络（GAN）和去噪扩散概率模型（DDPM）已被用于数据插补。这种范式可以根据数据特征和缺失模式灵活选择适当的插补技术。然而，它需要同时训练插补模型和下游任务模型，增加了计算复杂性，而且插补模型的错误可能会传播到下游任务中，从而可能降低性能。另一种范式是直接对不完整数据进行建模以用于下游任务，简化了处理流程并减少了插补错误的影响。例如，基于决策树的模型通常将缺失值视为不需要额外处理的特殊类别。基于神经常微分方程（Neural ODEs）的模型将不规则分布的观测值视为连续过程的多次测量，尝试使用Neural ODEs来拟合数据。然而，时空数据收集中的显著时间不规律性可能会对Neural ODEs产生不利影响，而且它们的计算需求较高，难以应用于大规模数据集。TriD-MAE模型使用多周期时间卷积网络（TCNs）来捕捉不完整数据中的时间相关性，并结合掩码自编码辅助任务来增强多变量时间序列预测的表示鲁棒性。GinAR模型引入了一种具有缺失值意识的注意力机制，从不完整数据中学习时空依赖性以进行后续预测任务。

尽管取得了这些进展，但为不完整的时空数据构建有效的表示学习模型仍面临重大挑战：
1. 复杂和动态的时空依赖性
时空数据表现出复杂且动态变化的依赖性。以空气质量预测为例，监测站的读数不仅与其历史数据相关，还与附近站点的同期测量值相关。这些空间相关性具有高度动态性，受地理位置、时间因素和外部条件（如风向和风速）的影响。此外，还存在强烈的变量间相关性，例如，在特定条件下，二氧化硫和氮氧化物可以转化为PM2.5颗粒物。在缺失值的情况下有效建模这些时间、空间和变量相关性仍然是表示学习模型的一个基本挑战。
2. 多样化的缺失模式
如图1所示，时空数据表现出各种缺失模式，主要包括随机缺失、行缺失、列缺失和块缺失。随机缺失通常由偶发的设备故障或数据包丢失引起，通常影响单个时间点和位置。行缺失是指在特定周期内所有传感器读数都缺失，通常是由于系统故障造成的。列缺失是指某个位置的一个或多个变量连续缺失，通常是由于传感器维护或环境损坏引起的。块缺失表示多个传感器在较长时间内同时出现列缺失，导致大量信息丢失。真实世界数据集通常同时存在这些模式，给表示学习带来了相当大的挑战。
3. 波动的缺失条件
在实际系统中，数据的缺失与维护质量密切相关，而维护质量又直接受到运营预算的限制。在资金充足的时期，系统得到适当维护，传感器运行可靠，缺失率较低。相反，预算限制导致维护不足，设备故障增加，从而导致数据质量下降，缺失率和模式更加复杂。如图2所示，北京多年空气质量数据的缺失比例表明这种现象是由预算驱动的。当前的研究往往忽略了这些现实中的波动，通常假设固定的缺失模式和比率，可能会影响模型在现实世界应用中的泛化能力。

为了应对这些挑战并提高不完整数据的时空表示学习能力，我们提出了GeoMAE，这是一种用于处理带有缺失值的时空图数据预测的新模型。我们的方法包括三个关键组成部分：
1. 输入预处理模块：为了减轻缺失模式和比例波动的影响，我们采用了随机插补策略，并设计了一个新的掩码矩阵，以提高模型对不同程度数据不完整性的适应性。
2. 基于注意力的时空表示网络：为了应对复杂和动态的时空依赖性，我们提出了一种新的时空注意力预测网络（STAFN），它利用时空和空间注意力模块来高效捕捉复杂依赖性，并从不完整数据中学习有效的表示。
3. 带有关联性掩码的多任务优化：为了应对实际时空建模中的两个挑战（2和3），我们设计了一个自监督辅助损失函数，以引导模型捕捉物理世界的不变潜在表示。它可以在不同掩码模式下最小化相同时空点的表示向量之间的距离，从而减少缺失数据噪声的影响。

本工作的主要贡献有四个方面：
1. 我们首次全面研究了不同缺失数据条件（包括缺失率和模式）对表示学习性能的影响，并提出了针对性的架构设计来减轻这些影响。
2. 我们提出了一种新的输入处理模块，有效缓解了由不同缺失率引起的分布偏差，显著提高了模型的泛化能力。
3. 我们设计了一个自监督多任务学习框架，通过模拟缺失场景构建增强样本，提高了模型对数据不完整性的鲁棒性。
4. 在真实世界数据集上的广泛实验表明，我们的方法优于现有的最先进方法。

**缺失值插补**
时空数据由于在数据采集、处理、传输和存储过程中发生的各种错误而包含大量缺失值。已经开发出多种缺失值插补方法。最简单的方法是均值插补，它用可用数据的平均值填充缺失条目。这种方法简单且保持了数据集的均值。

**初步表**
表1显示了本文中常用的符号。我们将研究问题表述如下：
**定义1 带有缺失值的时空图预测**
给定过去时刻的连续N个读数X=[X1, X2,..., Xin]，缺失标识张量M=[M1,M2,...,Min]和静态空间关系G，预测接下来的Nout步的读数Y^=[Y^1,Y^2,...,Y^out]，其中Xi∈RNl×Din，Mi∈{0,1}Nl×Din，Yi∈RNl×Dout。特别是，M表示X中是否存在相应的缺失值，1表示缺失值。

**方法论**
GeoMAE由三个主要部分组成：输入数据处理、时空表示学习和自监督辅助任务。图3展示了主要的工作流程。GeoMAE首先使用精心设计的输入数据预处理模块构建一个提示张量Mhint，并对输入读数X进行必要的插补。然后，它使用时空注意力预测网络（STAFN）进行表示学习，以获得未来的时空数据。

**评估**
我们在一个真实世界数据集上验证了GeoMAE。第5.1节介绍了数据集、任务设置和模型超参数设置。第5.2节比较了GeoMAE与其他基准模型的主要性能指标。第5.3节对GeoMAE的多个模块进行了消融实验。

**讨论与结论**
在本文中，我们专注于带有缺失值的时空图数据建模问题，提出了一种新的表示学习模型GeoMAE来捕捉复杂和动态的时空相关性。GeoMAE在MAE指标上实现了高达13.20%的相对改进（在25%的缺失率下，GeoMAE的MAE为22.42，而最佳基准模型的MAE为25.01），这是通过从根本上解决时空图学习中的三个核心挑战实现的。其优越性源于三个集成创新，而不仅仅是单独的组件：
1. 算法1和算法2。
**作者贡献声明**
宋宇科：写作——审阅与编辑、撰写——原始草稿、可视化、验证、监督、软件、数据管理、概念化。
吴晨宇：验证、软件。
梁玉轩：写作——审阅与编辑、方法论、形式分析。
秦慧玲：写作——审阅与编辑、写作——原始草稿、可视化、资源。
张俊波：写作——审阅与编辑、监督、项目管理、方法论、资金获取。
郑宇：写作——审阅与编辑。

**利益冲突声明**
作者声明他们没有已知的会影响到本文报告工作的财务利益或个人关系。

**致谢**
本工作得到了国家自然科学基金（62172034, 72242106, 62406029）和山东省自然科学基金重大基础研究项目（ZR2024ZD03）的支持。我们感谢匿名审稿人的宝贵反馈。