多数据集训练在时空问题中提升准确率：一种可解释的分析方法 Javier García-Sigüenza, Alberto Real-Fernández, Faraón Llorens-Largo, Rafael Molina-Carmona, Marc Semper

《Mathematics》：Multi-Dataset Training for Improved Accuracy in Spatio-Temporal Problems: An Explainable Analysis Javier García-Sigüenza, Alberto Real-Fernández, Faraón Llorens-Largo, Rafael Molina-Carmona and Marc Semper

　　摘要：用于预测时空数据的深度学习模型通常使用嵌入来表示构成图的不同节点，从而能够表示待预测节点的特征。虽然在深度学习的其他领域（如自然语言处理NLP）中，会在大型数据集上进行预训练以获得嵌入，然后将其应用于具有较小数据集的另一个任务，但在时空问题的情况下，这是一个更复杂的任务。因此，在本文中，我们提出了一种同时在多个图上进行训练的方法来改进嵌入，使用一种适应该问题的模型和从子图生成的数据集。为了验证该方法，我们使用用于交通预测的多个数据集生成了一个新的数据集。获得的结果表明，在多个数据集上进行训练生成的嵌入可以提高预测准确性，改善了用于验证的数据集中的指标。此外，还对嵌入进行了分析，以增加我们方法的可解释性，更好地理解这种训练如何影响生成的嵌入。

1. 引言
图神经网络（GNNs）作为一种替代方案出现，用于将深度学习模型应用于使用非欧几里得空间的问题，这些空间通过图来表示。它们为分析各种现实世界系统中存在的复杂相互依赖性提供了一个强大的范式，并被用于从社区检测[1]、金融预测[2]、推荐系统[3,4]到交通预测[5,6]等多种问题。当将图表示的空间组件与时间组件结合时，就创建了时空数据，同时表示这两个维度。GNNs和循环神经网络（RNNs）的结合是一种多功能且有效的方法，用于捕捉随时间演变的空间关系和模式。通过利用时空数据的图结构，GNNs允许在空间组件中进行复杂的分析、预测和决策制定，而RNNs则补充了这一能力，使得可以分析数据的演变过程。

然而，GNNs存在其他模型所没有的不同限制和问题，在可扩展性[7,8]、预训练[9,10]或可解释性[11,12]等领域面临特定挑战。特别是，预训练已成为其他领域（如自然语言处理NLP）中的基本技术，由于预训练能够促进高效和适应性强的NLP模型的发展，从而彻底改变了语言理解和生成领域。通过利用大规模的未标记语料库，预训练使模型能够学习捕捉复杂语言模式和语义关系的丰富语言表示。这些预训练的表示通常以嵌入的形式存在，成为后续NLP任务的基础，使模型能够在更少的标记数据和更少的计算资源下实现更高的性能。

尽管如此，由于在利用时空数据的模型中进行预训练技术更为复杂，因此错过了一个改进这些模型结果的宝贵工具。因此，在使用GNNs时，人们试图在不同的情况下使用其他技术来获取更多信息，例如数据融合[13]，它允许结合来自不同来源的信息。然而，这种替代方法仅限于存在不同数据源的问题，并且数据融合技术可以与预训练技术结合以改进预测。因此，为了尝试解决基于GNN的模型的这一限制，提出了不同的方法来进行微调，最近还有提示调优[14]，尽管它们受到无法使用额外数据的限制。因此，我们解决的问题是缺乏允许在异构图上训练嵌入的时空模型的预训练方法。

为此，本研究旨在探索一种方法，该方法允许进行这种预训练，通过生成包含更多信息和上下文的更精细的嵌入来帮助知识的泛化。为此，我们提出在从不同数据集生成的多个子图上进行训练，并使用为此目的适配的模型。这样，由于模型必须在有限的过滤器集上对更多上下文进行预测，模型必须生成更适应节点特征的嵌入以调整预测。

需要注意的是，虽然我们使用了一个经过修改的模型，使其能够同时训练多个子图，但这种方法也应适用于其他时空问题的模型。因此，在这项工作中，我们旨在证明同时使用多个数据集进行训练是否会产生更具信息量的嵌入，以及这些转移的嵌入是否能够提高模型性能。为此，我们使用我们提出的模型作为案例研究。此外，为了更好地理解同时训练多个数据集对结果的影响，我们对嵌入进行了分析。这为我们提供了更可解释的结果，有助于解释所获得的结果。通过这种方式，我们可以验证我们的方法，该方法与其他GNN中的预训练方法不同，例如链接预测或其他与后续要执行的任务无关的辅助任务。在我们的案例中，我们在相同的预测任务上对来自多个领域的子图的嵌入进行预训练，添加来自不同领域的新数据，但专注于相同的任务。

为了介绍我们的提案，文章的组织结构如下：第2节介绍了时空预测和微调的基础知识以及使用的数据集。第3节介绍了所使用的模型以及生成新数据集和进行微调的方法。第4节分析了获得的结果。然后，在第5节中，我们分析了获得的嵌入并寻找解释它们包含的信息的模式。第6节讨论了获得的结果、限制和未来的工作。最后，第7节提出了结论。

2. 前言
在本节中，我们介绍了时空预测问题，详细介绍了所选的模型，然后定义了GNNs中微调的优势和限制，最后介绍了本文选择的数据集。

2.1. 时空预测
许多架构，如卷积神经网络（CNNs）和RNNs，可以在欧几里得空间中识别模式。然而，许多任务需要在非欧几里得域中对数据进行建模，这些域通常表示为图。这种数据表示方式的改变引发了许多深度学习模型难以处理的范式转变。例如，对于CNNs来说，应用卷积变得具有挑战性，因为图中的节点可以具有可变的邻居数量。图神经网络被引入来解决这些问题。在不同的GNN变体中，基于图卷积网络（GCNs）[15]的变体目前使用最广泛，它们依靠一组卷积从不同节点中提取特征。当图与时间序列形式的时间组件结合时，就产生了时空问题，这些问题存在于不同的任务中，如交通预测。将GNNs和循环神经网络（RNNs）结合起来是一种多功能且有效的方法，用于捕捉随时间演变的空间关系和模式。通过利用时空数据的图结构，GNNs允许在空间组件中进行复杂的分析、预测和决策制定，而RNNs则补充了这一能力，使得可以分析数据随时间的演变。

然而，GNNs存在其他模型中没有的不同限制和问题，在可扩展性[7,8]、预训练[9,10]或可解释性[11,12]等领域面临特定挑战。特别是，预训练已成为其他领域（如自然语言处理NLP）中的基本技术，由于预训练有助于开发高效和适应性的NLP模型，从而彻底改变了语言理解和生成领域。通过利用大规模的未标记语料库，预训练使模型能够学习捕捉复杂语言模式和语义关系的丰富语言表示。这些预训练的表示通常以嵌入的形式存在，成为后续NLP任务的基础，使模型能够在更少的标记数据和更少的计算资源下实现更高的性能。

尽管如此，由于在利用时空数据的模型中进行预训练技术更为复杂，因此错过了一个改进这些模型结果的宝贵工具。因此，在使用GNNs时，人们在不同情况下寻求使用其他技术来获取更多信息，例如数据融合[13]，它允许结合来自不同来源的信息。然而，这种替代方法仅限于存在不同数据源的问题，并且数据融合技术可以与预训练技术结合以改进预测。因此，为了尝试解决基于GNN的模型的这一限制，提出了不同的方法来进行微调，最近还有提示调优[14]，尽管它们受到无法使用额外数据的限制。因此，我们解决的问题是缺乏允许在异构图上训练嵌入的时空模型的预训练方法。

为此，本研究旨在探索一种方法，该方法允许进行这种预训练，通过生成包含更多信息的更精细的嵌入来帮助知识的泛化。为此，我们提出在从不同数据集生成的多个子图上进行训练，并使用为此目的适配的模型。这样，由于模型必须在有限的过滤器集上对更多上下文进行预测，模型必须生成更适应节点特征的嵌入以调整预测。

需要注意的是，尽管我们使用了一个经过修改的模型，使其能够同时训练多个子图，但这种方法也应适用于其他时空问题的模型。因此，在这项工作中，我们旨在证明同时使用多个数据集进行训练是否会产生更具信息量的嵌入，以及这些转移的嵌入是否能够提高模型性能。为此，我们使用我们提出的模型作为案例研究。此外，为了更好地理解同时训练多个数据集对结果的影响，我们对嵌入进行了分析。这为我们提供了更可解释的结果，有助于解释所获得的结果。通过这种方式，我们可以验证我们的方法，该方法与其他GNN中的预训练方法不同，例如链接预测或其他与后续要执行的任务无关的辅助任务。在我们的案例中，我们在相同的预测任务上对来自多个领域的子图的嵌入进行预训练，添加来自不同领域的新数据，但专注于相同的任务。

为了介绍我们的提案，文章的组织结构如下：第2节介绍了时空预测和微调的基础知识以及使用的数据集。第3节介绍了所使用的模型以及生成新数据集和进行微调的方法。第4节分析了获得的结果。然后，在第5节中，我们分析了获得的嵌入并寻找解释它们包含的信息的模式。第6节讨论了获得的结果、限制和未来的工作。最后，第7节提出了结论。

2. 前提
在本节中，我们介绍了时空预测问题，详细介绍了所选的模型，然后定义了GNNs中微调的优势和限制，最后介绍了本文选择的数据集。

2.1. 时空预测
许多架构，如卷积神经网络（CNNs）和RNNs，可以在欧几里得空间中识别模式。然而，许多任务需要在非欧几里得域中对数据进行建模，这些域通常表示为图。这种数据表示方式的改变引发了许多深度学习模型难以处理的范式转变。例如，对于CNNs来说，应用卷积变得具有挑战性，因为图中的节点可以具有可变的邻居数量。图神经网络被引入来解决这些问题。在不同的GNN变体中，基于图卷积网络（GCNs）[15]的变体目前使用最广泛，它们依靠一组卷积从不同节点中提取特征。当图与时间序列形式的时间组件结合时，就会出现时空问题，这些问题存在于不同的任务中，如交通预测。为了结合空间和时间预测，将GNN架构与RNN结合，从而得到一个可以利用两个维度信息的模型。

有多种模型用于预测时空问题，展示了可用的方法多样性。一些最广泛使用的模型包括扩散卷积循环神经网络（DCRNN）[16]，它通过图上的双向随机游走来捕获空间依赖性，并使用编码器-解码器架构来建模时间依赖性。Graph WaveNet [17] 使用扩张的一维卷积来提取时间信息，依靠GCN层来处理空间结构。时空图卷积网络（STGCN）[18] 由多个块组成，这些块结合了卷积和门控线性单元（GLU）以及图卷积网络层来学习时间和空间信息。时空图卷积网络（STFGNN）[19] 通过跨多个空间和时间图应用并行操作来学习潜在的时空依赖性，这些图是通过从数据生成的时间图序列获得的。时空图常微分方程网络（STGODE）[20] 使用张量微分方程来建模动态的时空依赖性，从而能够检测复杂和长范围的时空相关性。自适应图卷积循环网络（AGCRN）[21] 可以学习节点特定的特征并推断数据中的相互依赖性。

尽管使用GNNs可以分析图中存在的信息，但它也带来了其架构固有的限制。在GNNs的不同限制中，知识转移的难度使得使用预训练和后续微调等技术变得复杂，这是本文关注的问题。

在现有的用于预测时空数据的模型中，我们使用了AGCRN [21]，因为它能够在模型训练期间学习节点的邻接矩阵和嵌入，提供了灵活性。此外，由于邻接矩阵是在训练期间生成的，它允许我们在创建子图时消除重新计算边的需求，如第3.3节所示，通过从它们的特征中推断节点之间的相关性。基于AGCRN，我们提出了一个修改版本，我们称之为DynAGCRN，在该版本中，模型的操作以及嵌入的使用都进行了修改，以便能够同时在不同的图上进行模型训练。因此，模型可以同时在不同的数据集上对嵌入进行预训练，从而能够检查其对最终预测的影响。

2.2. 微调
微调是一种在机器学习中使用的技术，特别是在深度学习背景下，用于提高预训练模型在新任务或相关数据集上的性能。使用这种技术时，预训练模型最初会在大型数据集上针对特定任务进行训练，例如图像分类或自然语言处理。这个预训练模型已经学会了从原始训练数据中识别模式和通用特征。

当新任务或数据集与模型预训练的原始任务或数据集相似时，微调特别有用。通过利用从原始数据集学习到的通用知识和特征，微调使模型能够适应并专门针对新任务的特性，通常与从头开始训练模型相比，可以提高性能和效率。

然而，在GNNs的情况下，由于模型的架构，预训练以及因此的微调比在NLP或计算机视觉领域更为复杂[9]。这导致了各种方法的开发，以改进预训练过程[22]。为了进行这种预训练，遵循了两种技术——微调，以及最近的提示调优，这是一种将预训练模型适应于特定下游任务的替代方法，这些任务是从先前任务的输出中解决的。

提示调优与微调的不同之处在于，微调冻结预训练模型并添加一些额外的层以将知识适应新任务，而提示调优则冻结预训练模型的参数并修改输入数据以适应问题[14]。当将微调应用于GNNs时，常见的预训练任务通常是预测节点之间的链接，然后在新任务中使用这些知识。相比之下，在本文中，我们提出了一种替代方法，即不是在更大的数据集上学习另一个任务，然后尝试将这种知识转移到新任务中，而是在同一问题的修改版本上训练模型。为此，模型在从多个数据集生成的不同子图上进行训练，并同时在这几个数据集上进行训练，然后进行微调，重用获得的节点嵌入。

2.3. 数据集
在各种时空任务中，交通预测是最常见的任务之一。在这种情况下，空间维度通过将交通分布建模为图的节点来表示，其中节点对应于沿道路网络放置的雷达。一些最常用于交通预测的数据集包括PeMSD3、PeMSD4、PeMSD7和PeMSD8[23]，这些数据集均来源于加利福尼亚州交通部运营的性能测量系统（PeMS）。这些数据集是从传感器网络中收集的，包含了每个传感器的交通流量值，每5分钟测量一次。这些数据集在传感器数量和覆盖的时间范围上有所不同。PeMSD3包含358个传感器，时间跨度为2018年9月9日至2018年11月30日；PeMSD4包含307个传感器，时间跨度为2018年1月1日至2018年2月28日；PeMSD7包含883个传感器，时间跨度为2017年5月1日至2018年8月31日，是节点数量最多的数据集；最后，PeMSD8包含170个传感器，时间跨度为2018年7月1日至2018年8月31日。为了更好地理解这些数据集，我们添加了可视化图表，以便快速比较这四个数据集的规模和时间模式。特别是在图1中，我们展示了值密度；在图2中，我们展示了平均每日流量分布。通过这种方式，我们可以观察到不同数据集在范围、分散度和周期性方面的差异。

3. 问题定义
在本节中，我们将定义AGCRN的特征，然后解释我们对模型所做的修改，以便能够同时训练多个图，从而产生DynAGCRN。接下来，我们将解释如何从子图中创建组合数据集以及嵌入转移的过程。

3.1 AGCRN
如上所述，该任务涉及时间和空间数据成分。因此，为了获得一个能够利用这两种类型信息的模型，需要将用于处理空间信息的图卷积网络架构与用于处理时间信息的门控循环单元（GRU）[24]架构结合起来。图卷积网络（GCN）是一种专门为处理图结构化数据而开发的神经网络架构。与通常适用于图像或序列等网格形状数据的传统神经网络不同，GCN非常适合处理依赖于图中节点之间关系和连接的问题。GCN的核心操作是图卷积，这一操作借鉴了图像处理中的卷积技术。该操作收集来自相邻节点的信息，然后根据这些聚合信息更新目标节点的表示。

GRU是一种循环神经网络架构，旨在解决标准RNN的一些缺点，例如在序列数据中学习和保持长距离依赖性的挑战。GRU的定义特征是其门控机制，该机制控制信息在网络中的流动方式。GRU在保留过去信息与整合新更新之间取得平衡，使模型能够适应性地捕捉序列中的依赖关系。与长短期记忆（LSTM）网络相比，GRU使用更简单的结构，计算效率更高，且参数更少。

设???(??,??)为一个无向图，其中V表示节点集，E表示边集，A表示G的邻接矩阵。由于该模型基于图卷积网络构建，其图卷积操作近似于一阶切比雪夫多项式展开，因此可以将其扩展到多维图，如下所示：
??=(????+???12???????12)????Θ+??,
(1)
其中?? ∈????×??表示GCN的输出，???? ∈????×??是?? ×??的单位矩阵，?? ∈????×??是度矩阵，?? ∈????×??是G的邻接矩阵，?? ∈????×??是GCN层的输入，Θ ∈????×??是GCN层的权重，?? ∈????是GCN层的偏置。??、??和f分别表示节点数、输入变量和输出变量。

自适应图卷积循环网络（AGCRN）[21]基于GCN和GRU架构，并添加了节点自适应参数学习（NAPL）和数据自适应图生成（DAGG）模块来完成整体设计。NAPL模块的目标是通过从共享的权重和偏置池中为每个节点生成特定于节点的参数来学习节点模式，而不是使用传统GCN的标准参数。模型不是为每个节点分配一组参数Θ ∈????×??（这将导致?? ×?? ×??个参数并可能增加过拟合的风险），而是学习两个较小的矩阵并通过将它们相乘来生成Θ ∈????×??×??。具体来说，模型的生成方式如下：
Θ=??·??,
(2)
其中?? ∈????×??表示嵌入矩阵，?? ∈????×??×??是一组共享权重，d是嵌入维度，d小于n且与节点数无关。使用这两个矩阵减少了模型必须学习的参数数量。

同样的思路也应用于偏置项b，即：
??=??·????,
(3)
其中????表示一组共享的偏置。

相比之下，DAGG模块从数据中推导出节点之间的依赖关系，并生成一个定制的图，揭示隐藏的依赖关系。模型计算节点之间的依赖关系矩阵，然后将其用作图的拉普拉斯矩阵??。从这个拉普拉斯矩阵中可以获得邻接矩阵和度矩阵。因此，拉普拉斯矩阵???12???????12被重新定义为：
??=???12???????12=???????????????(?????????(??·????)),
(4)
其中ReLU用于避免负值，softmax用于对其进行归一化。

然而，AGCRN无法处理动态图。因此，我们对模型进行了修改，生成了一个新版本，称为DynAGCRN，它是针对具有动态图的问题的AGCRN的适配版本，在这种图中节点可以变化。

3.2 DynAGCRN
DynAGCRN是AGCRN的修改版本，其中E被重新定义为?? ∈????×??×??，s是批量大小。这一修改导致Θ和b也相应地发生变化，因为它们依赖于E，从而可以根据构成批量的不同图采用不同的值。最终，当所有空间和时间成分集成后，模型的定义为：
???=(????+???????????????(?????????(???????))),????=???(????[??:,??,????1]????????+???????),????=???(????[??:,??,????1]????????+???????),???=????⊙^???+(1?????)⊙^????1,^???=tanh?(????[??:,??,??⊙????1]??????^?+?????^?),
(5)
其中E表示节点嵌入，????是更新门，????是重置门，??:,??对应于步骤t的输入，???是步骤t的输出，^???是步骤t的候选激活函数，W、U和b是模型学习的参数，??表示Sigmoid函数，⊙表示Hadamart积，[ ·]表示连接操作符。

通过这种方式，模型预计能够对具有不同节点的不同图进行预测，下一节将解释如何使用子图来实现这一点。因此，我们希望使用相同的共享权重W对更多案例进行预测，这些权重生成了用于调整预测的过滤器Θ。为了便于实现这一点，模型必须生成更能代表节点特征的嵌入，以便后续进行微调。

3.3 使用子图进行训练
为了生成一个统一PEMSD3、PEMSD4、PEMSD7和PEMSD8数据集的数据集，采用了一种基于创建n个节点子图的方法。在无法创建大小为n的子图的分区中，会从前一个分区中添加所需的节点数。例如，在由170个节点组成的PEMSD8中，对于n = 100，将生成两个子图，一个包含节点0到99，另一个包含节点69到169。

所有子图必须具有相同的n值，因为尽管DynAGCRN允许使用具有不同节点的不同图进行训练，但子图必须具有相同的大小。关于生成的子图，由于DynAGCRN在训练过程中从节点嵌入计算拉普拉斯矩阵，因此不需要定义邻接矩阵。节点通过一个唯一的整数值来标识，该值对应于原始数据集中分配的值加上数据集中已存在的节点数。因此，如果新数据集中的第一个数据集是PEMSD3，节点编号将从0到357；当插入PEMSD4时，节点编号将从358到664。通过允许DynAGCRN使用具有不同节点的图进行训练，模型将能够同时学习不同节点的嵌入。这样，我们提出了一种替代传统的GCN微调方法的方法。因此，模型不是在更大的数据集上学习另一个任务，然后尝试将这些知识转移到新任务（例如预测节点之间的边）上，而是在同一问题的修改版本上进行训练，使用子图而不是原始图进行预测。

为了避免学习到的嵌入包含AGCRN模型未见过的数据信息并导致结果失真，新数据集的训练、验证和测试划分是在组成新数据集的每个数据集上分别进行的，这样在某些原始数据集上训练的模型将在与新创建的数据集相同的数据上进行训练。

尽管我们提出了DynAGCRN来测试我们的方法，因为我们认为它是最合适的，但其他使用节点嵌入的模型也可以使用相同的原则。例如，其他模型如Graph WaveNet或STGCN也可以适应使用相同的技术，以便未来的模型可以在不同的子图上进行训练，然后在不同的数据集上进行微调。这需要修改模型架构，相当于在AGCRN中将E重新定义为?? ∈????×??×??以获得DynAGCRN。

3.4 嵌入转移
为了进行微调，决定将DynAGCRN模型中的嵌入转移到要训练的AGCRN模型中，在训练模型的其余部分时冻结学习到的嵌入。做出这一选择是为了测试嵌入转移的影响，而不添加其他元素（如权重池），从而能够隔离预训练嵌入的影响。在转移嵌入时，必须调整不同学习到的嵌入的ID，因为当生成新数据集时，原始ID会被修改，以便它们与新数据集中的ID不匹配。图3显示了DynAGCRN训练过程中的流程、随后将嵌入转移到AGCRN以及在新数据集上训练模型的过程。图3中的文本表示节点ID的变化。数据用绿色显示，模型用橙色显示。

4. 结果
4.1 度量标准
用于比较的度量标准包括平均绝对误差（MAE）、均方根误差（RMSE）和平均绝对百分比误差（MAPE）。这些是最常用的度量标准，用于比较预测结果。这些度量标准的定义如下：
MAE=1?????∑??=1|?????^????|,
RMSE=√√ √ √ √?1?????∑??=1(?????^????)2,
MAPE=100%?????∑??=1|?????^????|????,
(6)
其中N是数据量，????是真实值，^????是预测值。

4.2 训练
首先，生成了新的组合数据集，以便同时在不同子图上训练DynAGCRN。需要强调的是，尽管训练集、验证集和测试集已经分开（训练样本在前面，验证样本在中间，测试样本在最后面），但在从数据集中提取样本时进行了随机排序。通过这种方式，在批量处理中，可以同时处理来自不同原始数据集的案例。尽管使用子图进行训练改变了数据的表示方式，但在新数据集中要解决的问题与原始数据集中的问题相同：预测每个节点的交通流量。因此，尽管数据编码发生了变化，生成的嵌入仍然必须针对同一类型的问题进行优化。关于用作输入的时间步数，使用了12个时间步，每个时间步覆盖5分钟，代表1小时的交通流量。关于要预测的值，使用了以下12个时间步，因此模型尝试预测每个节点接下来1小时的交通流量。使用子图训练的模型与使用原始数据集训练的模型之间，要预测的信息没有差异。为了衡量交通流量的预测误差，使用了MAE作为损失函数。这个函数也被用作提前停止的标准，即在验证集上连续五个周期没有减少MAE后，训练结束，从而监控并限制潜在的过拟合。训练集、验证集和测试集分别按照60%、20%和20%的数据比例进行划分。其他使用的超参数可以在表1中看到。表1显示了用于训练DynAGCRN的不同数据集的超参数。由于DynAGCRN模型是在子图上训练的，它无法准确预测原始图。因此，为了检查预训练对学习到的嵌入的影响，提取了这些嵌入并对AGCRN架构进行了微调，只有转移的嵌入被冻结，而其他参数由模型从头开始学习。为了进行这种训练，需要编辑节点的ID，因为它们已经被修改以生成组合数据集。训练也使用了与DynAGCRN相同的提前停止标准以及相同的数据集划分方式（训练集、验证集和测试集）。这样，在新的训练过程中，模型可以利用暴露在更多空间和时间上下文中的嵌入，以提高泛化能力，并减少在每个数据集中从头开始学习表示的需求。此外，这种二次训练收敛得更快，缩短了训练时间，并在需要频繁重新训练模型的情况下提供了更多的好处。

4.3. 比较
表2展示了第2.1节中介绍的不同模型之间的比较，以及应用了微调的AGCRN版本（我们称之为AGCRN-FT）所获得的结果。为了使比较尽可能准确，AGCRN和AGCRN-FT使用的超参数是相同的，唯一的区别在于嵌入。比较结果可以看出，应用微调后，在所有情况下都获得了更好的结果，除了PeMSD3和PeMSD7的MAPE值几乎相同。因此，微调的应用提高了准确性，其提高程度与模型之间的差异相当。

表2. PeMSD3、PeMSD4、PeMSD7和PeMDS8中不同模型获得的指标比较。每种数据集和指标组合的最佳结果以粗体显示。值得注意的是，微调版本差异最小的情况是PEMSD7，这是节点数量最多的数据集，其中信息的利用可能最少。此外，当未微调的版本优于微调版本时，几乎没有差异。然而，当微调版本取得更好结果时，在大多数情况下这种差异是显著的。因此，可以观察到预训练如何影响模型学习到的嵌入，使其在多个数据集中获得更高的准确性，而在其他情况下没有负面影响。

此外，还使用了配对t检验来评估AGCRN-FT相对于AGCRN的改进是否一致。在PEMSD3、PEMSD4和PEMSD8中，观察到AGCRN-FT版本有统计学上的显著改进。相比之下，在PEMSD7中，t检验没有提供AGCRN-FT版本改进的统计证据，因为p值不允许拒绝零假设。这一结果与表2中的观察结果一致，即PEMSD7的改进最不显著。因此，我们验证了预训练改善模型在不同数据集上结果的能力。

5. 嵌入分析
尽管前一节显示的结果表明，在多个数据集上进行训练产生了更好的嵌入，但这些结果并没有显示嵌入中包含的信息。为了更好地理解在多个数据集上训练对生成嵌入的影响，对这些嵌入进行了分析。通过这种方式，我们希望对该技术进行更可解释的分析，从而更好地理解所获得的结果。

5.1. 可视化
首先，为了更好地理解使用DynAGCRN进行预训练节点嵌入的效果，进行了PCA处理，将嵌入降维到二维和三维。结果分别显示在图4和图5中。因此，可以基于这些可视化结果进行初步分析。观察图4可以看出，PEMSD3、PEMSD4、PEMSD7和PEMSD8节点的嵌入无法简单地分开，也无法创建确定节点属于哪个原始数据集的簇。然而，如图的右下角所示，这一部分主要由PeMSD7的嵌入占据，这些嵌入显示为黄色。在这个区域，虽然也有其他数据集的嵌入，但它们是少数。

图4. DynAGCRN学习的嵌入的二维表示。绿色表示PEMSD3的嵌入；蓝色表示PEMSD4的嵌入；黄色表示PEMSD7的嵌入；红色表示PEMSD8的嵌入。
图5. DynAGCRN学习的嵌入的三维表示。绿色表示PEMSD3的嵌入；蓝色表示PEMSD4的嵌入；黄色表示PEMSD7的嵌入；红色表示PEMSD8的嵌入。

为了尝试在不同数据集的节点之间找到更明确的分隔，进行了三维可视化，如图5所示。在这种情况下，仍然没有明确的界限可以基于原始数据集对节点进行分组。此外，在这种可视化中，可以更清楚地看到PeMSD7嵌入占据主导地位的区域。

这些结果一方面表明，PeMSD7在整个嵌入域中分布最广，因为其嵌入出现在所有区域。此外，有一个区域它占据了主导地位。这可以解释为什么在这个数据集中没有改进，因为其中的数据已经覆盖了所有数据集的域。另一方面，其他数据集的嵌入包含在同一个区域内，右下角的情况较少。因此，将它们全部一起训练可能有助于更好地定义它们的边界，因为它们被包含在一个明确的区域内。这种可视化分析可以提供关于在多个数据集上训练对嵌入影响的见解。然而，它的局限性在于没有显示嵌入中包含的信息。因此，为了补充这一点，进行了第二次分析，将嵌入中的信息与不同的指标相关联，以获得更可解释的结果。

5.2. 嵌入信息
为了更好地解释嵌入的内容并帮助理解它们编码的信息，我们从每个节点的时间序列中获取了一组指标。然后，我们尝试仅使用每个节点的嵌入来预测这些指标，使用了逻辑回归和岭回归模型。在逻辑回归中，由于这是一个分类问题，我们使用准确性来衡量正确预测的百分比。而在岭回归中，由于这是一个回归问题，我们使用R2来量化解释的变异性。我们使用的指标包括：
- 平均值：节点的平均流量。
- p90：节点流量的第90百分位数。
- p99：节点流量的第99百分位数。
- 变异性：
- 标准差：节点流量的标准差。
- 日常模式：
- daily_amp：平均日流量最大值和最小值之间的差异。
- peak_time：平均日流量达到最大值的时间。
- log_peak_ratio：以对数尺度衡量峰值相对于当天典型水平的大小。
- 周期性：
- autocorr_1d：具有1天滞后的序列的自相关性。
- 类型学：
- peak_band：根据平均日流量的峰值出现的时间（早晨、下午或其他）进行分类。
- 域：
- membership：每个嵌入属于哪个数据集。

首先进行的测试检查了域成员资格，预测每个嵌入的域，准确率为0.55。与随机解决方案的0.25准确率相比，这个结果表明获得的嵌入包含有关其域的信息，尽管只是部分信息。这一发现很重要，因为它表明模型编码了与域相关的信息，这是在处理多个域时所期望的。为了继续分析，我们检查了这些嵌入中包含的指标。为此，我们计算了除peak_band之外的所有指标的R2。

表3显示了从节点嵌入预测不同时间序列指标时获得的R2和准确性。All列显示了使用所有数据集的嵌入集获得的结果，而PeMSD3、PeMSD4、PeMSD7和PeMSD8列显示了仅使用特定数据集的嵌入集获得的结果。观察所有嵌入集，我们可以看到peak_band的准确性很好，而mean、std、p90、p99和daily_amp的R2较低，其余指标的R2非常低。也就是说，嵌入集中似乎唯一包含得好的是一天中交通量最大的时间。

表3. 不同预测指标的结果比较。All表示使用所有嵌入进行的预测，其他情况表示使用指定数据集的嵌入进行的预测。然而，当按数据集分解时，可以在PeMSD3的mean、std、p90、p99和daily_amp中观察到非常高的R2值，以及log_peak_ratio的R2较高和peak_band的准确性高于平均水平。在PeMSD4的情况下，mean的R2非常高，std、p90、p99和daily_amp的R2也很高，log_peak_ratio的准确性也高于平均水平。此外，它还显示出peak_band的准确性高于平均水平。因此，这表明预训练影响了模型学习的嵌入，使其在多个数据集中获得了更高的准确性，而在其他情况下没有负面影响。

此外，还使用了配对t检验来评估AGCRN-FT相对于AGCRN的改进是否一致。在PEMSD3、PEMSD4和PEMSD8中，观察到AGCRN-FT版本有统计学上的显著改进。相比之下，在PEMSD7中，t检验没有提供AGCRN-FT版本改进的统计证据，因为p值不允许拒绝零假设。这一结果与表2中的观察结果一致，即PEMSD7的改进最不显著。因此，我们验证了预训练改善模型在不同数据集上结果的能力。

5. 嵌入分析
尽管前一节显示的结果表明，在多个数据集上进行训练产生了更好的嵌入，但这些结果并没有显示嵌入中包含的信息。为了更好地理解在多个数据集上训练对嵌入的影响，对这些嵌入进行了分析。通过这种方式，我们希望对这项技术进行更可解释的分析，从而更好地理解所获得的结果。

5.1. 可视化
首先，为了更好地理解使用DynAGCRN进行预训练节点嵌入的效果，进行了PCA处理，将嵌入降维到二维和三维。结果分别显示在图4和图5中。因此，可以基于这些可视化结果进行初步分析。观察图4可以看出，PEMSD3、PEMSD4、PEMSD7和PEMSD8节点的嵌入无法简单区分，也无法创建确定节点属于哪个原始数据集的簇。然而，如图的右下角所示，这一部分主要由PeMSD7的嵌入占据，这些嵌入显示为黄色。在这个区域，虽然也有其他数据集的嵌入，但它们是少数。

图4. DynAGCRN学习的嵌入的二维表示。绿色表示PEMSD3的嵌入；蓝色表示PEMSD4的嵌入；黄色表示PEMSD7的嵌入；红色表示PEMSD8的嵌入。
图5. DynAGCRN学习的嵌入的三维表示。绿色表示PEMSD3的嵌入；蓝色表示PEMSD4的嵌入；黄色表示PEMSD7的嵌入；红色表示PEMSD8的嵌入。

为了尝试在不同数据集的节点之间找到更明确的分隔，进行了三维可视化，如图5所示。在这种情况下，仍然没有明确的界限可以基于原始数据集对节点进行分组。此外，在这种可视化中，可以更清楚地看到PeMSD7嵌入占据主导地位的区域。

这些结果一方面表明，PeMSD7在整个嵌入域中分布最广，因为其嵌入出现在所有区域。此外，有一个区域它占据了主导地位。这可以解释为什么在这个数据集中没有改进，因为其中的数据已经覆盖了所有数据集的域。另一方面，其他数据集的嵌入包含在同一个区域内，右下角的情况较少。因此，其他数据集可以包含在PeMSD7的域内，这可能表明将它们全部一起训练有助于更好地定义它们的边界，因为它们被包含在一个明确的区域内。

这种可视化分析可以提供关于在多个数据集上训练对嵌入影响的见解。然而，它的局限性在于没有显示嵌入中包含的信息。因此，为了补充这一点，进行了第二次分析，将嵌入中的信息与不同的指标相关联，以获得更可解释的结果。

5.2. 嵌入信息
为了更好地解释嵌入的内容并帮助理解它们编码的信息，我们从每个节点的时间序列中获取了一组指标。然后，我们尝试仅使用每个节点的嵌入来预测这些指标，使用了逻辑回归和岭回归模型。在逻辑回归中，由于这是一个分类问题，我们使用准确性来衡量正确预测的百分比。而在岭回归中，由于这是一个回归问题，我们使用R2来量化解释的变异性。我们使用的指标包括：
- 平均值：节点的平均流量。
- p90：节点流量的第90百分位数。
- p99：节点流量的第99百分位数。
- 变异性：
- 标准差：节点流量的标准差。
- 日常模式：
- daily_amp：平均日流量最大值和最小值之间的差异。
- peak_time：平均日流量达到最大值的时间。
- log_peak_ratio：以对数尺度衡量峰值相对于当天典型水平的大小。
- 周期性：
- autocorr_1d：具有1天滞后的序列的自相关性。
- 类型学：
- peak_band：根据平均日流量的峰值出现的时间（早晨、下午或其他）进行分类。
- 域：
- membership：每个嵌入属于哪个数据集。

首先进行的测试检查了域成员资格，预测每个嵌入的域，准确率为0.55。与随机解决方案的0.25准确率相比，这个结果表明获得的嵌入包含有关其域的信息，尽管只是部分信息。这一发现很重要，因为它表明模型编码了与域相关的信息，这在处理多个域时是预期的。为了继续分析，我们检查了这些嵌入中包含的指标。为此，我们计算了除peak_band之外的所有指标的R2。

表3显示了从节点嵌入预测不同时间序列指标时获得的R2和准确性。All列显示了使用所有数据集的嵌入集获得的结果，而PeMSD3、PeMSD4、PeMSD7和PeMSD8列显示了仅使用该特定数据集的嵌入集获得的结果。观察所有嵌入集，我们可以看到peak_band的准确性很好，而mean、std、p90、p99和daily_amp的R2较低，其余指标的R2非常低。也就是说，嵌入集中似乎唯一包含得好的是一天中交通量最大的时间。

表3. 不同预测指标的结果比较。All表示使用所有嵌入进行的预测，其他情况表示使用指定数据集的嵌入进行的预测。然而，当按数据集分解时，可以在PeMSD3的mean、std、p90、p99和daily_amp中观察到非常高的R2值，以及log_peak_ratio的R2较高和peak_band的准确性高于平均水平。在PeMSD4的情况下，mean的R2非常高，std、p90、p99和daily_amp的R2也很高，log_peak_ratio的准确性也高于平均水平。此外，它还显示出peak_band的准确性高于平均水平。因此，这表明模型确定这些数据集的嵌入必须包含这些信息。尽管模型是通过子图而不是数据集进行训练的，但它仍然进行了这种共享编码，并且没有给模型提供指示节点属于特定数据集的数据。

在PeMSD7中没有看到这种行为，尽管在这种情况下，这可能是由于它是最常见的值。因此，这个数据集中的指标可能被模型用作参考，因为它们是最常见的。PeMSD8的情况更为复杂，其中它不是多数类，但仍然似乎只突出了其peak_band，因为它的准确性高于平均水平。为了更好地理解PeMSD8的情况，分析了指标值的分布，结果如表4所示。该表显示了从时间序列的mean、std和daily_amp值集合计算出的mean、std和IQR。也就是说，表4的第一行显示了PeMSD3数据集中所有节点的时间序列平均值的平均值。这使我们能够看到PeMSD8的IQR在所有情况下都低于PeMSD3和PeMSD4，意味着Q1和Q3之间的值差异较小。这一点，加上较少的案例数量，可能导致模型认为没有必要在PeMSD8嵌入中存储不同的指标，而只认为在peak_band中存储这些指标是必要的。表4显示了每个时间序列中每个节点获得的指标的比较。Values列表示一组值，例如与每个节点相关的时间序列的平均值，而Metrics列表示计算出的指标：平均值、标准差和四分位数范围（IQR）。因此，可以看出这一过程如何有助于在它们的领域中创建更精确定义的嵌入，如图4和图5中的PeMSD3和PeMSD4案例所示。此外，这些数据集的嵌入中还包含了与其领域相关的不同指标的信息。然而，在PeMSD7的情况下，由于它是最大且最主导的，它似乎被用作基础，而不需要编码其指标。另一方面，在PeMSD8的情况下，尽管它比PeMSD7更好地编码了peak_band，但其他指标的信息并未被包含在内。将这些结果与第4节中的结果进行比较可以看出，在那些嵌入在其领域中调整得更好且嵌入中包含更多关于其指标信息的模型中，获得了更好的结果（如表2所示）。尽管这种分析使我们能够为嵌入信息增加可解释性，但对这些信息的了解仍然是部分的。这种分析可以指出模型可能考虑到的模式，但我们无法确切知道模型生成嵌入所应用的逻辑。然而，它确实允许我们分析其行为。从中我们可以观察到模型以不同的方式编码了不同数据集的嵌入，因为每种情况下的相关信息都是不同的。因此，嵌入信息是根据数据集的特征进行适应的。需要注意的是，模型是通过子图进行训练的，而不是通过数据集本身，所以将不同节点的嵌入视为等同的处理方式并不是因为它们一起被预测出来的，而是因为这些节点本身具有的共同特征。因此，展示了一个创建适应于数据集的多样化嵌入的过程，这与仅使用其中一个原始数据集进行训练时可能预期的结果不同。这些结果展示了这种技术的潜力，因为通过对嵌入的分析，我们可以看到它们根据数据集的特征进行了适应。因此，结果显示同时在多个数据集上进行训练会影响嵌入。通过强制在多个上下文中获得嵌入，这一过程一方面有助于定义嵌入的领域，另一方面有助于识别每种情况下所需的信息。这导致了更精细的嵌入，这些嵌入已经显示出它们能够提高使用它们的模型的预测能力。

6. 讨论
根据获得的结果，我们能够验证，在保持相同的时空预测任务的同时，对来自不同数据集的子图进行预训练可以提高下游模型的准确性。为此，我们使用了DynAGCRN，这是一种针对由不同子图组成的批次训练节点嵌入的AGCRN的改进版本。该模型使用来自不同数据集的n大小子图组合而成的数据集进行训练。总体而言，这种方法允许我们将预训练的嵌入转移到AGCRN中，并使用不同的指标来评估其效果。此外，还对嵌入进行了可视化处理，并对其信息进行了各种分析。目的是提高问题的可解释性，从而更好地理解所获得的嵌入。基于这些分析，我们能够验证，即使是在不覆盖整个数据集的不同子图上进行训练，同一数据集的嵌入也包含相同类型的信息。此外，还观察到对于每个数据集，模型决定了要存储在嵌入中的相关信息是不同的。因此，通过结合嵌入的潜在空间与获得的准确性提升之间的差异，可以看出在多个数据集上进行训练产生了积极的影响，提高了嵌入的精细度。因此，我们认为所提出的方法可以作为时空问题的另一种预训练方法，特别是在使用基于图神经网络的模型时，可以减少与此类型模型相关的问题。然而，我们的技术仅在交通数据集上得到了验证。尽管这种方法适用于其他时空问题，但应在其他领域进行评估，以确定这里观察到的改进是否可以推广。具体来说，需要额外的验证来确定该方法对数据集组成的敏感性，以及是否可以在更广泛的场景中获得类似的好处。

7. 结论
在本文中，我们提出了一种基于对来自不同数据集但构成相同问题的子图进行同时训练的图神经网络预训练技术。为此，我们提出了一个改进版的AGCRN，称为DynAGCRN，以及一种从创建n大小子图生成数据集的方法。通过这种方式，我们获得了在更多上下文中训练的嵌入，提高了它们的泛化能力，并使它们能够用于训练新模型。此外，还对获得的嵌入进行了分析，以了解它们编码的信息，为我们的方法增加了可解释性，并提高了对其工作原理的理解。使用时空数据进行的各种测试证明了我们的提议能够改善不同节点的嵌入，从而提高模型的准确性。这可以通过比较获得的指标来观察，例如在PeMSD3中RMSE从27.22降低到26.14，在PeMSD4中MAPE从13.59%降低到12.64%。因此，我们的方法提供了一种预训练方法，能够通过扩展嵌入的领域来提高模型预测的准确性，为使用辅助任务进行预训练的方法提供了另一种选择。