通过知识蒸馏与对抗训练利用时空相关性实现稳健的流量预测

《Neurocomputing》：Robust flow prediction with spatio-temporal correlations through knowledge distillation and adversarial training

　　张辉|丁坤|谢杰涛|赵翔|张晓雄|肖伟东|谢玉祥中国国防科技大学第六十三研究所，南京，210007摘要[总结]流量预测在交通管理及网络监控等领域至关重要。然而，现代用于流量预测的深度学习模型容易受到节点观测数据中微小对抗性扰动的影响，从而导致实际应用中的决策不可靠。尽管对抗性训练是一种常见的防御手段，但它往往会在干净数据上降低模型精度，因为模型可能会过度拟合特定的扰动，从而遗忘之前学到的时空模式。为了解决这些问题，我们提出了一种通过知识蒸馏与对抗性训练实现具备时空相关性的鲁棒流量预测方法，简称RKDAT。RKDAT采用两阶段训练流程：第一阶段，学生模型通过从多个专门处理空间依赖、短期时间依赖和长期时间依赖的教师模型中汲取知识，来学习稳定的先验知识；第二阶段，通过对抗性训练强化学生模型，同时利用弹性权重巩固机制来规范重要参数的更新，以减少遗忘现象，此外还通过网络剪枝去除那些可能放大对抗性噪声的冗余参数。该设计将精度与鲁棒性整合在一个框架中，最终得到一个适合部署的简洁学生模型。在四个真实世界数据集上的实验表明，与现有的基准方法相比，RKDAT在干净数据上的预测性能更佳，且在迭代式对抗攻击和随机扰动下的鲁棒性也更强。引言流量预测对城市规划、资源分配、交通管理以及网络监控具有重要意义[1]。深度学习的最新进展，尤其是图神经网络[GNNs][2]，在捕捉复杂的时空依赖关系方面展现出巨大潜力。然而，这些系统在实践中仍然存在脆弱性，因为即使是很小的对抗性扰动也可能会误导预测结果，例如错误地指示交通拥堵，进而引发不必要的干预，造成重大的社会和经济影响。为揭示这一脆弱性，研究人员提出了多种针对性的攻击方法。近期研究表明，基于深度神经网络的流量预测模型极易受到对抗性扰动的影响[3]，这类扰动能够操控流量状况的预测结果，导致不准确的输出[4]。例如，对交通流图进行微小修改就可能导致模型错误地预测出非拥堵区域的拥堵情况，从而引发不必要的交通堵塞和延误。因此，人们针对时空流量预测模型开发出了诸多对抗策略。徐等人[5]提出了一种基于时间序列预测中节点重要性的对抗样本生成算法，通过有针对性的扰动降低模型精度。类似地，刘等人[6]提出了一种基于迭代梯度引导的节点重要性识别方法，用以找出对时间敏感的脆弱节点，并运用时空梯度下降技术在扰动约束下生成对抗状态。此外，还有研究[7]开发了一种攻击框架，该框架利用同步扰动随机逼近法在黑盒环境中近似梯度值，并结合背包贪心算法选择攻击节点。这些框架都证明了对抗性扰动会显著降低时空流量预测模型的预测精度。尽管人们对时空流量预测中的对抗性脆弱性问题越来越重视，但在现实场景中的鲁棒性研究仍相对不足。现有研究通过诸如结合时空嵌入的对抗性训练[8]、用于自适应节点选择的强化学习[9]以及基于梯度的对抗性训练[6]等方法来提升模型的鲁棒性。尽管取得了这些进展，但仍存在诸多挑战：强化学习方法由于对抗节点的动态变化而常常导致训练不稳定，固定的防御策略难以适应不断演变的攻击类型和变化的流量模式，还有一些方法会过度拟合特定攻击，从而限制了它们在面对未知或更为复杂的对抗条件时的有效性。鉴于现有防御方法的上述局限性，本研究旨在解决两个关键的研究问题：（1）如何在不降低模型在未受干扰数据上预测精度的前提下，增强流量预测模型的对抗鲁棒性？（2）如何在模型适应动态对抗性扰动的同时，防止其彻底遗忘关键的时空模式？因此，我们的主要目标是开发一种动态的、高度可适应的且高效的防御框架，将精度保持与鲁棒性提升紧密结合起来。为了解答这些问题并实现目标，我们提出了一种名为“通过知识蒸馏与对抗性训练实现具备时空相关性的鲁棒流量预测”（RKDAT）的新框架。通过将多个教师模型的知识蒸馏与对抗性训练相结合，RKDAT构建了一种动态的防御机制。两阶段的知识学习过程确保模型能够可靠地处理干净数据和受损数据。此外，网络剪枝与弹性权重巩固机制的结合则可以防止灾难性遗忘，避免模型过度拟合特定攻击。本工作的主要贡献和创新点如下：•统一的鲁棒框架：我们提出了RKDAT，它创新性地结合了知识蒸馏与对抗性训练。该框架利用专门的教师模型提供稳定的空间和时间先验，从而引导并稳定对抗性学习过程。•协同防御正则化：我们引入了网络剪枝与弹性权重巩固相结合的新方法。剪枝可去除对噪声敏感的参数，而弹性权重巩固则能防止模型在遭受攻击时彻底遗忘重要的数据模式。•渐进式学习策略：我们设计了分离式的两阶段训练机制。将特征获取与鲁棒性强化分开处理，有效解决了传统对抗性训练中常见的优化冲突问题。•卓越的性能：在四个真实世界数据集上的实验表明，RKDAT实现了最佳的平衡。它在干净数据上保持了高预测精度，同时在面对动态攻击时的抗性也远优于现有方法。本文的其余部分结构如下：第2节回顾了关于对抗性训练和知识蒸馏的现有文献，阐述了它们的应用及面临的挑战。第3节介绍了时空相关性，并详细描述了三种不同的时空教师模型的构建方法。第4节阐述了所提出方法的框架结构及其各组成部分。第5节说明了本研究使用的数据集、评估指标以及实验设置。第6节对实验结果进行了全面分析，为理解模型的性能提供了见解。第7节讨论了本方法的局限性。最后，第8节总结了研究成果，并提出了未来可能的研究方向。片段提及图卷积网络在处理动态图预测任务时，通常会采用图神经网络来提升性能。GCN、GraphSAGE、GAT等模型都可以应用于动态图预测任务。在这些GNN中，GCN是一种简单但有效的图神经网络模型，最初由Kipf和Welling[10]提出。它通过利用多层邻居卷积的方式，提升了基于图数据结构的半监督学习性能。最近的研究进一步扩展了图神经网络的应用领域。初步知识在动态图环境中实现准确预测，关键在于有效建模数据中固有的空间和时间依赖关系。以往的研究已经强调了捕捉这些时空相关性对于提升预测性能的重要性[36]、[37]。方法论在本节中，我们将介绍所提出的RKDAT框架。RKDAT的核心创新在于它将知识蒸馏、网络剪枝以及弹性权重巩固三种方法协同整合起来，以此解决鲁棒时空建模中的稳定性与灵活性之间的矛盾。传统的对抗性训练通常存在两个主要问题：（1）过度拟合对抗性噪声，导致模型学习到特定的攻击模式而非具有鲁棒性的特征；（2）灾难性遗忘。实验设置在本节中，我们首先描述了实验评估中使用的数据集，接着介绍了用于衡量鲁棒流量预测方法性能的评估指标。随后，我们会详细说明实验配置及实现细节。结果与讨论在本节中，我们对所提出的RKDAT方法在各种数据集和攻击场景下的表现进行了全面评估。这些实验旨在回答以下问题：（1）在没有对抗性扰动的原始数据上，RKDAT的表现如何？（2）RKDAT在投影梯度下降[15]攻击下的鲁棒性如何？（3）RKDAT在随机添加噪声下的鲁棒性如何？（4）我们方法的计算成本是否可接受？与这些问题相关的实验结果如下。局限性尽管RKDAT在多种场景下都展现了出色的鲁棒性和精度，但它仍存在一些局限性，这些局限性也为未来的改进提供了方向：•较高的训练开销：虽然如表8所示，RKDAT在推理阶段效率很高，但其训练过程却十分耗算。需要预先训练三个不同的专用教师模型，再加上为弹性权重巩固计算费希尔信息矩阵以及执行相关操作的巨大计算成本。结论本研究提出了一种针对动态环境中对抗性攻击挑战的、用于实现鲁棒时空流量预测的创新框架。我们所提出的RKDAT模型通过结合知识蒸馏与对抗性训练来利用时空相关性，旨在提升流量预测模型在恶劣条件下的抵御能力。通过引入两阶段的知识学习过程，我们解决了诸如……等关键问题。CRediT作者贡献声明张辉：撰写——初稿、可视化、验证、方法论、研究分析、数据整理、概念设计。丁坤：撰写——初稿、数据整理。谢杰涛：撰写——初稿、数据整理。赵翔：撰写——初稿、正式分析。张晓雄：撰写——初稿、方法论、概念设计。肖伟东：方法论、数据整理。谢玉祥：撰写——审阅与编辑、概念设计。利益冲突声明作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。张辉目前是中国国防科技大学系统工程学院的博士生，同时也在该校第六十三研究所担任数据科学副教授。他的研究兴趣包括知识蒸馏和时空相关性。