基于全局时空表示和多变量知识蒸馏的车联网入侵检测

《Future Generation Computer Systems》：Intrusion detection for Internet of Vehicles using Global spatio-temporal Representation with multivariate knowledge distillation

　　

摘要

随着车辆智能化和互联网连接技术的快速发展，各种网络攻击威胁着行车安全。车联网入侵检测变得至关重要。然而，以往的研究主要依赖于消息序列的局部空间特征和局部时间相关性来进行入侵检测，未充分考虑全局特征。同时，由于实时性和快速性的特点，车联网需要轻量化的检测机制。现有的不准确且低效的入侵检测使车联网容易受到未被检测到的攻击。为了提取全局特征用于入侵检测，本文提出了一种基于全局时空表示（IoVGR）的车联网入侵检测方法，该方法利用注意力机制扩大分析范围，并应用自适应特征融合来提取全局表示。此外，为了实现轻量化检测，本文采用多变量知识蒸馏（MKD），引入教师助理模型和中间层映射来压缩检测模型。我们在VeReMi扩展数据集上进行了广泛的实验评估，结果表明，IoVGR多分类和二分类攻击检测的平均F1分数分别比最佳基线方法高出2.31%和4.16%。压缩后的车联网入侵检测模型在保持精度的同时，将参数量减少了93.92%，计算量减少了99.44%。此外，IoVGR在UNSW-NB15数据集和ORACLE RF指纹数据集上的F1分数分别提高了1.22%和3.81%，证明了模型的通用性。

引言

车联网（IoV）在智能交通系统（ITS）中发挥着至关重要的作用，受到了学术界和工业界的广泛关注[1]，[2]。车联网通过车联万物（V2X）技术传输包含车辆状态的基线安全消息（BSMs），为用户提供碰撞警告、绿波通行和驾驶员辅助等服务[3]，[4]。然而，车联网带来的好处也伴随着网络安全挑战[5]，[6]，[7]。例如，恶意车辆可以在V2X链路上伪造虚假的BSMs以获取自身优势，导致交通拥堵[8]，[9]。此外，错误的信息可能误导车辆并导致交通事故[10]，[11]。传统的安全机制，如认证[12]，[13]和密码技术，对于车联网来说是不够的，因为它们只针对外部攻击者，无法应对车联网系统内部恶意节点发起的内部攻击[14]。因此，能够检测内部攻击的车联网入侵检测已成为重要的防御工具[15]，[16]。

近年来，研究人员采用传统机器学习[14]，[17]，[18]，[19]和深度学习技术[20]，[21]，[22]，[23]，[24]，[25]，[26]，[27]，[28]来实现攻击检测。特征提取是这些方案中的关键步骤，但它们的特征提取不足限制了检测性能。这个问题在不同方法中都存在。基于传统机器学习的检测方案需要手动特征提取，这会消耗大量时间和资源，并忽略了消息之间的时间特征，导致对DoS攻击的检测准确率较低[29]，[30]。以往的研究采用卷积神经网络（CNNs）从消息中提取空间特征，但卷积操作受卷积核大小和形状的限制，无法完全表示时间关系和重要区域特征[20]，[21]。其他研究利用长短期记忆（LSTM）神经网络从数据中提取时间特征，但这种方法难以捕获长序列的时间相关性，并且无法进行并行计算[22]，[23]，[24]。一些研究人员结合CNN和LSTM来提取时空特征[25]，[26]，[27]，[28]，但他们通常通过串联结构或加法或连接等简单操作来实现时空特征融合，这可能导致提取的特征被压缩或丢失[31]，[32]。总之，现有方法倾向于关注局部空间特征或局部时间相关性，而忽略了全局时空表示，导致异常检测不准确。

检测模型轻量化是车联网实时入侵检测的实际要求[33]。然而，现有的基于深度学习的车联网入侵检测存在高内存消耗和长检测时间的缺点[34]。为了缓解这一限制，提出了从零设计轻量级检测模型[35]，[36]，[37]或使用知识蒸馏压缩检测模型[38]，[39]，[40]，[41]，[42]的解决方案。从零设计轻量级检测模型依赖于设计者的知识和经验，缺乏先验信息使轻量级模型难以获得[43]。基于知识蒸馏的检测方法通过使用知识信息指导轻量级模型来解决这一困境[44]。然而，当复杂的教师模型和要学习的轻量级学生模型在结构和容量上存在显著差异时，学习难度限制了轻量级学生模型的攻击检测精度和成本[45]。总之，当前的轻量级检测方案存在上述缺陷，本文旨在设计一种新的模型压缩方法来提高入侵检测效率。

我们提出了一种提取全局时空表示（IoVGR）的新型车联网入侵检测方法。该方法由三个模块组成，即全局时间特征提取块（GT）、全局空间特征提取块（GS）和特征融合块。具体而言，GS结合CNN与自注意力机制来关注序列的内容信息。并行地，GT由堆叠的transformer[46]组成以捕获序列中消息之间的时间相关性。同时，考虑到GS和GT提取的特征的不同视角，我们设计了一个融合块来选择性地和自适应地融合时间和空间语义特征，以生成消息序列的全局时空表示。此外，我们提出了一种称为多变量知识蒸馏（MKD）的新型模型压缩方法，设计了教师助理模型并添加了中间层映射操作。具体而言，该方法使用教师模型的输出、教师助理模型的输出、学生模型的中间层映射输出和真实标签来指导学生检测模型训练，从而提高了检测效率。我们在几个开源数据集[47]，[48]，[49]上进行了全面评估，以确认我们提出的方法的有效性。本文的主要贡献如下：

•我们提出了一种用于车联网入侵检测的新型特征提取方法，该方法利用注意力机制从观察到的消息序列中高效地提取空间和 temporal 特征，并实现自适应特征融合。该方法实现了全局时空表示的提取，捕获整个序列的内容和时间变化，准确检测各种类型的攻击。

•我们提出了一种用于车联网入侵检测的新型模型轻量化方法，通过设计多变量知识和多种知识转移路径实现知识蒸馏并压缩检测模型。使用该方法的轻量级车联网入侵检测模型在保持高检测精度的同时降低了模型开销并提高了检测速度。

•我们在VeReMi扩展数据集上进行了广泛的实验评估。IoVGR可以检测多达19类攻击，多分类和二分类攻击检测的平均F1分数分别比最佳基线方法高出2.31%和4.16%。通过使用MKD，本文提出的轻量级检测模型将参数量减少了93.92%，计算量减少了99.44%。此外，为了说明IoVGR的通用性，我们在包含时空属性的网络流量数据集UNSW-NB15和RF指纹数据集ORACLE上进行了实验，平均F1分数分别提高了1.22%和3.81%。

本文其余部分组织如下。第2节回顾相关工作。第3节描述网络场景和数据预处理过程。第4节提供所提出方法的详细设计信息。第5节给出性能评估。最后，第6节总结本文。

相关工作片段

特征提取和车联网入侵检测

目前，车联网入侵检测方法主要根据特征提取的不同方式分为基于机器学习的车联网入侵检测和基于深度学习的车联网入侵检测。

基于机器学习的车联网入侵检测方法使用人工特征工程来提取特征，然后将特征输入机器学习算法进行分类[29]。[17]介绍了一种使用支持向量机（SVM）的入侵检测系统，并

网络场景

图1显示了我们要研究的车联网场景，由车辆、路侧单元（RSUs）和云服务器组成。为了满足延迟敏感型应用的实时处理要求，在RSUs上部署了边缘服务器[61]。车辆使用V2X无线通信技术与其他车辆或RSUs通信。RSUs通过有线链路连接到云服务器。根据SAE J2735标准[62]，车辆使用BSM消息向其他车辆和RSUs广播，广播

特征提取和入侵检测

在智能交通系统中，联合建模空间和 temporal 信息至关重要。[64]提出了一种基于注意力机制和自监督学习的自动驾驶时空轨迹预测策略。他们的方法利用基于注意力的架构来提取动态交通环境中的时空依赖性，这为我们设计具有并行全局空间和全局 temporal 特征提取分支的IoVGR提供了支持。

实验环境

所有实验评估都在Ubuntu 18.04.5 LTS上进行，该系统配有Intel(R) Xeon(R) W-21233.60GHZ CPU、两个NVIDIA TITAN Xp GPU和64 GB内存。我们使用了pytorch深度学习框架。

超参数

"Channel dim"表示上层分支（CNN层）的神经元数量。"Embedding dim"表示下层分支（Transformer模块或LSTM层）的神经元数量，"Number of heads"表示Transformer中自注意力头的数量。"Epoch"表示

结论

为了增强车联网安全，我们提出了一种新的车联网入侵检测方法，IoVGR。我们工作相对于其他工作的一个显著优势是，所提出的方法可以提取BSM序列的全局时空特征，实现对多达19类攻击的高精度检测，如篡改攻击、DoS攻击、重放攻击等。同时，为了增强车辆保护的时间效率，我们提出了一种多变量知识蒸馏模型压缩方法，MKD。

CRediT作者贡献声明

Yu He：写作 - 审稿与编辑，写作 - 初稿撰写。Wei Ding：调查。Jinhui Cao：写作 - 审稿与编辑，写作 - 初稿撰写，验证，方法论，形式化分析。Xiaoqiang Di：调查。Jiayu He：调查。Rui Xu：调查。Hui Qi：调查。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文所报告的工作。

致谢

本工作得到中国教育部门项目No. JJKH20261819KJ的支持。Yu He：写作 - 初稿撰写，写作 - 审稿与编辑。Wei Ding：调查。Jinhui Cao：验证，方法论，形式化分析，写作 - 初稿撰写，写作 - 审稿与编辑。Xiaoqiang Di：调查。Jiayu He：调查。Rui Xu：调查。Hui Qi：调查。

Yu He于2011年获得吉林大学法学硕士学位。他目前担任长春市人民政府互联网信息中心网络安全协调和信息化发展处处长。2025年，他开始攻读长春理工大学计算机科学与技术博士学位。他的研究兴趣包括日志挖掘、网络安全、异常检测和人工智能。（[e-mail]）

Yu He | Wei Ding | Jinhui Cao | Xiaoqiang Di | Jiayu He | Rui Xu | Hui Qi
长春理工大学计算机科学与技术学院，长春，130022，中国