BERT4NID：一种基于预训练变换器的物联网网络入侵检测的包内及包间表示方法

《Neural Networks》：BERT4NID: An Intra and Inter Packet Representation with Pre-training Transformers for IoT Network Intrusion Detection

　　摘要：对于物联网网络入侵检测模型而言，从可观测的网络流量中学习具有区分能力的流量表示至关重要。现有方法主要依赖人工设计的特征来表示网络流量，但这些人工构建的特征在很大程度上依赖于网络专家的知识和经验，难以适应多样且不断变化的网络环境。因此，利用大量未标记的原始网络流量，从可观测的流量模式中学习流量表示，已成为网络入侵检测领域的研究热点。本文提出了一种新的物联网网络入侵检测模型——基于Transformer的双向编码器表示用于网络入侵检测（BERT4NID），该模型通过设计两种新颖的代理任务，并在大量未标记数据上进行预训练，从而学习数据包内部及数据包之间的特征，进而获得流量表示。预训练后的模型可使用少量标记数据进行微调，以用于后续的分类任务，并能取得优异的性能。即便仅有1%的标记训练数据，该模型在MedBIoT和Kitsune数据集上的F1分数分别可达93.46%和92.85%。

引言：随着大数据、云计算以及人工智能技术的快速发展，物联网技术也在不断进步并日益普及。这些前沿技术的融合为物联网设备与系统带来了前所未有的智能化和自动化水平。大数据技术能够高效存储和处理物联网设备产生的海量数据，从中提取有价值的洞察信息（Sasaki, 2021）。云计算则提供了强大的计算资源与灵活的基础设施，使得物联网设备能够实现实时数据处理与分析（Rani et al., 2023）。而人工智能技术，尤其是机器学习和深度学习，为物联网设备赋予了智能能力，使其能够自主学习、做出决策并优化性能，从而提升效率并改善用户体验（Nguyen et al., 2024）。然而，随着各类物联网设备的不断增加，针对这些设备的网络攻击也在频率、复杂度和类型上不断增多（Heidari, Jamali, 2023; Moustafa, Koroniotis, Keshk, Zomaya, Tari, 2023; Saied, Guirguis, Madbouly, 2024）。这类攻击不仅会导致物联网设备无法正常运行，还可能引发数据泄露和系统故障，给用户和企业带来巨大的经济损失与声誉损害。因此，减轻网络攻击带来的损失已成为网络安全领域亟待解决的关键问题。

在此背景下，网络入侵检测技术显得尤为重要，它能够实时监控和分析网络流量，及时发现并防范潜在的安全威胁，避免敏感数据被盗取及系统遭到破坏。以往关于物联网网络入侵检测的研究主要依赖基于签名的技术（Paxson, 1999; Roesch et al., 1999）。这类方法是通过从历史流量数据中构建签名数据库，再将新出现的流量与现有签名进行匹配，从而对已知类型的攻击实现高精度检测。但面对新兴的攻击变种或标记样本较少的攻击类型时，基于签名的系统的检测效果往往会显著下降。

近年来，物联网入侵检测技术越来越多地融入机器学习技术，尤其是深度学习技术（Ding, Sun, Huang, Shen, Cui, 2023; Gelenbe, 2024; Wang, Li, He, Chan, 2022），利用其强大的特征提取能力来检测网络攻击。尽管深度学习提升了检测精度、减少了误报，并且能够处理大规模数据，但它也存在一些问题：首先，需要大量的标记数据；其次，依赖人工设计的特征集；再者，提取出的特征可能具备有限的泛化能力。由于物联网设备的多样性以及应用场景的复杂性，要在物联网环境中收集标记数据既困难又耗时。人工标注则需要专业知识，同时还可能引发隐私方面的担忧。此外，物联网设备的资源往往较为有限，这也增加了数据收集的难度。人工设计的特征受到安全专家专业知识的限制，可能会遗漏新的或变异的攻击类型。而且，这类特征往往无法捕捉到复杂的多维度流量模式，从而限制了检测效果（Lin et al., 2022）。最后，提取出的特征通常缺乏泛化能力，即在一种网络环境中表现良好的模型，在拓扑结构、流量或攻击类型不同的其他网络环境中可能会表现不佳。

近年来，预训练模型在多个领域取得了进展，包括自然语言处理（Devlin et al., 2018）、计算机视觉（He et al., 2022）以及网络安全领域（Guthula et al., 2023）。BERT凭借其双向编码能力和强大的上下文建模能力，在众多领域都展现了出色的性能。不过，在网络入侵检测领域，基于BERT的模型仍在探索阶段。虽然BERT最初是为自然语言处理而设计的，但其基于Transformer的架构非常适合捕捉序列数据中的复杂关系。网络流量数据与语言具有相似性，数据包中的字节序列类似于句子中的词序，而字序对于理解数据具有重要意义。一个网络数据包可以类比为一个句子，同一数据流中的各个数据包之间存在类似句子依存关系的上下文关联（Lin et al., 2022）。这就要求模型能够捕捉局部和全局的模式。通过将数据包数据视为词序序列，BERT的自注意力机制能够建模多尺度依赖关系，这是传统方法如CNN或RNN难以做到的。

为了解决上述问题，本文提出了一种新的物联网网络入侵检测模型——基于Transformer的双向编码器表示用于网络入侵检测（BERT4NID）。BERT4NID在预训练阶段通过代理任务，利用大规模未标记的原始流量来学习网络流量特征。对于后续的任务，它仅需少量标记数据即可进行微调，从而高效地检测各种网络攻击。与传统方法依赖人工设计的统计特征不同，BERT4NID直接以原始网络流量作为输入，从而减少了对人工特征工程的依赖，提升了模型对不同流量环境的适应性。该框架主要从部分可观测的数据包字节、头部信息以及早期的数据流级相关性中学习特征表示，因此其效果取决于网络流量中是否仍存在有意义的流量模式。具体而言，我们提出了Packet2Embedding技术，将双向数据流中的每个数据包转换为词嵌入（为避免歧义并保持术语一致性，除非另有说明，本文中出现的“flow”均特指双向数据流）。我们还设计了两种新颖的代理任务：掩码字节预测（MBP），该任务有助于模型学习数据包的语义和结构信息；同数据流预测（SFP），则帮助模型理解数据包之间的上下文关系。最后，我们使用少量标记数据对模型进行微调，以实现高效的入侵检测。综上所述，本文的主要贡献如下：
1. 我们提出了一种全新的网络入侵检测预训练模型，该模型可直接从大规模未标记的原始网络流量中学习有效的流量表示，从而无需依赖人工设计的特征。在后续任务中，仅需少量标记样本即可实现高检测精度。
2. 我们设计了两种新颖的代理任务——掩码字节预测和同数据流预测，通过共同建模数据包内部的字节语义以及数据包之间的数据流级依赖关系，从而实现有效的流量表示学习。
3. 在四个真实的物联网网络入侵检测数据集上进行的广泛实验表明，我们所提出的BERT4NID模型在各项指标上均优于传统的模型以及现有的最先进模型。

本文的其余部分结构如下：第2节回顾了物联网网络入侵检测领域的相关工作，重点介绍基于深度学习和预训练的方法。第3节介绍了威胁模型。第4节详细介绍了本文提出的BERT4NID模型。第5节简要介绍了实验设置。第6节在物联网网络入侵检测的基准数据集上进行了大量实验，以验证BERT4NID模型的有效性。第7节总结了本文的内容，并提出了未来研究的方向。

相关工作：在本节中，我们回顾了网络入侵检测领域的现有研究。具体而言，我们重点关注两个主要的研究方向：基于深度学习的入侵检测方法以及基于预训练的入侵检测方法。此外，表1汇总并对比了现有代表性研究与我们所提出方法之间的差异，突出了我们方法的独特之处。

威胁模型：我们的威胁模型与Pei等人（2024）论文中使用的模型类似，即物联网边缘设备通过接入网关连接到互联网。我们的物联网网络入侵检测系统旨在准确识别那些专门针对物联网设备的各种网络攻击，如图1所示。

BERT4NID：如图2所示，BERT4NID主要由三个部分组成：（1）网络流量表示。为使其符合BERT模型的输入格式，并保留数据包中各个字节之间的关系，我们采用了Packet2Embedding技术，将由原始字节序列构成的数据包转换为词嵌入。（2）预训练。通过掩码字节预测和同数据流预测这两种代理任务，模型能够学习到网络流量的通用表示形式。

实验设置：在本节中，我们将主要介绍BERT4NID的具体实现细节，以及所使用的物联网基准网络入侵检测数据集和现有的最先进模型。

与传统模型及最先进模型的比较：为了评估BERT4NID模型的性能，我们在4个公开的数据集上，使用BERT4NID模型以及之前提到的15种模型进行了入侵检测实验。实验结果如表3所示。如表3所示，在MedBIoT数据集上，得益于BERT4NID强大的特征提取能力，该模型在各项指标上均优于其他现有的最先进模型。

结论与未来工作：在本文中，我们提出了一种名为BERT4NID的新入侵检测模型，该模型基于BERT的预训练模型，旨在提升网络入侵检测模型的性能及其特征泛化能力。BERT4NID首先运用本文提出的Packet2Embedding技术，将网络流量的原始字节序列转换为适合BERT模型处理的嵌入表示。随后，通过引入两种创新的自监督学习方法……