智能技术：从联邦学习到具备资源感知能力的网络威胁检测

《Computer Networks》：INTELLECT: From federated training to resource-aware cyber threat detection

　　西蒙妮·马格纳尼|柳博夫·涅多希维娜|罗伯托·多里古齐-科林|斯特凡诺·布拉金|多梅尼科·西拉库萨

摘要
云计算、边缘计算以及物联网的广泛应用增加了网络威胁的攻击面。这是因为大量通常缺乏安全保障且配置各异的设备被大规模部署，这些设备的硬件和软件配置也各不相同。这类设备的多样性带来了多种潜在的攻击方式，使得单个组织难以全面了解所有可能的威胁。在此背景下，可通过联邦学习技术整合来自不同方（如组织、用户、设备）的数据，从而构建强大的异常检测模型。联邦学习使得各方无需公开敏感的训练数据，比如网络流量或传感器读数，就能共同开发基于机器学习的入侵检测系统。然而，部署这些模型可能存在挑战，因为它们可能需要比目标设备上有限的计算资源更多的算力，而这些设备可能已用于其他任务。对于某个组织而言，训练针对特定设备的模型也是不可行的，因为大部分训练数据属于联邦学习过程中其他参与方的私有信息。

为解决这些问题，本文提出了INTELLECT这一创新方案，它将特征选择、模型剪枝和微调技术整合为一个统一的流程，用于动态调整预训练的机器学习模型及其配置，以适配入侵检测系统的需求。通过实证评估，我们分析了INTELLECT方法在根据组织设备的具体资源限制定制机器学习模型方面的优势，并测量了特征选择、剪枝和微调操作对流量分类准确率的影响。此外，我们还展示了在微调过程中结合知识蒸馏技术的优势，该技术有助于机器学习模型在保持历史知识的同时持续适应本地网络模式。

引言
云计算、边缘计算以及物联网设备的发展，增加了对有效防御新兴网络威胁的需求。这类设备及其配置的多样性，使得各个组织容易遭受各种网络威胁和零日漏洞的攻击。应对这些新出现的安全挑战的有效方法之一是协同学习。协同学习是指利用来自多个来源的攻击数据来训练机器学习模型，从而构建更精准、更高效的入侵检测系统。

在此背景下，联邦学习是一种协同学习技术，它允许多个组织仅通过共享机器学习模型的参数来共同开发基于机器学习的入侵检测系统，从而避免泄露可能敏感的训练数据。在流程结束时，每个组织都能获得一个经过优化的检测模型副本，通常称为全局模型，这类模型具有足够的复杂架构，能够处理各种数据模式，同时尽量减少对合法流量的误判。然而，将全局模型部署在边缘设备上存在诸多挑战，因为这些设备的计算能力、内存、磁盘空间、电池续航以及数据访问能力都较为有限。全局模型强大的检测功能往往需要复杂的架构和大量的输入数据，这会消耗大量的运行时内存和计算资源。此外，设备的计算能力还会限制其能够处理的流量类型以及预处理任务的种类。对于单个组织而言，在联邦学习环境下训练针对特定设备的模型并不可行，因为大部分训练数据属于协同学习过程中其他参与方的私有信息。因此，若要在边缘设备上成功部署模型，就必须对全局模型的架构和数据收集要求进行针对性调整。

为降低资源需求，可采用特征选择技术，关闭部分数据收集功能，通常是将那些对流量分类不太重要的特征剔除，从而减小入侵检测系统在设备上的占用资源[2]。另一种方法是剪枝全局模型，通过删除不必要的部分来简化其架构，从而创建出适合资源受限环境的轻量级模型[3]。不过，这些操作可能会降低全局模型的性能，影响在联邦学习过程中积累的知识。微调技术虽有助于减轻模型在处理本地数据时的性能下降，但也会增加模型遗忘在联邦学习过程中从其他参与者那里获取的知识的风险。

迄今为止，我们的研究主要侧重于在训练新的分类器之前先剔除不相关的特征[4]，而对于训练后的优化工作则因训练数据有限而关注较少。在最新的研究中[5]，我们提出了名为“集成式技术驱动学习、预警与持续训练网络”（INTELLECT）的框架，这是一种旨在通过特征选择和模型剪枝来最小化入侵检测系统的计算和内存占用，进而探索可行解决方案的方法。

本文在INTELLECT框架的基础上，进一步引入了基于知识蒸馏的技术，利用完整的全局模型（在本文其余部分称为基础参考模型）的知识，对通过特征选择和剪枝技术生成的轻量级模型进行微调。通过使用开源数据集进行的实验评估，我们利用INTELLECT将多种经联邦学习预训练的入侵检测模型调整为更多轻量级配置，模拟从核心节点到边缘节点的过渡过程。我们研究了利用联邦学习参与者可用的本地数据进行特征选择、模型剪枝和微调所带来的影响，评估了调整后的模型在保持基础参考模型所保留的历史知识方面的性能下降程度。在每种测试场景中，该框架都展现出出色的能力，既能调整现有的检测模型，找到更轻量的配置，又能保持对本地数据及历史知识的高准确率，从而便于在边缘设备上部署。

尽管特征选择、模型剪枝和微调技术在轻量级入侵检测领域已被广泛研究，但现有研究往往是孤立地探讨这些技术。以往的研究通常通过降低输入维度、压缩模型架构或利用本地数据对模型进行优化，但并未提供一种能够同时综合考虑这三个方面的统一流程。此外，现有的基于联邦学习的入侵检测框架一般假设最终的全局模型可以直接部署在网络边缘，而没有考虑到设备之间的差异性，以及在适配阶段缺乏全局训练数据的问题。由于缺乏训练后的适配机制，各组织无法将经过联邦学习训练的模型部署在内存、CPU或存储资源有限的设备上。

为解决这些局限性，INTELLECT提出了一种统一的后续处理流程，该流程包括特征子集探索、结构剪枝以及注重知识保留的微调。与现有方法不同，INTELLECT仅需利用本地数据即可实现全局联邦学习模型的适配，同时还充分考虑了不同硬件环境的特点。这解决了一个根本性且尚未得到充分研究的难题：即在只能使用本地数据的条件下对联邦学习模型进行后续处理与适配。在联邦学习场景中，这一需求尤为重要，因为参与者无法使用全局数据从头开始重新训练模型。

据我们所知，INTELLECT是首个（i）在统一流程中同时探索特征空间、模型架构和学习策略，以及（ii）专门针对具有不同资源和数据可用性约束的异构边缘环境进行部署的方法。

因此，本研究的主要贡献包括：
1. 一种融合了压缩技术和微调技术的轻量级模型适配流程；
2. 一种用于识别适用于异构边缘设备的可行配置的随机特征子集探索机制；
3. 对多种基于知识蒸馏的微调策略进行了系统性评估，以减轻灾难性遗忘问题；
4. 针对实际应用中的资源与精度权衡问题提供了有益见解。

本文的其余部分结构如下：第2节概述相关领域的最新进展；第3节介绍INTELLECT方法；第4节和第5节分别阐述实验设置及所得结果；最后，第6节总结本研究的贡献，并指出未来研究的方向。

相关文献
在本节中，我们回顾了关于特征选择、模型剪枝和模型微调的相关研究。据我们所知，此前尚无研究像INTELLECT那样将这些技术整合到一个统一的流程中。

INTELLECT方法
在本节中，我们介绍了INTELECT方法，该方法运用特征选择、模型剪枝和微调技术（见图1），根据目标设备的资源限制对联邦学习全局模型进行调整，本文中将该全局模型称为基础参考模型（见图2）。由于该模型是通过联邦学习训练得到的，我们认为在适配过程中该组织无法获取完整的训练数据集。

实验设置
我们使用公开可用的数据集来评估INTELLECT，以此展示并证明该方法的有效性。相关代码已公开1，以便他人复现实验。

评估结果
现在，我们将讨论基于第4节中描述的测试环境和配置所获得的实验结果。

结论
在本文中，我们提出了INTELLECT方法，该方法旨在解决基于机器学习的入侵检测系统如何适配特定目标设备的需求这一问题，从而使它们能够在资源受限的边缘设备上得到部署。INTELLECT方法构建了一个流程，该流程以通过联邦学习等协作训练方式得到的预训练基础参考模型作为起点，再结合来自本地数据源的特征选择、模型剪枝和微调技术，从而实现对模型的优化调整。

CRediT作者贡献说明
西蒙妮·马格纳尼：写作——审稿与编辑，写作——初稿撰写，可视化，验证，监督，软件，资源，方法论，研究，形式分析，数据整理，概念设计。柳博夫·涅多希维娜：写作——初稿撰写，方法论，概念设计。罗伯托·多里古齐-科林：写作——初稿撰写，方法论，概念设计。斯特凡诺·布拉金：写作——初稿撰写，方法论，概念设计。多梅尼科·西拉库萨：写作——初稿撰写。

利益冲突声明
作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢
本研究部分得到了意大利企业与制造部（IPCEI Cloud，2022年6月27日——IPCEI-CL-0000007）、欧盟（下一代欧盟计划）以及欧盟的“地平线欧洲”计划的支持，相关资助协议编号为101070473（FLUIDOS项目）。西蒙妮·马格纳尼是意大利热那亚大学与布鲁诺·凯斯勒基金会联合培养的网络安全与可靠人工智能专业博士生。他于2018年在意大利博洛尼亚大学获得计算机科学与工程学士学位，2020年在意大利都灵理工大学获得计算机工程硕士学位。他的研究兴趣包括自适应网络流量监控以及用于检测网络攻击的灵活人工智能方法。