MCA-DiTGBNet：基于注意力机制的分布式Transformer增强LightGBM物联网网络异常检测模型

《Knowledge-Based Systems》：MCA-DiTGBNet: Attention-Enabled Distributed Transformer-Based LightGBM for Anomaly Detection in IoT Network

　　**摘要**在互联网物联网（IoT）环境中，异常检测对于确保可靠性、安全性和高运营效率至关重要，因为这些网络产生大量、异构且持久的数据流。然而，当前方法在处理异构和多模态数据、对缺失或噪声数据的敏感性、大型网络中扩展性差以及无法建模复杂关系等方面面临困难。为了解决这些问题，本研究提出了基于多模态交叉注意力的分布式Transformer轻量梯度提升网络（MCA-DiTGBNet）。所提出的架构利用分布式视觉Transformer从复杂数据中提取固有的空间依赖性，而MCA机制有效结合多样数据并突出相关特征，从而提高了预测性能。此外，基于LightGBM的分类器作为区分不同异常类型的强大且高效的模型，通过改进的决策机制发挥作用。这些组件共同构成了一个强大且智能的系统，能够在动态和大规模IoT环境中准确检测和分类异常。实验中，90%的数据用于训练，10%用于测试。在UNSW-NB-15数据集上测试时，所提出的MCA-DiTGBNet在90%训练率下达到了97.71%的准确率、98.69%的特异性和97.22%的敏感性，展示了其在异常检测方面的卓越性能。**引言**互联网对日常生活的巨大影响促使了物联网技术在多个领域的发明，包括5G、云存储、智慧城市、自动化工业、医疗、金融等，以实现紧急且可靠的运营。预计到2030年，全球互联网使用量将增长至5000亿用户。随着互联网使用量的增加，网络流量也大幅增加[1]。这种快速增长表明，物联网相关行业正迈向里程碑，通过确保更快的通信来管理连接性。估计数据显示，医疗行业使用了31%，工业和制造工厂利用了40.1%，交通行业使用了4.1%，零售和安全行业使用了8.3%，而约7.7%的物联网设备用于其运营[2]。由于物联网网络通常基于几种技术构建，采用不同的协议、层次、软件工具、传感器和执行器，通过连接到互联网实时共享内容[3]。物联网作为一种未来发展的通信方式，与虚拟环境和相关技术相适应[4]。此外，物联网还使多个行业能够管理其运营程序，实现可持续增长。然而，这些技术也容易受到各种网络攻击，破坏系统安全性，造成经济损失并损害特定组织的声誉[5]。随着物联网技术的日益普及，流量增加使系统面临多样化攻击和安全隐患。因此，需要获取改进的机制来确保数据保护并提高隐私性。为此，需要设计关于异常检测的安全架构，以允许受保护的通信[6]。异常识别是保护网络的关键策略，因此它能检测互联系统网络中的异常和不常见活动。在物联网领域，这尤为重要，因为易受攻击的设备产生大量数据，可能使检测变得复杂，导致威胁[7]。拒绝服务（DoS）攻击是最令人担忧的攻击之一，它阻止合法网络用户访问，进而导致公司因漏洞和服务水平协议（SLA）条件而遭受重大损失[8]。然而，异常检测面临重大挑战，包括分布式拒绝服务（DDoS）等各种类型的攻击，利用多台计算机阻止访问。这通常由恶意用户以较高速率传输错误数据来实现，从而阻止对无线介质的访问。另一种网络攻击是欺骗攻击，入侵者隐藏身份以获取访问权限。此类攻击的另一个例子是暴力破解攻击，它试图通过黑客手段窃取用户密码并访问敏感传感器数据。此外，包括数据完整性破坏和窃听在内的许多其他攻击可能会利用物联网应用的可靠性[9]。然而，入侵检测逐渐取代了防御系统，将其概念化为保护网络安全的主要技术。入侵检测系统（IDS）的目标是检测不需要的恶意软件和非授权访问[10]。有两种不同的IDS，即基于异常的IDS和基于签名的IDS。与此同时，基于异常的方法使用特定规则来学习行为模式并检测攻击，使攻击者难以理解且不太可能隐藏其攻击。然而，这些策略可能会产生误报，将之前的意外活动视为异常[11]。由于端口的动态分配，严重依赖端口检查的传统策略已经过时。因此，近期模型利用机器学习（ML）和深度学习（DL）检测异常[12]。由于物联网应用具有更广泛的终端设备连接，攻击面更大，由于应用于计算机网络的协议，这些终端设备可能未受保护。此外，许多终端设备和各种网络缺乏足够的计算资源[7]。尽管之前的研究检查了使用各种ML模型识别物联网异常的情况，但在识别最优模型的效率和可靠性方面仍存在重大差距[13]。医疗行业依赖患者数据的完美传输来确定与及时和挽救生命的干预相关的决策；然而，确定互联网医疗事务（IoMT）系统的安全性仍然是一个关键问题[9]。由于深度学习确保系统得到有效保护和安全，因此实施强大的策略来检测针对物联网网络的异常是有效的[14]。研究涉及一个MCA-DiTGBNet框架，利用注意力机制、分布式Transformer和高效的分类器模型，从物联网环境的复杂数据中识别和分类不同类型的异常。最初，通过物联网使能网络的不同部门聚合数据，然后将它们汇总到单个数据库中。三种类型的数据集，确定广泛的网络行为（包括恶意活动），被纳入作为输入。数据随后经过预处理阶段，其中移除无关列，并使用基于K近邻（KNN）的插补技术解决缺失数据问题，从而确保干净完整的数据用于分析。有效分配数据用于训练和测试，促进结构化评估。此外，核心MCA-DiTGBNet通过高效学习输入特征检测各种网络异常。研究的主要贡献如下所述。**多模态交叉注意力使能的基于分布式Transformer的轻量梯度提升网络（MCA-DiTGBNet）：**MCA-DiTGBNet框架结合了多模态交叉注意力的优点，实现了异构数据源的深度集成和相关性感知融合。分布式视觉Transformer使模型能够学习复杂输入类型的复杂空间和时序依赖性。然而，LightGBM分类器的使用展示了有效的叶节点生长和高维数据上的强大性能，有助于更好的收敛和改进的分类精度。总体而言，MCA-DiTGBNet作为在动态物联网环境中检测和分类不同类型异常的强大且智能方法，具有改进的精度。研究其余部分结构如下：第2节详细阐述现有异常检测方法的文献综述；第3节通过视觉插图表示系统方法。第4节深入探讨提出的异常检测和分类系统。第5节通过分析展示结果，第6节通过结论说明工作的成功之处并展望未来范围。**第2节片段 — 文献综述**以下分析和讨论了一些与异常检测任务相关的研究工作。Wang, S [15]设计了智能双向反向传播神经网络（IBPNN）来检测异常。它结合了注意力和双向长短期记忆（BiLSTM）架构，增强了捕捉长距离相关性。在测试教育和金融数据集时，模型分别达到了97.8%和93.5%的准确率。尽管有这些结果，**第5节片段 — 物联网中的异常检测系统模型**图1展示了所提出的异常检测框架的系统模型。在初始阶段，物联网架构包括感知层、网络层、云层和应用层四个层次。各种传感器和执行器部署在物联网使能设备中，用于从不同部门收集数据，包含在感知层中。在网络层中，感知数据通过边缘设备传输，涉及Wi-Fi等通信协议，**第6节片段 — 提出的用于物联网网络异常检测的多模态交叉注意力使能分布式Transformer轻量梯度提升网络**在物联网环境中，异常检测对于确保网络驱动系统的安全性至关重要。随着物联网设备的增加，产生大量异构数据，使其无法手动监控，导致错误。异常（如意外流量、传感器错误、网络攻击或系统崩溃）可能指示关键问题，如服务中断、安全漏洞或系统效率低下。因此，开发**第14节片段 — 结果**这部分解释了MCA-DiTGBNet在测试各种分析时的结果和讨论。**第44节片段 — 结论**研究提出的MCA-DiGBNet框架利用多模态交叉注意力、分布式Transformer视觉模块和基于LightGBM的分类器的组合，以高度高效的方式检测异常。通过集成物联网网络的不同模态，模型在相当程度上实现了复杂模式的细微表示，这些模式可能指示异常。以分布式方式，视觉Transformer提高了学习复杂**CRediT作者贡献声明****Zeeshan Ahmed Mohammed：** 数据管理。**Mujahedullah H. Syed：** 数据管理。**Abdul Junaid Mohammed：** 数据管理。**Abdul Aziz Syed：** 数据管理。Zeeshan Ahmed Mohammed | Mujahedullah H. Syed | Abdul Junaid Mohammed | Abdul Aziz Syed