知识蒸馏增强的轻量级CBiGRU用于边缘IoMT环境下的入侵检测

《Knowledge-Based Systems》:Knowledge Distillation-Enhanced Lightweight CBiGRU for Intrusion Detection in Edge-IoMT Environments

【字体: 大 中 小 】 时间:2026年08月30日 来源:Knowledge-Based Systems 8.0

编辑推荐:

   摘要医疗物联网应用的快速扩展带来了新的网络安全风险,因此迫切需要能够在边缘设备上运行的有效入侵检测系统(IDS)。然而,大多数现有的深度学习(DL)模型需要大量的计算资源,使其不适合资源受限的环境。为解决这一问题,本文提出了一种两阶段框架,利用软标签知识蒸馏(KD)来训练轻量

  

摘要

医疗物联网应用的快速扩展带来了新的网络安全风险,因此迫切需要能够在边缘设备上运行的有效入侵检测系统(IDS)。然而,大多数现有的深度学习(DL)模型需要大量的计算资源,使其不适合资源受限的环境。为解决这一问题,本文提出了一种两阶段框架,利用软标签知识蒸馏(KD)来训练轻量级的卷积-双向门控循环单元(CBiGRU)模型。与传统的入侵检测系统不同,该方法利用异构蒸馏将循环L2D2教师模型中的复杂时间特征转移到时空学生模型中,随后在边缘进行微调。该方法将模型参数减少到21.9K,同时保持了对洪泛攻击的鲁棒性。实验结果表明,所提出的模型在二分类中达到99.61%的准确率,误报率为9%。对于19个类别的多分类任务,其准确率达到98.51%,Macro-F1得分为0.71,可作为初步的边缘防御手段。此外,在NVIDIA Jetson Nano上的测试显示,其微批处理吞吐量为每秒2,096个样本,每个样本的处理延迟为0.47毫秒。该蒸馏增强框架兼具高精度和参数效率,能够实现低延迟检测,并在医疗物联网边缘网关中优化深度学习模型的部署。

引言

物联网(IoT)通过生成大量需要实时收集、处理和分析的数据,重塑了日常生活[1,2]。基于物联网引入的一项重要发展是医疗物联网(IoMT),它利用各种智能传感器和执行器来改善医疗系统[[3], [4], [5]]。据预测,到2034年,物联网设备数量将从2025年的198亿增长到超过406亿[6],因此需要有效且安全地运行物联网系统[7]。
机器学习(ML)解决方案,包括深度学习(DL),因其处理复杂数据的能力而在医疗物联网领域受到关注。然而,它们在资源受限的环境中面临挑战,因为传统的机器学习难以应对各种物联网流量,而深度学习模型对于低内存设备而言需要过多的计算能力[1,3,7]。物联网和医疗物联网系统的快速增长及其固有的复杂性带来了重大的安全和隐私挑战[8]。安全威胁包括节点伪装、非法数据访问、拒绝服务攻击、窃听攻击,以及对医疗设备劫持,使个人健康信息(PHI)面临风险[4,7,9]。
高效的流量检测仍然至关重要;然而,涉及大量参数和冗长训练过程的复杂深度学习算法在带宽和内存容量不足的医疗物联网连接网络中面临挑战[10,11]。
为应对这些挑战并提升医疗物联网的安全性,本文提出了一种针对类别不平衡边缘硬件优化的异构知识蒸馏(KD)框架[1,10]。与使用标准蒸馏公式的现有方法不同,该方法通过两阶段边缘适应,将循环LSTM教师模型中的复杂时间表示蒸馏到紧凑的时空学生模型中,从而桥接异构架构。为防止教师模型对主要类别的统计偏差主导学生模型的梯度更新,本文引入了两种机制:双重Softmax蒸馏(DSD)和未缩放梯度蒸馏(UGD)。通过这种方法,不仅可以减少参数数量并缓解主要类别偏差,还能保持较高的准确率,使其更适合资源受限的环境[10]。总体而言,本研究的主要贡献如下:
  • •
    提出了一种由DSD和UGD驱动的异构KD框架。该框架在堆叠LSTM教师模型(L2D2)和边缘优化的学生模型之间适应知识转移。DSD是一种教师引导的标签平滑器,可抑制自信的主要类别对数几率;UGD省略了标准的温度补偿因子,允许未缩放的硬标签梯度保留少数类别边界。这使得学生模型能够在边缘进行微调,同时使用保持不平衡分布的医疗物联网网络子集来保留全局检测边界。结果,模型大小减少到0.37 MB,同时以98.51%的多分类准确率优于教师模型。
  • •
    为医疗物联网网络中的入侵检测提出了一种轻量级卷积-双向门控循环单元(CBiGRU)模型。基于消融研究,混合方法验证了融入1D卷积从报头中提取空间信息以及利用BiGRU创建时间流映射在检测多类别医疗物联网攻击中的重要性。
  • •
    本研究通过设备上的实证基准测试评估了硬件约束,使用的是NVIDIA Jetson Okdo Nano平台。结果显示,在批处理大小为1时推理延迟为4.46毫秒,峰值内存使用量为107.09 MB。此外,提出了一种优化的边缘层检测机制,用于拦截DDoS/DoS等洪泛攻击。作为边缘上的初步防御,它策略性地接受0.09的误报率(FPR)以确保拦截洪泛攻击。在部署中,长期异常将被转发到云端进行进一步分析。
本文其余部分结构如下:第二节讨论医疗物联网安全挑战,并回顾物联网中轻量级机器学习的相关工作。第三节解释本文提出的方法,包括安全轻量级机器学习的设计和KD框架。第四节描述实验设置,包括数据集和评估指标。最后,第五节讨论实验结果,总结全文,并提出未来有前景的研究方向。

章节片段

相关工作

已有多篇论文发表,利用机器学习和深度学习来保护医疗物联网网络。本节简要介绍与医疗物联网异常检测相关的机器学习工作。

轻量级卷积-双向门控循环单元

本节介绍所提出的模型,即用于异常检测的轻量级CBiGRU,该模型集成了TL和KD。本节描述了系统概述、TL/KD方法,以及大模型(L2D2)和小模型(CBiGRU)。

实验与结果

本节描述所提出的医疗物联网网络入侵检测框架的实验设置、数据集、结果和讨论。

结论

本研究介绍了一种轻量级CBiGRU框架,通过两阶段异构KD框架进行增强,用于在资源受限的医疗物联网系统中使用CICIoMT2024数据集进行异常检测。消融研究表明,虽然单独的CBiGRU模型在二分类中表现良好,但在多类别场景中准确率降至83.93%,因为对罕见攻击的低映射能力。然而,通过使用KD解决了这一问题,KD将知识转移到了

利益冲突声明

作者声明,他们不存在已知的竞争性经济利益或个人关系,这些可能影响本文报告的工作。

作者贡献

Andres J. Aparcana-Tasayco:撰写 – 初稿、软件、方法论、概念化。Byung Hyun Jo:撰写 – 审阅与编辑、数据整理、验证。Sekione Reward Jeremiah:撰写 – 审阅与编辑、监督。Jong Hyuk Park:撰写 – 审阅与编辑、监督、资金获取、项目管理。

CRediT作者贡献声明

Andres J. Aparcana-Tasayco: 撰写 – 初稿、软件、方法论、概念化。 Byung Hyun Jo: 撰写 – 审阅与编辑、验证、数据整理。 Sekione Reward Jeremiah: 撰写 – 审阅与编辑、监督。 Jong Hyuk Park: 撰写 – 审阅与编辑、监督、项目管理、资金获取。

利益冲突声明

作者声明,他们不存在已知的竞争性经济利益或个人关系,这些可能影响本文报告的工作。

致谢

本研究获得了贸易、产业和能源部(MOTIE)及韩国技术振兴院(KIAT)通过国际合作研发项目的财政支持。(项目编号:P0028271)。
Andres J. Aparcana-Tasayco|Byung Hyun Jo|Sekione Reward Jeremiah|Jong Hyuk Park
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号