数据受限且资源有限的物联网环境中用于入侵检测的跨域深度迁移学习框架

《Sensors》:Cross-Domain Deep Transfer Learning Framework for Intrusion Detection in Data-Constrained and Resource-Limited IoT Environments

【字体: 大 中 小 】 时间:2026年08月29日 来源:Sensors 4.0

编辑推荐:

  摘要:物联网(Internet of Things, IoT)的快速发展推动了互联智能设备与无线传感器系统在关键应用中的广泛部署,显著扩大了网络威胁的攻击面。基于深度学习(Deep Learning, DL)的入侵检测系统(Intrusion Detectio

  
摘要:物联网(Internet of Things, IoT)的快速发展推动了互联智能设备与无线传感器系统在关键应用中的广泛部署,显著扩大了网络威胁的攻击面。基于深度学习(Deep Learning, DL)的入侵检测系统(Intrusion Detection System, IDS)凭借其自动学习复杂攻击模式并检测异常行为的能力,在增强物联网安全方面展现出巨大潜力。然而,这些方法的有效性往往依赖于大量带标签训练数据的可用性,而在许多物联网环境中,由于设备异构性、攻击模式不断演变、隐私约束以及领域特定入侵数据集的有限可用性,获取此类数据十分困难。因此,传统的基于深度学习的入侵检测系统在数据受限条件下往往性能下降。为解决上述挑战,本文提出了一种基于深度迁移学习(Deep Transfer Learning, DTL)的入侵检测框架,适用于数据受限且资源有限的物联网环境。该方法通过在大规模计算机网络入侵数据集上预训练深度神经网络(Deep Neural Network, DNN)模型,随后使用较小的物联网入侵数据集对其进行微调,从而利用源域获取的知识。此外,框架还引入了剪枝(Pruning)与量化(Quantization)技术以降低模型复杂度,支持在资源受限的物联网边缘设备上高效部署。实验结果表明,所提出的DTL框架优于传统的基于深度学习的入侵检测模型,在准确率(Accuracy)、召回率(Recall)、F1分数(F1-score)和受试者工作特征曲线下面积(Area Under the Receiver Operating Characteristic Curve, AUC)方面均获得提升。此外,压缩后的模型实现了模型尺寸的大幅缩减和推理延迟的改善。这些发现证明了跨域知识迁移在解决数据受限物联网环境中入侵检测问题的有效性。
基于深度迁移学习的数据受限物联网入侵检测框架解读

**1. 研究背景与问题**

随着物联网(Internet of Things, IoT)技术的快速发展,大量智能设备和无线传感器系统被部署于医疗、工业自动化、智慧城市等关键领域,网络攻击面随之显著扩大。入侵检测系统(Intrusion Detection System, IDS)通过监控和分析网络流量来识别恶意活动,是保障物联网安全的关键手段之一。基于深度学习(Deep Learning, DL)的入侵检测模型能够自动学习复杂攻击模式并检测异常行为,已在物联网安全领域展现出良好潜力。然而,此类模型的性能高度依赖大规模带标签训练数据。在实际物联网环境中,数据稀缺问题普遍存在:新部署的物联网基础设施缺乏历史运行数据;医疗物联网和可穿戴设备受到隐私法规约束,难以集中采集和共享数据;边缘设备在计算能力、存储空间和能源方面受限,导致持续的数据采集与传输不切实际;设备异构性也造成数据质量不一致。此外,传统计算机网络安全领域已积累了大量高质量的入侵检测数据集,而物联网专用入侵数据集相对匮乏。上述因素使得传统监督学习方法难以在数据受限的物联网场景中有效工作。同时,物联网边缘设备资源有限,模型部署时还需考虑存储、内存和推理延迟等约束。因此,亟需一种能够在数据稀缺和资源受限条件下仍保持高效检测性能的入侵检测框架。该论文发表于《Sensors》期刊,旨在通过跨域深度迁移学习(Deep Transfer Learning, DTL)融合计算机网络与物联网两个领域的知识,并引入模型压缩技术,以解决上述问题。

**2. 研究内容与主要技术方法**

研究人员提出了一个结合深度迁移学习与模型压缩的入侵检测框架。源域使用CIC-IDS2017数据集(包含良性流量和多种常见攻击的计算机网络流量数据),目标域使用IoT-23数据集(包含20个恶意软件捕获场景和3个良性物联网设备流量场景,采集于捷克CTU大学Stratosphere实验室)。为满足跨域学习要求,研究人员对两个数据集进行了特征语义对齐,最终构建了29个对齐的数值特征。目标域数据受限条件被定义为仅使用从IoT-23训练划分中分层抽样得到的5000条记录,并进一步构造1%、5%、10%和25%的递进训练子集。主要技术方法包括:(1)网络型深度迁移学习:先在CIC-IDS2017源域数据上预训练全连接多层感知机(Multilayer Perceptron, MLP)深度神经网络(Deep Neural Network, DNN),再冻结部分预训练层并添加目标域专用层,在IoT-23数据上进行微调;(2)模型压缩:采用基于幅度的权重剪枝(Pruning)去除冗余参数,并结合将32位浮点参数转换为8位整数(INT8)的后训练量化(Quantization)技术,以减小模型尺寸和推理延迟。

**3. 研究结果**

**3.1 性能评估**

研究人员设计了多种不同隐藏层数量的DNN和DTL模型并比较其性能。结果显示,具有三个隐藏层、其中两层来自预训练基础模型的DTL模型表现最佳:准确率达到93.9%,显著高于仅使用物联网数据训练的DNN的87.67%。在精确率相同的条件下,DTL的召回率(0.87)和F1分数(0.93)均优于DNN(0.77和0.87)。DTL的AUC为0.91,高于DNN的0.87。损失曲线表明DTL收敛速度更快且验证损失更低。混淆矩阵分析显示,DTL将实际恶意流量误判为良性的比例(6.1%)仅为DNN(12.33%)的一半,表明其在识别攻击方面更有效。此外,DTL模型每轮训练耗时也更短。

**3.2 消融研究**

为评估框架各组成部分的贡献,研究人员比较了四种配置:仅使用目标域数据训练的基线模型、使用源域数据训练的模型、仅使用部分源域知识的迁移学习模型,以及完整DTL框架。结果表明,完整DTL框架在所有评估指标上均优于简化版本。加入迁移学习组件使准确率提升了6.23个百分点,证实了跨域知识迁移的有效性。

**3.3 数据受限条件下的评估**

研究人员在1%、5%、10%和25%四个不同标签数据比例下,比较了仅用目标域数据的DNN与所提出的DTL模型。结果显示,在标签数据最少的1%条件下,DTL与目标域DNN的性能差距最大;随着目标域数据量增加,目标域DNN逐渐接近DTL的性能。这说明跨域迁移学习的主要优势在于减少对大规模带标签物联网入侵数据的依赖。

**3.4 迁移层分析**

研究人员对比了冻结不同数量预训练层(一层、两层、三层)的配置。结果表明,冻结前两层并微调其余层能够在保留源域通用知识与适应物联网特定流量特征之间取得最佳平衡。仅迁移一层时模型未能充分利用源域知识;而迁移所有层则可能引入域偏差。

**3.5 压缩分析**

在剪枝方面,50%剪枝水平在模型尺寸(降至0.04 MB)和准确率(降至0.88)之间取得了较好平衡;70%剪枝导致准确率显著下降至0.59。将50%剪枝与INT8量化结合后,模型尺寸缩小了5.9倍,准确率从93.90%降至88.32%,损失5.58个百分点,但显著降低了存储和计算资源需求。

**3.6 边缘部署配置与可部署性**

研究人员基于典型的ARM架构嵌入式系统(如Raspberry Pi 5类单板计算机)讨论了部署架构,包括本地流量采集与预处理,以及使用TensorFlow Lite等轻量级推理引擎执行压缩DTL模型的二分类。该部署方式适用于智能家居、工业物联网和智慧城市等资源受限场景。

**3.7 域差异与局限性讨论**

研究人员指出,CIC-IDS2017与IoT-23来自不同运行环境,域差异可能导致负迁移;框架目前仅进行二分类,且依赖训练数据中已知攻击类别,对零日攻击的检测能力有限;物联网环境的动态性可能导致概念漂移,未来需引入持续学习或定期重训练。

**4. 结论与未来工作**

本研究验证了深度迁移学习在物联网入侵检测中的有效性。实验结果表明,利用计算机网络和物联网数据共同训练的深度迁移学习模型,其性能优于仅使用物联网数据训练的深度神经网络。在所提出的框架中,计算机网络入侵数据作为源域用于预训练一个三层深度神经网络;在迁移学习阶段,保留大部分预训练参数,同时添加额外层并使用物联网入侵数据进行微调。该跨域知识迁移使模型能够利用从计算机网络流量中学到的信息,并将其适配到物联网入侵检测任务。最终框架在准确率(93.9%)、召回率(0.87)、F1分数(0.93)和AUC(0.91)方面均获得提升,同时缩短了训练时间。模型压缩的引入进一步扩展了框架在资源受限物联网边缘环境中的适用性。跨域深度迁移学习、剪枝和量化的组合使得开发轻量级入侵检测模型成为可能,该模型在保持较强预测性能的同时显著降低内存开销。因此,该框架展示了跨域知识迁移在同时应对数据稀缺和资源限制挑战方面的潜力,为在数据受限环境中保障物联网系统安全提供了实用且可扩展的解决方案。未来工作将探索多个源域、不同神经网络架构和生成式人工智能技术,并计划将二分类扩展为多分类以区分不同恶意软件场景和攻击家族,同时引入持续学习能力以适应新兴攻击模式,并在代表性边缘计算平台上验证实际部署效果。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号