基于多尺度注意力机制和关系理解的知识蒸馏技术，用于物联网网络中的实时入侵检测系统

《Knowledge-Based Systems》：Multi-Scale Attention-Relation-Based Knowledge Distillation for real-time intrusion detection system in IoT networks

　　

Jianheng Tong|Ying Zhang

• •
  为了解决数据标签依赖性问题以及新的攻击检测挑战，提出了一种基于自监督学习的物联网安全入侵检测系统框架，该框架对标签不敏感，能够有效检测新攻击。
• •
  为了解决当前模型中精度与推理延迟之间的不平衡问题，提出了TA-Net模型。该模型利用一维膨胀因果卷积在线性注意力机制中提取时间信息，在保持高精度的同时显著降低了推理延迟。
• •
  为了解决现有知识蒸馏方法中信息提取和传输效果不佳的问题，提出了MDWARKD模型。该模型调整了蒸馏损失权重，并结合了KL散度，有效提升了学生网络的学习能力。
• •
  为异构物联网计算环境定义了一种双层部署工作流：可以在边缘服务器上独立部署TA-Net模型，或者为资源受限的物联网设备提取轻量级的RTCN模型。