迈向绿色边缘安全：基于混合CNN-Transformer模型的自适应物联网异常检测

《Future Generation Computer Systems》：Toward green edge security: Adaptive IoT anomaly detection with a hybrid CNN–transformer model

　　摘要：物联网（IoT）部署的快速增长加剧了在高度动态和非平稳流量条件下实现可靠、安全和节能运行的挑战。在实际物联网网络中，异常检测系统必须同时捕获复杂的时空依赖关系，同时满足边缘端对推理延迟和能耗的严格约束。然而，许多现有方法在平衡检测准确性与运行效率方面存在困难，尤其是在流量模式和攻击行为随时间演变的情况下。在许多实际部署中，这种演变表现为概念漂移，即网络流量的统计特性逐渐发生变化，使得固定检测模型和阈值变得不可靠。为解决这些挑战，本文提出了一种绿色轻量级的混合CNN-Transformer架构，用于大规模物联网网络中的自适应异常检测。所提出的解决方案使用一维卷积层显式捕获局部跨特征相关性，并在应用注意力机制之前压缩多变量流量表示。这一初步卷积阶段降低了噪声，去除了冗余的时间变化，并生成了紧凑表示，使Transformer能够专注于有意义的时序结构，而非原始高维输入。随后，Transformer编码器在这些紧凑表示上建模长距离时序依赖，从而在降低计算开销的同时有效检测瞬态和持续性异常。通过将卷积压缩与时序注意力相结合，该模型通过联合捕获短程特征交互和长期行为演变来提高检测准确性，同时与纯Transformer设计相比降低了注意力复杂度和推理成本。为进一步增强非平稳条件下的鲁棒性，一种熵引导的自适应阈值机制基于预测不确定性动态调整决策边界，使系统无需重新训练即可保持稳定性能。在三个代表性物联网数据集和边缘硬件上的实验表明，所提出的方法实现了高达97%的检测准确率，平均推理延迟保持在25毫秒以下，与纯Transformer基线相比能耗降低了约27%。统计分析证实这些改进具有显著性（p<0.01），且效应量较大（η2>0.15）。

引言：物联网（IoT）网络的快速扩张从根本上重塑了现代网络物理系统，推动了智能医疗、工业自动化、智能交通和关键基础设施监测等领域的大规模应用[1]，[2]。这些系统持续生成异构、高维的多变量时间序列数据，必须近乎实时地监控以确保运行可靠性和安全性[3]，[4]。在实践中，物联网网络中的异常行为不仅源于显式的网络攻击，也可能由传感器漂移、配置错误、工作负载波动和硬件逐渐退化引起。即使是微小的偏差也可能在互联设备间传播，导致级联故障和服务中断[5]，[6]。因此，异常检测已成为物联网安全架构的核心组成部分，尤其是在网络边缘，及时响应、资源效率和持续运行至关重要。

在大规模边缘物联网网络中，分析功能的持续运行特性带来了日益严峻的可持续性挑战[7]。连续运行的异常检测流水线在长期运行中消耗大量能源，在大规模部署中直接转化为碳排放[8]，[9]。因此，设计不仅准确而且节能且具有碳感知能力的异常检测机制，对于边缘物联网基础设施的长期可行性变得越来越重要[10]。尽管已有大量研究，物联网网络中的有效异常检测仍面临挑战，原因在于流量流的异构性和非线性特征、设备和协议间的复杂依赖关系，以及实际部署的高度动态行为[11]，[12]，[13]。许多攻击和系统故障也在较长时间范围内逐渐发展，要求模型能够捕获长距离时序依赖，而非孤立的点异常[14]，[15]。此外，不断演变的流量模式、设备行为和攻击策略往往使静态模型和固定决策阈值随时间推移而失效，尤其是在概念漂移条件下[16]，[17]。在此背景下，自适应性指的是检测器在概念漂移和先前未见行为下无需频繁重新训练即可保持稳定和可预测性能的能力[11]，[15]。在边缘环境中，自适应性不足不仅会降低检测准确率，还会导致不必要的计算、增加的能耗以及长期部署中可避免的碳开销[15]。

传统的机器学习（ML）方法，如支持向量机、k近邻和随机森林，具有可解释性和相对较低的实现复杂度[18]，[19]。然而，它们难以扩展到高维流式数据，也难以捕获现代物联网流量所特有的复杂时序依赖[20]。因此，深度学习（DL）方法已成为物联网异常检测的主流范式，因为它们可以直接从多变量时间序列数据中学习分层表示[15]，[21]。循环神经网络以及最近的基于Transformer的架构能够建模时序依赖。然而，这些优势往往以增加计算和内存开销为代价，限制了它们在延迟、能耗和碳约束的边缘环境中的适用性。从可持续性角度看，这种开销在固定硬件和电网条件下直接放大了持续推理的运行碳足迹。

基于Transformer的方法，如TranAD[14]，显式建模长距离时序依赖并实现具有竞争力的检测性能。然而，纯Transformer架构通常使用全局注意力模式处理输入特征，这些模式对特征随时间统一处理，限制了表示学习早期阶段对局部跨特征相关性的显式建模。即使使用交叉注意力，这一观察仍然成立，因为注意力机制主要捕获关系依赖，而非在时序建模前强制实施局部特征聚合和维度压缩。自注意力的二次复杂度进一步限制了嵌入式边缘设备上的实时推理。替代方法通过基于图的设计和重构驱动机制来解决空间依赖问题，包括MST-GAT[22]和SGTrans[23]。尽管这些方法改善了传感器间关系建模，但它们引入了额外的结构假设、图构建开销和复杂的重构目标，阻碍了在资源受限平台上的可扩展性和轻量化部署[13]，[24]，[25]，[26]。此外，这些设计选择通过需要额外的矩阵运算进行图消息传递、重复的重构计算以及更大的中间特征图，隐性地增加了持续边缘推理期间的能耗和碳排放，所有这些都增加了边缘硬件上的内存访问、CPU利用率和执行时间。因此，它们的运行足迹往往高于紧凑的前馈检测器，降低了在碳敏感型物联网部署中的适用性。

本研究通过提出一种专为基于边缘的物联网网络中的自适应异常检测而设计的轻量级混合CNN-Transformer架构来应对这些挑战。核心贡献不在于引入根本性的新骨干网络，而在于将表示学习与决策控制相结合。具体而言，我们不将CNN-Transformer配对本身定位为主要新颖点；这种混合骨干网络已在时间序列异常检测中得到探索。核心新颖性在于熵引导的阈值更新机制，该机制在推理期间以固定模型参数执行不确定性感知的决策级自适应。这将表示学习与自适应分离开来，并将所提出的方法与依赖周期性重新训练、启发式阈值调整、漂移触发的重新校准和参数更新的自适应检测器区分开来。一维卷积前端显式捕获局部跨特征依赖关系，并在应用注意力之前压缩多变量流量表示。这种压缩减少了Transformer处理的有效序列长度，在保留判别性时间信息的同时大幅降低计算开销。通过在注意力之前减少冗余时序处理，所提出的设计提高了计算效率，降低了推理能耗和相关碳影响。此外，熵引导的自适应阈值机制基于预测不确定性动态调整检测决策，使得在非平稳流量条件下无需重新训练即可稳定运行。重要的是，所提出的方法并非旨在声称对所有可能的对抗策略具有普遍鲁棒性。相反，它针对的是良性行为和攻击特征随时间逐渐演变的实际运行场景。通过联合考虑表示压缩、长距离时序建模和自适应决策控制，所提出的方法专注于提高实际物联网网络中的检测稳定性、运行效率和碳感知可部署性，这一运行机制尚未被现有的基于Transformer的检测器充分解决。所提出的解决方案符合多项联合国可持续发展目标[27]，通过解决持续边缘物联网分析固有的可持续性挑战。通过为边缘基础设施提供有弹性的智能安全监控，该方法支持SDG 9（工业、创新和基础设施）。对降低推理复杂度、运行能耗和长期运营开销的重视直接有助于SDG 7（经济适用的清洁能源）和SDG 13（气候行动），因为节能异常检测减少了持续运行的物联网安全服务的累积碳足迹。此外，通过避免频繁重新训练、最小化不必要计算并延长部署模型的运行寿命，所提出的方法促进了计算资源的有效利用，符合SDG 12（负责任的消费和生产）。

本研究的主要贡献总结如下：
•压缩混合时序建模：我们引入了一种混合CNN-Transformer架构，其中卷积特征压缩减少了自注意力的时序和维度负担，在时序表达能力、计算效率和碳感知边缘推理之间实现了有利平衡。
•熵引导的自适应决策控制：我们提出了一种不确定性感知的阈值机制，基于预测熵动态调整检测决策，提高在概念漂移和演变的物联网流量下的鲁棒性，而无需重新训练。
•面向边缘和碳感知的实证评估：我们在三个真实物联网数据集和边缘硬件上进行了广泛的实验研究，评估检测准确率以及延迟、能耗和碳影响代理指标，以评估所提出方法在资源受限环境中的实际可行性。

本文的其余部分组织如下。第2节回顾了物联网网络中异常检测技术的最新进展，并指出现有研究空白。第3节详细介绍了安全轻量级混合CNN-Transformer解决方案的架构和工作流程。第4节介绍了实验设置、数据集和评估方法。第5节报告了实证结果以及与基线模型的比较分析，随后在第7节进行解释性讨论。第8节总结了研究的局限性和未来研究方向。第9节总结全文并突出关键发现。

相关研究：本节以结构化顺序回顾物联网异常检测方法，从传统机器学习方法到深度学习、基于Transformer、基于图和分布式学习方法。这种组织方式阐明了该领域如何从特征向量分类演变为针对异构物联网流量的时序、空间和自适应建模。

所提出的方法：本节介绍了一种用于物联网网络中自适应异常检测的混合CNN-Transformer解决方案，显式考虑了运行能效和碳感知边缘推理。所提出的解决方案旨在部署于资源受限的边缘环境，其中推理必须满足延迟、能耗和计算约束，同时在实际物联网系统常见的非平稳流量条件下保持稳定。

实验设置：本节描述了用于在真实物联网和边缘计算条件下评估所提出的混合CNN-Transformer异常检测解决方案的实验方法。评估不仅考察检测有效性，还考察资源受限环境中的运行效率、可扩展性和能源意识。

实验结果：本节评估所提出的混合CNN-Transformer解决方案，重点关注检测有效性、运行效率以及驱动观察到的性能提升的架构原则。分析不仅报告原始准确率值，还强调为什么所提出的设计在真实物联网边缘约束下能改进异常检测，同时保持稳定的能耗和碳感知运行行为。

与现有工作的比较分析：本节将所提出的混合CNN-Transformer解决方案与近期基于深度学习的物联网网络异常检测方法进行对比。比较的重点不是声称在架构原始层面具有新颖性，而是考察不同设计选择如何影响自适应性、计算效率和基于边缘的安全监控的适用性。除概念性比较外，第5节的实验评估还包括卷积、基于Transformer的...

讨论：所提出的混合CNN-Transformer模型的优异性能源于其架构组件的互补作用，而非模型复杂度的增加。与完全依赖循环神经网络的传统深度异常检测方法相比，所提出的设计明确将局部特征抽象与全局时序推理分离开来。这种分离使模型能够捕获相关流量属性之间的短程交互...

局限性与未来工作：尽管实验设计确保了跨多个数据集和处理批次的可控和可复现评估，但仍存在若干局限性。首先，虽然容器化环境和受控的随机种子评估协议提供了较强的内部效度，但实际工业部署可能因异构硬件、网络延迟和不可预测的背景流量而引入额外变异性。因此，性能特征可能在不同...

结论：本研究介绍了一种用于实时物联网异常检测的混合CNN-Transformer解决方案，该方案将局部卷积特征提取与全局时序注意力相结合。通过将空间抽象与时间推理解耦，所提出的模型在实现高检测精度的同时，保持低延迟、可预测的运行时行为以及适合持续边缘部署的能效推理。跨多个物联网数据集的广泛实验评估
CRediT 作者贡献声明
Saeid Jamshidi：写作——审阅与编辑、写作——初稿、可视化、验证、监督、软件、资源、项目管理、方法学、调查、资金获取、正式分析、数据管理、概念化。Omar Abdul-Wahab：监督。Martine Bellaiche：监督。
利益冲突声明
作者声明，他们不存在任何已知的竞争经济利益或个人关系，这些关系可能影响本文所报告的工作。
Saeid Jamshidi | Omar Abdul-Wahab | Martine Bellaiche
计算机与软件工程系，蒙特利尔理工学院，蒙特利尔，魁北克 H3T 1J4，加拿大