SCIMITAR:基于空间可解释的多头注意力Transformer的跨架构物联网恶意软件检测
《Pervasive and Mobile Computing》:SCIMITAR: Spatially interpretable Cross-Architecture IoT malware detection via multi-head attention transformers
【字体:
大
中
小
】
时间:2026年09月20日
来源:Pervasive and Mobile Computing 3.9
编辑推荐:
# 摘要
物联网(IoT)设备在智慧城市基础设施中的大量普及,为恶意攻击者引入了一个关键且不断增长的攻击面。如何保护这些资源受限的设备是一项紧迫的挑战,因为被攻破的物联网节点可能干扰从交通管理到公共卫生监测等关键城市服务。该领域的一个核心难点是自动化威胁检测系统的不透明性,
# 摘要
物联网(IoT)设备在智慧城市基础设施中的大量普及,为恶意攻击者引入了一个关键且不断增长的攻击面。如何保护这些资源受限的设备是一项紧迫的挑战,因为被攻破的物联网节点可能干扰从交通管理到公共卫生监测等关键城市服务。该领域的一个核心难点是自动化威胁检测系统的不透明性,这些系统对其决策依据几乎没有透明度,这一问题通常被称为"黑箱问题"。本文提出了一种新颖的检测框架,针对从约247,000个物联网设备ELF二进制文件中提取的机器码序列应用视觉Transformer模型。这些数据汇编自三个互补的公开数据集:IoTPOT、CUBE-MALIOT-2021以及跨架构ELF恶意软件数据集,涵盖15种CPU架构和40多个恶意软件家族,代表了包括部署在智慧城市基础设施在内的互联网连接嵌入式设备所面临的威胁。该模型实现了0.9864的分类准确率,推进了现有技术水平,同时通过注意力图谱提供了丰富的可解释性,能够定位触发恶意分类的精确固件区域。通过展示如何在特定指令模式与模型决策之间建立因果联系,本研究为物联网安全分析师打开了深度恶意软件检测的黑箱,并为智慧城市场景中更可信的自动化威胁情报奠定了基础。
# 引言
智慧城市依赖庞大的互联物联网设备网络,提供直接影响居民日常生活的服务。嵌入道路的传感器、控制电网的执行器以及部署在医院的监测节点共同实时生成并响应海量数据[1]。这种互联性虽然带来了变革性的影响,但也引入了深刻的安全漏洞。与传统计算平台不同,物联网设备在严重资源受限的条件下运行——内存有限、处理能力受限,且通常没有面向用户的界面,这使得传统安全措施的应用极其困难。威胁行为者迅速利用了这一现实。Mirai等大规模僵尸网络证明,数十万台被攻破的智慧城市设备可以被武器化,用以击溃关键互联网基础设施[2]。威胁的规模难以言表。报告显示,针对物联网的攻击在近年间增长了数百倍,智慧城市基础设施在受影响最严重的领域中位居前列[3]。针对这些设备的恶意软件涵盖广泛的分类:提供持久远程访问的后门、耗尽力设备资源的加密货币挖矿程序、扰乱城市服务的拒绝服务机器人,以及旨在在固件更新中持续存在的未检测到的根套件[4]。
固件级静态分析已成为检测物联网设备恶意行为的最可行策略之一[5]、[6]。通过分析嵌入设备固件中的二进制指令而不执行它们,分析师可以在大规模上刻画设备行为,而无需承担动态分析相关的安全风险和计算成本。这种方法尤其适用于物联网领域,因为在该领域执行潜在恶意的固件可能对关键基础设施造成不可逆的损害。此外,每年发布的新型物联网固件变体的庞大数量要求自动化、可扩展的解决方案。
尽管静态分析相比动态替代方案具有显著优势,但在现代智慧城市部署所需的规模下,人工驱动的固件检查仍然过于缓慢。攻击者不断演化其规避策略,而新威胁出现与人工分析师检测之间的时间差代表了一个危险的脆弱窗口。人工智能(AI)越来越多地被应用于这一问题,机器学习和深度学习模型在自动学习区分恶意与良性固件方面展现出巨大潜力[7]、[8]。该领域的主流方法严重依赖卷积操作作为检测模型的计算骨干[9]。
卷积神经网络(CNN)在识别一系列已知和新型物联网恶意软件家族方面展现了有效性,但它们存在一个固有的结构局限性:卷积操作会丢弃输入中特征的时序和空间顺序[10]。具体来说,考虑一个智慧城市交通控制器,其固件中包含分布在不同部分的可疑函数调用。基于CNN的检测器可能正确地标记该固件为恶意,但它无法阐述固件的哪些部分驱动了这一决策,也无法解释这些可疑模式在指令流中的相对位置。另一个局限性涉及因果关系[11]。CNN模型可以告诉我们它分类了什么,但不能告诉我们为什么——它无法以足够的精度隔离触发恶意分类的具体指令,使安全分析师无法据此采取行动。
本文认为,建立因果关系不仅仅是可解释性的一种理想属性,它对于提升分类准确率本身也是至关重要的。基于注意力的架构为这一目标提供了一条原则性的路径[12]、[13]、[14]、[15]。然而,标准的序列注意力模型不适合物联网固件二进制文件中出现的长指令序列,在这些序列中恶意行为可能分散在数千个机器码之中。因此,我们引入了"智慧城市物联网恶意软件可解释Transformer自动化识别系统"(SCIMITAR),这是一种将视觉Transformer框架[16]适配到智慧城市环境中物联网固件二进制文件可解释恶意软件检测问题的新型模型。
SCIMITAR通过将从物联网固件二进制文件中提取的一维机器码序列转换为结构化的二维表示来运作,形成一个由多头视觉Transformer消费的10通道输入。该架构固有的注意力机制使模型能够识别并突出显示与恶意分类具有因果联系的固件指令空间的特定区域。通过改变一个关键的空间超参数,模型可以浮现出不同的结构模式——有些仅跨越少数指令,有些则延伸至机器码序列的长距离范围——这些模式对应于不同类型的恶意行为。除了提高检测率之外,SCIMITAR还生成了可解释的注意力图谱,使安全分析师能够直接看到驱动每个分类决策的固件位置。
**贡献:** 本文的主要贡献如下:
1. **SCIMITAR** —— 一个用于物联网固件分析的可解释视觉Transformer。我们介绍了一种将视觉Transformer框架适配到物联网固件二进制文件中恶意软件检测问题的新型模型。SCIMITAR将一维机器码序列转换为结构化的二维块表示,由多头注意力编码器消费,既产生分类决策,也产生空间显式的注意力图谱,定位负责该决策的精确固件区域。我们证明这些注意力图谱始终与已知的恶意行为模式对齐,为安全分析师提供了事后归因方法无法实现的可操作可解释性。
2. **跨架构机器码归一化(CAON)**。我们开发了一个新颖的预处理层,将ARM、MIPS、x86和RISC-V指令集特有的架构机器码映射到共享行为词汇表的规范操作类别。CAON使SCIMITAR真正具有架构无关性——这是智慧城市部署中的一个关键属性,因为异构设备集群是常态——并为注意力图谱输出增添了对无需指令集架构(ISA)专业知识即可理解的行为注释。
3. **针对长序列物联网固件的定向架构修改**。我们提出了一系列架构适应方案,包括使用LayerNorm替代BatchNorm以适应多架构固件的分布异构性、GeLU激活函数,以及由深度k参数化的跳跃连接,使大规模视觉Transformer的训练在物联网ELF二进制文件特有的长机器码序列上成为可行。
4. **专门构建的多源物联网ELF二进制语料库**。我们构建了大规模训练语料库的规范,该语料库由三个互补的公开数据集汇编而成(IoTPOT、CUBE-MALIOT-2021和跨架构ELF恶意软件数据集),涵盖15种CPU架构和40多个恶意软件家族。我们提供了一个原则性的三阶段协调流水线,涵盖标签归一化、格式验证和跨源近似去重检测,并通过系统性消融实验实证地证明每个数据源贡献了一个非冗余的覆盖维度。
5. **开源实现**。完整的SCIMITAR流水线已公开发布以供复现,涵盖从原始ELF二进制摄入到语料库协调、标签归一化、近似去重检测、机器码提取、基于CAON的词汇映射、二维机器码图像生成、视觉Transformer训练与超参数调优、与基线的评估、消融实验以及注意力图谱可视化的完整工作流程。完整源代码可在以下地址获取:https://github.com/recluze/scimitar
**论文组织:** 本文其余部分组织如下。第2节回顾相关工作及深度学习基础。第3节介绍SCIMITAR架构。第4节详述实验设置、结果及可解释性分析。第5节以局限性和未来方向作为结论。
## 相关工作与背景
充分理解本文需要熟悉两个交汇的文献体系:针对部署在智慧城市基础设施中的物联网设备的恶意软件检测,以及机器学习(尤其是Transformer架构)在安全问题中的应用。本节依次涵盖这两个领域,从物联网和智慧城市安全格局开始,然后过渡到支撑我们方法的机器学习基础。
## SCIMITAR:架构与设计
本节介绍"智慧城市物联网恶意软件可解释Transformer自动化识别系统"(SCIMITAR)的设计,并解释使其区别于通用视觉Transformer部署的架构和训练选择背后的理由。贯穿全文的目标是构建一个可以从本文提供的信息中忠实地复现的模型,因此我们包含了网络设计、嵌入策略、归一化选择以及所有关键超参数的详细信息。
## 实验评估
为了严格验证SCIMITAR并确立其对智慧城市安全运营的实用价值,我们在一组大规模的实时物联网固件二进制语料库上进行了全面的实验。由于没有单一的公开可用物联网二进制库能够提供足够的规模、家族多样性和架构广度来训练如此复杂度的模型,我们通过结合三个互补的数据源构建了一个专门构建的语料库:IoTPOT蜜罐数据集[48]、...
## 结论与讨论
本文介绍了SCIMITAR,这是一个基于视觉Transformer的可解释物联网固件恶意软件检测框架,用于智慧城市部署,训练语料库专门构建了约247,000个恶意ELF二进制文件,涵盖15种CPU架构和40多个恶意软件家族。SCIMITAR实现了与现有技术水平相当的检测准确率,同时产生了能够空间定位每个分类决策负责区域的注意力图谱,解决了一个...
**作者贡献声明**
Mohammad Nauman:撰写 – 审阅与编辑、撰写 – 初稿、可视化、验证、软件、方法论、调查、形式化分析、数据管理、概念化。
Sohail Khan:撰写 – 审阅与编辑、撰写 – 初稿、可视化、验证、资源、方法论、调查、形式化分析、数据管理、概念化。
**利益冲突声明**
作者声明他们没有任何已知的竞争性经济利益或个人关系可能影响本文中报告的工作。
Mohammad Nauman | Sohail Khan
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号