一种使用混合VAE-Swin Transformer模型进行恶意软件分类的自监督方法

《Information Processing & Management》：A self-supervised approach to malware classification using hybrid VAE-Swin Transformer models

　　

• 设计了一种在瓶颈层采用Swin Transformer的混合变分自编码器模型（MalVEIT），用于恶意软件分类。• 改进的Swin Transformer使用层次化的窗口注意力机制来捕获本地恶意软件模式。• 变分自编码器（VAE）将恶意软件图像编码到概率潜在空间，并通过解码器对其进行重建。• 设计了一种多级损失函数，首先使用Kullback-Leibler散度（KLD）实现收敛。• 在不平衡数据情况下，恶意软件分类的准确率有所提高。引言在当今数字化时代，互联网已成为日常生活中不可或缺的一部分，彻底改变了我们执行日常任务的方式——从购买食品杂货到结算账单（Stecu?a等，2024年）。这一技术进步显著提升了人类的效率和便利性。然而，正如一句古老的谚语所言，每朵玫瑰都有刺。互联网被全球数十亿用户广泛采用，但无意中也为网络威胁打开了洪水闸门，给了黑客和恶意软件实施者充足的机会来利用敏感信息。互联网的进步促成了恶意软件威胁在数量和复杂性方面的广泛增加，对网络安全系统造成了严峻挑战（Musa等，2024年）。恶意软件可以侵犯敏感信息、中断网络操作、获取未经授权的系统访问权限、加密工业物联网设备并持续监控用户活动（Wang等，2024年）。传统的抗病毒和基于签名的入侵检测系统依赖预定义的签名来识别恶意软件（Iyer，2021年）。然而，现代恶意软件通常采用加密、多态性和打包技术来逃避检测，从而增加了对准确且具有泛化能力的恶意软件分类方法的需求。因此，数字领域一直在网络罪犯和安全专业人员之间进行着一场永恒的冲突。战场不断演变，需要持续开发防御机制。所采用的策略之一是通过打包进行代码加密，这是一种旨在使程序背后的逻辑变得复杂的技术，从而保护其免受未经授权的审查（Raitsis等，2025年）。这种方法强调了持续保持警惕、不断创新和加强安全协议的必要性，以便在恶意实体面前保持领先。在当今以普遍存在在线风险为特征的数字化时代，ISACA 2023年网络安全状况报告揭示，近半数组织（48%）观察到今年网络攻击较去年有所增加（Costigan & Ni Thuama，2023年）。这一数据作为恶意软件所构成威胁不断持续性的一个令人警醒的提醒，突显了建立强大且主动的网络安全基础设施的迫切需要。随着我们进一步深入数字化时代，恶意行为者与网络安全专家之间的持续冲突将愈发激烈，使得保护我们的数字基础设施更加具有挑战性但也更加关键。在此背景下，利用先进的神经网络架构进行恶意软件检测不仅加强了防御策略，还展示了人工智能与网络安全的强大整合。神经网络的核心是感知机，一种能够完成基本逻辑任务的简单单元，但受限于其只能处理线性可分数据集的能力，这推动了多层感知机（MLP）的发展（Tolstikhin等，2021年）。具有输入层、隐藏层和输出层的MLP可以处理更复杂和非线性的关系。下一项进展是卷积神经网络（CNNs），它将卷积和池化操作相结合以增强空间模式识别，通过优化的视觉数据处理能力在图像分类任务中取得了成功（Vasan等，2020年）。视觉Transformer（ViTs）将来自自然语言处理的Transformer架构应用于图像分类，通过基于补丁的序列建模，采用自注意力机制来捕获长距离空间关系。这使得ViTs能够比CNNs更有效地捕获全局上下文，从而在复杂视觉任务上的性能得到提升（Han等，2022年）。如Seneviratne等（2022年）提出的视觉Transformer（ViTs）在恶意软件图像分类中表现出强劲的性能；然而，其固定的补丁大小和单尺度特征提取限制了捕获多尺度表示的能力。此外，其相对于输入大小的二次复杂度对高分辨率数据构成了可扩展性挑战。Liu等（2021年）引入的Swin Transformer（移位窗口Transformer）通过使用层次化特征表示和移位窗口内的本地化自注意力克服了这些限制，使其能够高效捕获从细到粗的细节并降低计算复杂度。本研究的研究动机源于网络安全威胁在数量和复杂性方面的快速增长，这些威胁持续挑战着现代网络安全系统（Bensaoud等，2024年）。传统的机器学习方法严重依赖特征选择，使其性能对所选特征子集敏感，且在遗漏相关特征时容易受到信息损失的影响（Ali等，2022年）。尽管基于CNN的方法在恶意软件图像分析中取得了可喜的成果，但其本地化感受野限制了捕获长距离上下文依赖关系的能力（Wu等，2024年）。基于Transformer的架构作为一种强大的替代方案应运而生，利用自注意力机制来建模本地和全局上下文关系。然而，现实世界中的恶意软件数据集仍然高度不平衡，并经常受到打包技术的影响，导致模型表现出有限的鲁棒性和泛化能力（Tran等，2025年）。为了解决这些挑战，本文提出了MalVEIT，一种在瓶颈层使用注意力机制的混合深度VAE。恶意软件二进制文件在表示为字节图图像时，表现出微妙且空间分布的结构和纹理模式，这些模式能够指示其家族和类型。MalVEIT使用VAE，因为它采用了自监督学习策略，在分类之前从被屏蔽的恶意软件图像补丁进行重建。这使得编码器能够直接从恶意软件样本中学习可迁移的潜在表示，从而减少对大量标注数据集的依赖。此外，通过Kullback-Leibler散度进行概率潜在空间正则化，改善了少数恶意软件家族的特征泛化能力，有助于缓解类别不平衡问题。瓶颈层中使用Swin Transformer的层次化移位窗口自注意力增强了鲁棒性，通过捕获本地结构变化和长距离上下文依赖关系。这一设计在减少对大规模标注数据集的依赖的同时，提高了对类别不平衡和恶意软件混淆的抵抗力。本研究引入了一种新颖的架构设计，在瓶颈层实现层次化注意力驱动的特征提取，同时保持VAE的概率公式化。主要贡献总结如下：1. 本研究设计了一种在模型瓶颈层使用注意力机制的混合深度VAE，在统一架构内执行自监督重建和判别性恶意软件图像分类。该模型在六个基准数据集上表现出高准确率和计算效率。2. 本研究采用VAE将屏蔽的恶意软件图像编码到概率潜在空间中。使用Swin Transformer实现移位窗口自注意力机制进行层次化特征提取，使其能够有效捕获本地结构模式和全局上下文依赖关系，即使在存在混淆的情况下也能识别判别性恶意软件特征。3. 解码器使用重参数化技巧从潜在变量中采样来重建输入。Kullback-Leibler散度（KLD）将潜在分布正则化到先验分布，促进平滑且结构化的空间，以提高鲁棒性和泛化能力。4. 一个端到端框架，联合优化自监督表示学习和分类，结合本地自注意力和概率潜在建模，即使在类别不平衡的数据集中也能提取鲁棒且具有判别性的特征。在六个基准数据集上的广泛评估证明了一致的性能表现和强大的泛化能力。本文的其余部分组织如下：第2节回顾了恶意软件检测方法的相