MHFT：一种基于Transformer融合的多视图异构框架，用于加密流量分类

《ADVANCED ENGINEERING INFORMATICS》：MHFT: A multi-view heterogeneous framework with Transformer-based fusion for encrypted traffic classification

　　

摘要

加密流量的分类对于网络安全和管理而言至关重要。然而，现有的大多数方法都依赖于单一视角的特征，而这些特征不足以描述加密流量中固有的多层结构模式和行为依赖关系。在本文中，我们提出了MHFT，这是一种基于Transformer融合的多视角异构框架，用于加密流量分类。具体而言，MHFT从可观察的包头信息中构建两种互补的视图：一种是为保留局部包头结构模式而设计的包头字节灰度表示，另一种则是用于编码方向感知的突发动态及请求-响应依赖关系的流量交互异构图（TIHG）。随后采用双编码器架构，其中卷积神经网络分支负责学习包头结构嵌入，而图神经网络分支则从TIHG中提取交互图嵌入。为建模这两种视图之间的高阶依赖关系，我们进一步引入了基于Transformer且具有多头自注意力的融合模块。此外，我们还采用了对比学习方法，将不同分支的表示对齐到共享的潜在空间中，并通过多任务联合训练来提升模型的泛化能力和训练稳定性。在三个真实世界的流量数据集上的实验结果表明，MHFT的性能显著优于现有最先进的方法。这些结果表明，MHFT为加密流量分类提供了一种高效且具备实际应用价值的解决方案。

引言

加密流量分类是指识别与加密网络流量相关的特定应用程序、服务或恶意软件[1]。随着加密协议在网络通信中的广泛应用，越来越多的流量变得难以理解，这降低了运营商观察应用程序行为和服务使用情况的能力。这种可观测性的缺失不仅削弱了服务质量保障、异常诊断和资源调度等核心功能，还为攻击者提供了隐藏通道以实施恶意活动[2]。因此，准确的加密流量分类能够帮助网络管理员更好地理解和管理各种复杂的通信行为。

传统的加密流量分类方法依靠人工设计的特征来训练机器学习模型[3]、[4]。这类方法通常需要大量的人工时间和资源来构建特定的流量特征。由于它们严重依赖于特定的通信模式和流量特性，很容易出现过拟合问题，从而难以在动态的网络环境中实现有效的泛化。相比之下，深度学习方法能够自动提取特征，减少了繁琐的特征工程工作，且能够适应多种加密场景，实现端到端的加密流量分类。近年来，用于加密流量分类的深度学习方法已成为网络安全领域的研究重点[5]。然而，现有的研究往往忽视了网络流量中数据包之间关系的提取，导致特征提取能力有限，分类的鲁棒性也较差。与基于特征工程的传统分类方法不同，基于图的方法能够有效捕捉流量中的请求-响应关系、时间依赖性以及交互拓扑结构，从而从行为层面进行分析[6]。这类方法通过建模数据包之间的复杂关系，有助于更深入地理解流量行为。不过，目前的图模型通常对数据包数量较为敏感，无法深入分析数据包的内在结构特征，因此在某些情况下会导致性能受限。总体而言，现有的加密流量分类方法主要关注单模态特征，未能充分挖掘流量中存在的多维度复杂特性。这就使得分类的准确性和鲁棒性无法满足实际应用的需求。因此，有效融合互补的视图已成为提升加密流量分类准确性和鲁棒性的关键研究方向。

为了解决上述问题，我们提出了MHFT，这是一种基于Transformer融合的多视角异构框架，用于加密流量分类。MHFT从包头信息中构建两种互补的视图：一种是为保留局部包头结构模式而设计的包头字节灰度表示，另一种则是用于编码突发级时间关系及请求-响应关系的流量交互异构图（TIHG）。随后采用双编码器架构，其中卷积神经网络分支从灰度表示中学习包头结构嵌入，而图神经网络分支则从TIHG中提取交互图嵌入。为建模这两种视图之间的高阶依赖关系，MHFT还引入了基于Transformer且具有多头自注意力的融合模块，以实现自适应的表示整合。此外，该框架还采用了对比学习方法，将不同分支的表示对齐到共享的潜在空间中，同时通过多任务联合训练来提升模型的泛化能力并增强训练稳定性。我们的主要贡献如下：

• •
  我们提出了MHFT，这是一种基于Transformer融合的多视角异构框架，用于加密流量分类。MHFT构建了两种互补的视图：一种是通过包头字节灰度表示来捕捉可观察包头中的结构模式，另一种则是TIHG，用于建模会话内的时间依赖关系以及流量行为中的交互关系，从而解决了现有单一视角方法的表达能力不足的问题。
• •
  我们提出了TIHG表示方法，该方法将数据包视为具有方向特性的节点，并赋予其考虑突发情况的属性，从而既能捕捉每个数据包的特性，又能反映突发动态。该图结构通过带类型的边来建模突发内的依赖关系以及突发间的关联，从而明确体现会话内的时间顺序和请求-响应交互关系。
• •
  我们引入了基于Transformer的融合模块，用于整合由CNN生成的包头结构嵌入和由GNN生成的交互图嵌入，从而实现跨视角的注意力机制，捕捉超出简单融合层次的高阶依赖关系。
• •
  我们采用了对比学习目标，将不同分支的表示对齐到共享的潜在空间中，同时通过带有分支特定辅助监督的多任务联合训练，来提升模型在不同加密场景下的区分能力、泛化能力以及训练稳定性。
• •
  我们在多个真实的加密流量数据集上进行了全面测试，包括ISCX-VPN2016、ISCX-Tor2016和CICIoT2022。实验结果表明，MHFT在准确率和F1分数方面均显著优于现有最先进的方法，证明了其在实际加密流量分类任务中的强大鲁棒性和广泛适用性。

章节摘录

基于机器学习的方法

机器学习方法利用手工设计的统计特征来构建轻量级的分类器。这类方法具有简单、可解释性强以及在早期加密流量处理场景中性能稳定等优点。例如，CUMUL[7]将流量轨迹转换为累积包长度曲线，再结合支持向量机分类器来实现高效的加密网站指纹识别。AppScanner[8]则能够自动收集移动应用程序的流量数据并从中提取

方法

本节介绍了如图1所示的MHFT。对于双向流量，MHFT会生成两种互补的视图：固定长度的包头字节序列被编码为包头字节灰度表示，以此保留局部包头结构模式；同时，数据包会被组织成TIHG，用以明确建模会话内的时间依赖关系以及数据包之间的交互关系。之后采用双分支编码器架构，其中CNN编码器负责将灰度表示转换为包头结构嵌入

数据集

我们使用三个公开的真实世界加密流量数据集来评估MHFT的性能，具体如下：

ISCX-VPN2016[36]：该数据集主要用于对通过虚拟私人网络传输的加密流量进行分类。它包含了由六种常见应用程序生成的VPN流量轨迹，涵盖了网页浏览、流媒体播放、聊天以及其他通信服务等活动。

ISCX-Tor2016[37]：该数据集则是为加密流量的分类而设计的

结论

在本文中，我们提出了MHFT，这是一种基于Transformer融合的多视角异构融合框架，用于加密流量分类。MHFT通过包头字节灰度表示和TIHG来表示每一条双向流量。该框架结合双编码器架构、对比学习以及基于Transformer的融合技术，在多任务学习目标下整合了两种分支的表示。在三个真实世界的流量数据集上的测试结果表明，MHFT取得了优异的性能

CRediT作者贡献声明

彭志华：撰写——初稿、可视化、验证、监督、软件开发、项目管理、方法设计、调研、形式化分析、数据整理、概念构思。凌振华：撰写——审阅与编辑、监督、资源协调、项目管理、形式化分析、概念构思。李彦军：撰写——审阅与编辑、监督、调研、形式化分析、概念构思。赵正鹏：撰写——审阅与编辑、监督、项目管理，

利益冲突声明

作者声明，他们不存在任何可能影响本文所汇报工作的已知财务利益或个人关系。

Jihua Peng|Zhenhua Ling|Yanjun Li|Zhengpeng Zha