TARL：用于安全加密流量分析的多任务自适应表示学习方法

《Computer Networks》：TARL: Multi-task adaptive representation learning for secure encrypted traffic analysis

　　

摘要

加密技术的发展使得对加密流量的分析既愈发重要，也更具挑战性。入侵检测、应用分类以及加密网站指纹识别等任务对网络安全至关重要，但目前这些研究往往都是使用单一任务模型独立进行的。这种碎片化的方法限制了捕捉共享行为模式的能力，也影响了任务间的泛化能力。在本文中，我们提出了TARL，这是一种用于安全加密流量分析的新型任务自适应表示学习框架。TARL结合了用于任务无关表示学习的共享内存模块以及用于下游任务适配的任务特定融合机制。为了解决在加密约束下的预训练问题，我们提出了两种自监督目标：掩码特征建模和服务类型预测。我们在四种真实的加密流量任务上对TARL进行了测试，结果表明TARL在泛化能力和各任务精度方面均优于单一任务和多任务基准模型。消融实验进一步验证了共享模块与任务特定模块之间互补设计的有效性。

引言

通过TLS[1]和QUIC[2]等协议，加密技术在现代网络中被广泛运用，这大大提升了数据的隐私性和完整性[3]。然而，这种广泛的采用也使得传统的流量检测技术失效[4]，难以查看数据包内容，进而给入侵检测[5][6]、服务分类[7]以及行为分析[8]等关键安全任务带来了困难。为此，研究人员开始更多地利用流量侧信道[9]、行为模式[10]以及统计特征[11]来推断加密流量的含义。尽管取得了显著进展，但加密流量分析的一个实际难题在于如何在不同任务间实现泛化，即在利用共享知识的同时保留任务特定的细微差别。

现有的加密流量分析方法通常专注于单个任务，比如VPN与NoVPN检测[12]或应用流量分类[13]。这类单一任务模型在大规模部署时不仅资源消耗大，还无法充分利用相关任务之间的协同效应。此外，直接将预训练模型应用于不同任务往往会导致适配效果不佳，因为任务特定的细微差别要么会被丢失，要么无法得到充分捕捉。

如图1所示，预训练得到的表示(a)虽然能提供良好的初始条件，但由于缺乏任务意识，独立微调后的模型(b)可能会学习到相互独立的决策边界，从而忽略其中的共享结构。相比之下，从共享知识中共同学习同时保持任务特定的灵活性(c)，则为多视角的加密流量分析提供了更有效的解决方案。

在本文中，我们提出了TARL，这是一种用于安全加密流量分析的新型Task-Adaptive Representation Learning框架。TARL包含两个核心组件：一个用于编码可复用、与任务无关的流量特征的共享内存库（MB），以及一个用于为每个下游任务调整共享表示的任务特定动态知识融合（TSKF）模块。这两个组件共同使得TARL能够捕捉加密流量中的通用模式和任务特定特征。

我们还提出了一种名为NT-BERT的预训练策略，该策略专为加密网络流量设计，通过结合掩码特征建模与服务类型预测，无需依赖数据包内容的可见性，就能从原始流量特征中学习到具有上下文意义的表示。该模型在四种具有代表性的安全相关任务上进行了训练和评估，这四种任务分别是VPN与NoVPN识别、应用层流量分类、加密网站流量分类以及网络入侵检测。

通过大量实验，我们发现TARL在性能上始终优于单一任务模型（如BiLSTM[14]）以及多任务基准模型（如MT-DNN[15]）。消融实验证实了内存模块和融合模块的重要性，而预训练分析则显示了收敛效率与模型性能之间的权衡关系。本文的主要贡献如下：

• •
  我们提出了TARL，这是一种用于加密流量分析的新型多任务学习架构，它将共享语义记忆与任务特定融合相结合。
• •
  我们设计了一种自监督预训练策略，该策略结合了掩码特征建模与服务类型预测，从而从加密流量中提取出有用的表示。
• •
  我们在真实世界的数据集上进行了大量的多任务评估，结果表明TARL在三种典型的网络流量分类场景以及入侵检测任务中都取得了最先进的性能。

章节节选

背景与相关工作

在本节中，我们将介绍Transformer模型中的双向编码器表示（BERT）及其在流量分类中的应用，概述常见的多任务学习（MTL）技术，并描述基于提示调优的训练方法。

概述与动机

我们提出了TARL，这是一个用于加密网络流量分析中的自适应多任务学习框架，它通过多任务适配来实现对加密服务行为的强大且具有泛化能力的理解。首先，在

中，我们对加密网络流量进行处理，提取数据包长度和到达时间间隔（IAT）特征。然后，根据这些特征对分类和检测性能的贡献程度来选择最具信息量的特征。为了减少特征维度并使其更加一致

评估

在本节中，我们对所提出的TARL框架在多种加密流量分析任务上的表现进行了全面评估，并进行了消融实验。

讨论

在四个加密流量任务上进行联合训练，其性能始终优于单一任务基准模型以及以往的多任务方法，其中在EWTC任务（第3项，相比最佳基准模型的F1值提升0.018）和NTID任务（第4项，F1值提升0.005）上的提升最为明显。表6中的消融实验表明，去掉TSKF模块会导致F1值下降幅度更大（下降0.027），而去掉内存库的下降幅度则较小（下降0.013），这证实了任务特定适配是提升性能的关键因素，而内存库提供的跨任务上下文则起到了辅助作用

结论

在本文中，我们提出了TARL，这是一种用于加密流量分析的多任务学习框架，它能够统一处理不同分类任务的特征表示。通过将共享内存库与任务特定知识融合模块相结合，TARL既能捕捉通用特征，又能生成任务适应性强的表示，有效解决了在语义信息有限的情况下从加密流量中学习的问题。我们在四种具有代表性的任务上对TARL进行了测试：VPN流量

CRediT作者贡献说明

Mengmeng Ge：写作——审阅与编辑，写作——初稿撰写，验证，方法论，研究，数据整理，概念构建。Likun Liu：监督，项目管理，研究。Zhaowei Zhang：验证，软件，资源准备。Hongyu Wang：软件，资源准备。Xiangzhan Yu：写作——审阅与编辑，监督，项目管理。Yijia Xu：可视化，验证，数据整理。Ruitao Feng：写作——审阅与编辑，验证，研究。Zhichao Hu：

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知财务利益冲突或个人关系。

Mengmeng Ge|Likun Liu|Zhaowei Zhang|Hongyu Wang|Xiangzhan Yu|Yijia Xu|Ruitao Feng|Zhichao Hu