基于分布外驱动的检索分类的超快加密网络流量分类

《Computer Networks》：Ultra fast encrypted network traffic classification based on classification by retrieval powered by out-of-distribution

　　

加密技术的主导地位和网络流量的持续增长已使传统的深度包检测（Deep Packet Inspection，DPI）失效，并使基于重训练（retraining）的机器学习分类器在运维上代价高昂，因为每个新应用或威胁类别都需要完整的模型重建。为克服这一挑战，研究人员提出了一种基于检索分类（Classification By Retrieval，CBR）的超快加密流量分类系统：每个流仅从最初几个数据包中提取固定长度的特征向量，在HNSW（Hierarchical Navigable Small World）近似最近邻（Approximate Nearest Neighbor，ANN）结构中建立索引，并通过检索其最近的有标签近邻进行分类。新类别通过向运行中的索引插入少量标记向量即可被吸收，无需重训练，也无停机时间；同时，使用单个全局距离阈值，在相同的检索步骤内即可检测分布外（Out-of-Distribution，OOD）流量。研究人员在公开的CESNET-TLS22数据集（184个应用类别）和专有蜂窝网络数据集（RADCOM）上，将手工设计的统计特征以及学习的CNN（Convolutional Neural Network）和MLP（Multi-Layer Perceptron）嵌入与随机森林（Random Forest，RF）基线进行了对比。使用CNN嵌入时，CBR的准确率与随机森林相当（CESNET上宏F₁为0.923对0.925），而训练速度约快十倍，适应新类别的速度快两到三个数量级（数秒对数千秒），并能在高达0.92的AUROC（Area Under the ROC Curve）下检测分布外流。检索索引的驻留成本也远低于其所替代的基线：在171 MB内存中容纳120万条CESNET流，而序列化森林需1350 MB，因为其大小随索引流数量而非类别数量增长。随机森林在每流分类速度上仍更快，因此权衡在于每流延迟与适应性和内存之间。这些结果表明，基于检索的分类是动态网络环境中实时加密流量分析的一种实用且可适应的替代方案。

随着加密协议的广泛部署和网络流量的指数级增长，传统深度包检测（Deep Packet Inspection，DPI）失效，而基于机器学习的加密流量分类器由于需要针对每个新类全量重训练，运维成本高昂。近期调查指出，适应新类而不频繁重训练，以及检测未知流量，是该领域尚未充分解决的两个关键开放问题。同时，流量规模（如2024年Q1全球蜂窝流量达145 EB/月）要求解决方案必须高效。本文发表在《Computer Networks》上，提出了一种基于检索分类（Classification By Retrieval，CBR）的超快加密流量分类系统，通过近似最近邻（Approximate Nearest Neighbor，ANN）索引实现免重训练的类增量适应和统一的分布外（Out-of-Distribution，OOD）检测。

研究人员在多个真实数据集上评估了所提系统。数据来源包括：CESNET-TLS22（184个应用类别，单日流量1520万流）、专有的RADCOM蜂窝网络数据（35个类别，共13893流）、MIRAGE-2019（23个应用类别），以及仅用作OOD探针的MTA恶意软件流量（约29800流）。研究采用手工统计特征（Handcrafted，HC）和学习的CNN、MLP嵌入，以随机森林（Random Forest，RF）为基线，系统对比了分类精度、训练速度、适应速度、OOD检测能力、推理延迟和内存占用。主要技术方法包括：将每个流截断为前N个包，提取固定长度向量；HC向量由17个统计量和N个有符号包大小组成，可选学习一个W向量进行加权；CNN和MLP骨干在基类上训练后冻结，输出128维L₂归一化嵌入；所有向量索引到层级可导航小世界（Hierarchical Navigable Small World，HNSW）图中，查询时检索最近邻并以其标签作为预测；OOD检测基于最近邻距离超过全局阈值τ；RF基线使用原始特征或嵌入训练，OOD检测使用孤立森林（Isolation Forest）。少样本适应中，CBR直接插入K个新向量，RF则需全量重训练。

研究结果如下：

5.1 基础性能与训练效率。在CESNET上，CNN-CBR与CNN-RF宏F₁几乎持平（0.923对0.925），骨干排名为CNN>MLP>HC；HC-RF比HC-CBR高0.133。CBR训练比RF快约10倍（CNN）、近50倍（MLP）、44倍（HC）。MIRAGE和RADCOM上趋势一致。

5.2 推理延迟与内存占用。RF每流分类更快（CESNET上0.052 ms对CBR检索0.147 ms），但CBR索引内存远小于序列化RF，在CESNET上为171 MB对1350 MB（小7.4倍），且CBR内存随流数而非类数增长。

5.3 时间动态。从N=5到N=10，CNN-CBR在CESNET上F₁从0.872升至0.904；此后CESNET继续提升至N=30的0.956，而RADCOM在N=10后饱和甚至下降。

5.4 少样本适应。CBR注入K个向量仅需数秒（CESNET上2-5 s），RF重训练需1000-2500 s，快2-3个数量级。CNN-CBR在CESNET上平均宏F₁为0.725，优于CNN-RF的0.572；MLP同样领先；HC-RF则反超。MIRAGE上CNN-CBR在8-way任务中与最强元学习基线Matching