高速网络流量的快速增长产生了对识别具有特定行为模式的流的需求，这对于服务分类[1]、行为聚类[2]、威胁调查[3]和基于特征的流检索[4]等任务至关重要。从数据中心到互联网服务提供商（ISP）和主干路由器，现代网络基础设施必须处理数百万个并发流，在严格的内存和处理限制下提取每个流的表达性行为信息变得越来越困难[5]，[6]。传统上，这是通过基于规则的匹配或机器学习（ML）[1]，[7]，[8]来解决的。虽然基于规则的方法难以处理模式变化，但基于ML的方法通常依赖于多包特征聚合和推理管道，这引入了非平凡的延迟、内存占用和部署复杂性，使得它们难以直接在具有严格每包处理限制的高速数据平面上运行[9]，[10]。相比之下，基于相似性的识别——定位与参考特征匹配的流——提供了灵活性和可解释性的平衡[2]。它特别适用于零日僵尸网络检测[11]、DDoS变种调查[12]和加密流量分析[8]等场景，在这些场景中，预定义的规则不可用，用于ML的标记数据稀缺，且快速、可解释的部署至关重要[13]，[14]。然而，现有的基于相似性的方法通常依赖于每个流的状态或重量级的概要，导致内存使用量与活跃流的数量成线性增长[15]，[16]。因此，迫切需要可扩展且内存效率高的机制，能够基于行为相似性在高速数据流中准确识别关键流。
为了理解现有解决方案的局限性，考虑基于概要的测量的能力和局限性是有帮助的。概要技术提供了流级统计的紧凑摘要，并且可以实时更新，已被证明在频率估计[17]，[18]，[19]，[20]、基数估计[21]，[22]和热门事件检测[23]等任务中非常有效。然而，这些结构本质上是为了保留聚合统计信息而设计的，而不是为了进行相似性比较所需的丰富行为特征，因此不适合表示表达性强的每个流模式。相比之下，基于相似性的技术——包括基于Jaccard、余弦及相关指标的技术——提供了一种原理性的方法来比较高维行为[24]，[25]，[26]，但通常需要显式的每个流的状态，这在处理数百万并发流的环境中不可扩展。因此，基于概要的统计和基于相似性的行为匹配主要作为独立的工作线发展，而一种能够实现可扩展、内存效率高的基于相似性的关键流识别的集成设计仍然是一个未解决的挑战[27]。
这一差距需要一个系统，将基于概要的总结效率与相似性建模的表达能力结合起来，以实现与目标行为特征匹配的流的可扩展识别。由于基于概要的聚合与通常用于相似性估计的高维状态之间的不匹配，实现这种集成并非易事。此外，在高速环境中，绝大多数流是无关的背景噪声。我们认为，可扩展相似性识别的科学关键在于“分层信息蒸馏”方法：使用最少的内存来积极丢弃噪声，从而为最相关的候选者保留宝贵的片上资源进行高保真行为建模。这些因素暴露了几个必须解决的基本设计挑战，以便在规模上实现基于相似性的关键流识别。
在内存限制下保持与相似性相关的结构。在高速数据平面部署中，一般的基于概要的系统在严格的内存预算下运行，这使得保留所有流标识符及其完整特征表示变得不可行。这对于基于相似性的检测尤其成问题，因为部分信息可能会掩盖有意义的流间关系。在这种情况下，近似相似性方法通常会失败，因为它们通常假设可以完全访问原始数据。设计选择性保留对相似性至关重要的流或动态替换信息较少的条目的机制，同时不引入过多偏差，仍然是一个未解决的挑战[28]。
捕捉多发性感知的相似性。在高速网络流量分析中，传统的相似性估计算法（如MinHash[29]）通常将输入视为集合，隐含地假设元素的多重性是无关的。然而，在现实世界的网络流量中，某些元素（例如目标IP、端口等）的频率和重复性携带了重要信息。因此，将流建模为多重集而不是集合对于区分表面上相似但在语义上不同的行为至关重要。开发空间高效且保持多重性的相似性模型在高速场景中仍然是一个未充分探索的领域。
协调低延迟需求与大量内存开销。高速网络中的实时流量分析要求低延迟处理，但基于相似性的检测通常需要占用大量内存的操作，这超出了片上容量。仅依赖片外内存会引入延迟瓶颈，而将计算限制在片上内存则会限制准确性。设计在片上进行轻量级过滤或概要处理的混合架构，同时将复杂的相似性分析卸载到片外组件，是一个有前景但未充分探索的方向。
为此，我们提出了MSFramework，一种用于高速网络的多阶段基于相似性的关键流识别框架。正如我们的设计所示，MSFramework通过分层、共享状态的概要架构，在严格的片上内存限制下协调了基于相似性的流识别。我们的工作做出了以下贡献：
多阶段解耦设计：我们提出了一种过滤-估计架构，将粗粒度噪声拒绝（FastFilter）与细粒度相似性建模（AccurateFilter）解耦，打破了行为识别中内存消耗与流基数之间的线性依赖。
高效概要建模：我们设计了一种空间高效的概要结构，保留了流行为的频率分布（多重集），解决了传统基于集合的相似性指标在捕获体积流量模式方面的局限性。
混合资源优化：我们正式化了片上数据平面处理和片外管理之间的联合设计，用于参考特征存储，实现了低延迟数据包处理和高保真相似性分析之间的最佳平衡。
通过协调这些组件，MSFramework在严格的资源限制下实现了高效的大规模基于相似性的流识别。
我们在四个公共流量数据集上评估了MSFramework。实验结果表明，它在保持竞争性处理效率的同时，实现了显著更高的精确度。具体来说，与基线相比，其精确度提高了17.7倍，F1分数提高了9倍以上，同时在相同的内存限制下保持了与现有基于概要的基线相当的每包处理吞吐量。这些结果表明，MSFramework为高速网络中的基于相似性的关键流识别提供了一个有效且资源高效的解决方案。
本文的其余部分组织如下。第2节回顾了相关工作；第3节正式阐述了关键流识别问题；第4节介绍了MSFramework的设计；第5节评估了所提出的方法；第6节总结了本文。
