通过图变换器在来源图上利用表示学习来提升APT（ Advanced Persistent Threat，高级持续性威胁）检测能力

《Computer Networks》：Enhancing APT detection via representation learning on provenance graphs with graph transformers

　　摘要
先进持久性威胁（APTs）已成为现代网络系统中最严重的网络威胁之一。与传统的网络攻击不同，APTs通常具有隐蔽性、持久性，并包含多个阶段，恶意活动往往隐藏在大量的良性系统行为中。基于来源图的检测方法因此成为APTs检测的重要手段，因为来源图提供了系统实体及其交互的结构化表示。然而，现有的基于学习的方法主要依赖于局部图表示，且在建模可能发生在APT攻击不同阶段的远距离实体之间的关系方面能力有限。它们在处理大规模来源图和执行精确的细粒度检测时也面临挑战。在本文中，我们提出了BEACON，这是一个基于来源图的APT检测框架，采用了多维度表示设计。BEACON同时建模了三种互补类型的信息：实体语义、局部因果结构和全局系统上下文。语义信息描述了实体属性和行为语义，结构信息通过来源边捕获局部因果交互，而全局信息扩展了局部邻域的范围，提供了远距离实体之间的图级上下文信息。为了实现这一设计，BEACON使用语义嵌入作为初始节点表示，基于GCN的结构编码器来建模局部因果邻域，以及基于线性注意力的图变换器来以线性复杂度捕获全局上下文。在攻击检测方面，BEACON遵循基于异常的范式，仅需要良性数据进行训练。进一步结合了多个异常指标来衡量与正常行为的偏差，从而实现图级和实体级的检测。我们在五个广泛使用的公共数据集上评估了BEACON，并将其与最先进的APT检测方法进行了比较。我们还进行了表示可视化和广泛的消融研究，以检查不同特征组件和异常指标的作用。实验结果表明，BEACON在不同的数据集上取得了强大的检测性能。消融结果进一步表明，语义、结构和全局信息提供了不同且互补的信息，它们的联合使用有助于减少误报同时保持高召回率。

引言
近年来，网络攻击的规模和复杂性迅速增加，对企业、关键基础设施和政府组织构成了严重威胁。现代攻击活动不再局限于传统的威胁，如恶意软件、网络钓鱼或木马。相反，攻击者越来越采用先进持久性威胁（APTs），这是一种更为复杂且高度针对性的网络攻击类型[1]。APT攻击通常计划周密、隐蔽且持续时间长，使攻击者能够维持对目标系统的持续访问，同时逐步实现其恶意目标[2]。APTs已成为网络空间中最严重的威胁之一。攻击者通常发动APT攻击以执行诸如敏感数据泄露、基础设施破坏和网络监控等恶意活动，造成巨大的经济损失和数据隐私威胁。由于APTs的隐蔽性和持久性，使用传统的安全分析工具很难检测到它们[3]。为了应对APT攻击，研究人员利用数据来源来设计有效的APT检测系统[4]。数据来源收集系统审计日志并将其转换为来源图，这些图提供了系统活动的结构化表示。在来源图中，系统实体（即文件、进程和网络）被表示为节点，而实体之间的交互（例如文件读写、网络连接）形成边。来源图为安全分析师提供了一个观察内部系统行为的强大工具和视角，也是大多数APT检测工具的主要数据来源[5]。

面对日益复杂的APT攻击技术，基于规则和基于统计的传统检测方法已不足以实现有效检测[6]、[7]。近年来，随着深度学习技术的快速进步，基于学习的方法成为主流方法并得到了广泛关注。这些方法通常以来源图作为主要数据源，并使用表示学习技术自动从来源图中学习和提取语义上有意义的特征[8]、[9]。基于学习到的表示，通过监督学习或无监督学习范式进行APT攻击检测。尽管基于学习的方法展示了有希望的检测性能，但它们仍面临一些挑战和限制。首先，现有的基于学习的APT检测方法在从来源图中学习全面表示方面仍存在局限性。一些方法依赖于人工设计的统计特征，这些特征在表示复杂系统行为方面能力有限[10]、[11]。较新的方法使用图神经网络（GNNs）从来源图中学习表示。现有的基于学习的研究表明，实体语义和局部结构信息可以提供区分恶意行为和良性系统活动的有用信号[12]、[13]。然而，传统的GNN主要通过局部图邻域传播信息，这限制了它们捕获大规模来源图中远距离实体之间依赖关系的能力。这一限制对于APT检测尤为重要，因为APT攻击通常是持久性的，并涉及多个阶段。参与不同攻击阶段的实体可能通过长的图距离分离，它们的关系不能仅通过局部邻域聚合来捕获。另一个重大挑战在于处理来源图的可扩展性。从系统审计日志构建的来源图通常包含大量节点，数量从数千到数万不等，在某些情况下甚至达到数十万或数百万节点。处理如此庞大的图数据几乎是所有基于来源图的APT检测方法面临的共同挑战[14]。此外，处理结构化图数据的算法通常计算复杂度高，这引入了大量的资源和计算开销[8]、[9]。因此，设计一个能够高效处理大规模来源图且资源需求低的检测系统仍是一个重大挑战。最后，检测的细粒度和准确性也是一个重要挑战。一些APT检测方法仅支持图级或子图级的粗粒度检测，而不是细粒度的实体级检测[10]、[15]。因此，这些方法只能识别包含恶意活动的子图，而无法准确确定具体涉及的实体。因此，识别具体的攻击实体需要安全分析师进行大量和劳动密集的手动分析[16]。实现高精度、细粒度的实体级APT检测本质上具有挑战性。在来源图中，绝大多数节点对应于良性系统实体，而与攻击相关的实体通常只占很小的一部分。尽管细粒度检测器能够实现节点级检测，但它们容易产生大量误报[17]。

这些观察结果引出了一个重要的表示问题：应该捕获哪些信息来更好地表示恶意和良性系统实体？现有的基于GNN的方法展示了实体语义和局部图结构的价值，但基于邻域的表示限制了来自来源图远端部分的信息。对于长期和多阶段的APT攻击，我们认为有效的表示应同时考虑三个互补的信息范围：实体本身的语义特征、其与局部因果邻域的交互，以及其与更广泛系统环境中远距离实体的关系。基于这一动机，我们提出了BEACON，这是一个基于来源图的APT检测框架，采用了多维度表示设计。BEACON从三个互补的信息范围对来源实体进行建模：语义、结构和全局信息。语义信息表征了个别实体的属性和行为语义，描述了实体是什么。结构信息通过来源边捕捉实体与其局部因果邻域的交互。全局信息扩展了表示范围，提供了远距离实体和系统活动之间的更广泛的图级上下文。因此，这三个组成部分捕获了来源信息的不同方面，而不仅仅是重复建模相同的信息。BEACON的关键设计在于根据长期和多阶段APT检测的表示需求组织这些互补的信息范围。

为了实现这一设计，BEACON首先构建节点摘要句子，并使用Word2Vec对实体语义进行编码。基于这些初始节点表示，基于GCN的结构编码器沿着来源边聚合信息以捕获局部因果交互，而基于图变换器的全局编码器扩大了感知范围，旨在模拟超出局部邻域传播的交互。因此，全局编码器的引入是为了补充而不是取代局部结构编码器。然后将这些表示结合起来，为后续的APT检测提供更完整的表示。为了解决可扩展性问题，当来源图的大小变大时，BEACON不再采用全批量训练策略。相反，它首先将来源图分割成小批量，然后进行小批量训练，从而使BEACON能够高效处理大规模来源图，同时降低计算和资源开销。此外，BEACON支持多粒度检测，意味着它可以在图级进行粗粒度检测，也可以在实体级进行细粒度检测。这种灵活性使该方法能够适应不同的检测需求和分析场景。

BEACON采用基于异常的检测范式进行APT检测。具体来说，在训练阶段，BEACON仅使用良性数据进行训练，不需要任何关于攻击模式的先验知识。在检测阶段，通过测量观察到的数据与学习到的正常行为的偏差来识别潜在攻击。为此，我们设计了三个异常指标来计算每个数据点的异常分数，每个指标从不同的角度量化异常性。然后整合这些指标，并使用Z分数进一步测量测试数据与正常行为的偏差，从而实现有效的异常检测。我们实现了BEACON，并在五个开源和广泛使用的数据集上进行了广泛的评估。我们将我们的方法与最先进的方法进行了比较，以全面评估其检测性能。此外，我们还进行了消融研究，以验证所提出的特征提取模块和设计的异常指标的有效性。我们还对学习到的特征进行了可视化分析，以更好地理解它们的区分能力。实验结果表明，我们的方法在评估的数据集上实现了强大且具有竞争力的检测性能。

总结
本文的主要贡献如下：
• 我们提出了一个专为基于来源图的APT检测设计的多维度表示框架，该框架联合建模了实体语义、局部因果结构和全局系统上下文。这三个信息层次旨在捕获恶意实体的不同特征，并为检测长期和多阶段的APT攻击提供互补的视角。
• 我们引入了一个全局表示组件来补充传统的基于GNN的局部表示。结构编码器通过来源边捕获显式的局部因果交互，而全局编码器扩大了感知范围，使得远距离实体之间能够进行图级信息交换。结合实体语义信息，这一设计使BEACON能够从实体级、局部邻域和全局上下文的角度表示来源实体。
• 我们实现了BEACON，并在五个公共数据集上进行了广泛的评估，包括与最先进方法的比较、表示可视化和消融研究。结果证明了BEACON的有效性，并进一步验证了所提出的特征组件的不同作用和互补效应。

**激励示例**
为了激发我们的工作，我们用DARPA Engagement 3 [18] CADETS数据集中的APT攻击场景进行了说明。在这个场景中，攻击者利用FreeBSD操作系统中的Nginx后门发起攻击。攻击者对Nginx后门的利用导致nginx服务器被破坏，从而建立了与命令和控制（C&C）服务器的连接。接下来，攻击者通过/tmp/vUgefal目录下载了恶意负载vUgefal。

**类似先前的研究[20]、[28]，**我们假设外部攻击者通过利用后门等漏洞渗透系统，并在未被检测到的情况下长时间存在。在此期间，攻击者将进行多项恶意活动，隐蔽地完成攻击目标。我们还假设目标主机上的底层操作系统和审计框架属于可信计算基础（TCB）的一部分。因此，攻击者...

**符号和术语**
在本节中，我们正式定义了本文中使用的符号，并对相关术语提供了详细解释。

**来源图**
来源图是一种通过解析原始系统审计日志构建的有向循环图。在基于来源图的检测系统中，来源图是基本数据源，其构建通常是构建此类系统的第一步。来源图提供了一个结构化的概览。在本节中，我们介绍了BEACON的总体设计。该框架由三个主要组件组成：（1）来源图构建，它解析原始审计日志以提取系统实体及其交互，并构建来源图；（2）图特征提取，它从语义、局部结构和全局上下文信息中学习来源实体的多维表示；（3）异常检测，它使用多种异常指标进行检测。

我们使用Python 3.11.14实现了BEACON，代码量约为2000行。来源图构建和图特征提取模块使用了PyTorch Geometric（PyG）[67]库来实现，该库为图表示学习提供了高效的支持。异常检测模块则使用了Scikit-learn [47]库进行开发。关于超参数设置，节点特征维度d被设置为64，权重超参数α固定为0.5。

随着用户活动的演变，底层系统行为也会相应变化。这种演变可能会引入模型训练数据中不存在的新的行为模式。因此，在训练期间学习到的正常行为模式可能会变得过时。这种情况被称为概念漂移[73]，当模型遇到与历史模式不同的新行为时，可能会导致错误分类。

在本文中，我们介绍了BEACON，这是一个基于来源的APT检测框架，旨在从来源图中学习多维表示。表示设计联合建模了实体语义、局部因果结构和全局系统上下文。语义信息描述了各个实体的属性和行为语义，结构信息通过来源边捕获显式的局部因果交互，全局信息则补充了局部信息。

**CRediT作者贡献声明**
刘峥：撰写——原始草稿、软件、方法论、概念化。
张向良：资源、数据管理。
张立松：验证、数据管理。
杜颖颖：资源、概念化。
郑阳：验证、形式分析。
文瑜：监督、项目管理。

**利益冲突声明**
作者声明他们没有已知的财务利益或个人关系可能会影响本文所述的工作。

刘峥 | 张向良 | 张立松 | 杜颖颖 | 郑阳 | 文瑜