可解释的多模态无监督学习在企业环境中用于检测内部威胁的方法

《Journal of Information Security and Applications》：Explainable multi-modal unsupervised learning for insider threat detection in enterprise environments

　　摘要
内部威胁仍然是企业网络安全中最棘手的问题之一，因为恶意行为往往很微妙，会随着时间的推移而演变，并且很少有可靠的标签。尽管现代组织收集了大量的行为遥测数据，但将这些数据转化为可信且可解释的安全警报仍然具有挑战性。在本文中，我们提出了一个完全无监督的、可解释的、可复现的用户和实体行为分析（UEBA）框架，用于内部威胁异常筛查。所提出的贡献是在框架层面上定义的，而不是作为一个单一的固定检测器架构。该框架在用户级别和每天级别对用户活动进行建模，并将互补的无监督检测器与特定方法的融合或基于共识的警报规则相结合。为了使不同用户和检测器家族之间的异构检测器输出具有可比性，通过基于百分位的校准对原始异常分数进行对齐。为了便于分析师解读，特征级别的解释辅以简短的行为导向摘要，描述了被标记的用户-日的主要因素。

通过三个实验实例对框架进行了评估。方法1和方法2在没有可靠内部威胁标签的私人匿名企业活动日志上进行了评估；因此，其结果被解释为面向部署的异常筛查证据，而不是直接验证检测准确性。方法3将仅计数的框架变体应用于公开可用的CERT R4.2内部威胁测试集，在该测试集中，真实标签仅用于事后评估。在CERT R4.2上，该框架取得了强大的测试集性能，而在私人企业日志上，它产生了集中、稳定且可解释的异常筛查输出，符合操作分类目标。

引言
内部威胁仍然是企业网络安全中最具挑战性的问题之一[1]。与外部攻击不同，内部滥用通常通过合法访问和常规操作展开，使得恶意意图很难与正常工作行为区分开来。同时，现代组织收集了越来越丰富的行为遥测数据，包括身份验证事件、文件操作、通信记录和网络访问日志[2]。尽管这些数据提供了关于用户如何与企业系统交互的宝贵见解，但内部事件的可靠标签很少见、不完整或完全不可用，而且用户行为也会自然随时间变化[3][4]。这些因素共同限制了监督学习方法的应用，并促使人们对无监督的用户和实体行为分析（UEBA）系统的依赖日益增加[5][6]。尽管无监督UEBA系统具有很大的潜力，但在操作环境中仍然难以部署[5][6]。企业用户在角色、时间表和活动量方面存在很大差异，这使得构建稳定的全局行为基线变得复杂。此外，行为信号来自具有不同结构、覆盖范围和噪声特征的多个数据源，从而使得统一建模变得具有挑战性。无监督检测器也倾向于产生不兼容的数值范围的异常分数，这阻碍了用户、检测器家族和部署环境之间的有意义比较[7][8]。最后，许多现有方法的可解释性有限，并且依赖于特定的预处理选择或随机训练程序，降低了分析师的信任度，使得结果难以复现[5]。

高级方法
为了解决这些限制，我们提出了一个可重用的UEBA框架，由五个方法论层次组成：用户-日行为表示、互补的无监督检测、基于百分位的异常分数校准、特定方法的分数融合或基于共识的警报以及面向分析师的解释。实验评估分为三个框架实例。方法1是一种文本+行为的流程，应用于私人匿名企业活动日志，将分词后的活动序列与行为指标结合在一起。方法2是一种仅计数的流程，应用于相同的企业数据集，使用聚合的表格行为特征，不涉及序列级的语义嵌入。方法3在CERT R4.2上提供了相应的带标签的基准评估，在训练、校准、阈值选择和警报生成过程中不使用标签。由于企业数据集没有可靠的内部威胁标签，方法1和方法2的结果被解释为面向部署的异常筛查证据，而不是直接验证内部威胁检测的准确性。因此，贡献在于形式化了一个可复现且可解释的异常筛查框架，该框架能够对齐异构检测器的输出，并支持用户和数据集之间的可解释排名，而不是引入一个新的独立的异常检测器。

相对于以往工作的新颖性
这项工作的新颖性在于在框架层面整合了在之前的UEBA和异常检测研究中经常单独研究的组件。现有研究通常评估单个检测器、固定特征流程或特定于基准的预处理策略。相比之下，所提出的框架明确地将可重用的方法论原则与数据集特定的实现分开。它将五个元素结合成一个统一的设计：用户-日行为表示、互补的无监督评分、基于百分位的分数校准、特定方法的融合或基于共识的警报以及双层解释。这种整合对于操作型UEBA尤为重要，因为原始异常分数必须在用户和检测器之间具有可比性，警报必须对分析师可解释，并且结果必须在数据集和实验设置之间保持可复现性。与我们之前的工作相比，后者主要集中在基于NLP的内部威胁建模和语义活动表示上，本研究在三个方面进行了扩展。首先，它形式化了一个通用的无监督UEBA框架，而不仅仅是一个特定任务的流程。其次，它引入了基于百分位的分数校准作为跨检测器可比性的明确框架组件。第三，它将企业异常筛查证据与基于CERT的基准验证分开，从而避免了从一个评估设置到另一个评估设置的过度泛化。由于企业数据集不包含可靠的内部威胁标签，我们不将企业日志的结果视为内部威胁检测准确性的直接证据。相反，方法1和方法2用于评估面向部署的属性，包括异常排名的稳定性、高分数用户日的集中性、可解释性以及在分布变化下的鲁棒性。通过方法3在CERT R4.2上进行了受控制的基准评估，在评分后仅使用标签进行事后评估，而在训练、校准或阈值选择过程中从未使用标签。这种分离防止了将操作异常筛查证据与经过验证的基准性能混淆。

贡献
这项工作在几个方面为内部威胁异常筛查领域做出了贡献：
• 我们提出了一种可重用的无监督UEBA框架，用于内部威胁异常筛查，将框架层面的建模原则与数据集特定的方法实现分开。
• 我们引入了一种基于百分位的校准策略，将来自不同检测器的原始异常分数映射到一个共同的可解释尺度上，从而 enabling 跨用户、检测器家族和数据集的比较。
• 我们通过后期融合或基于共识的警报策略结合了互补的无监督检测器，允许不同的异常视角（如重建误差、稀有性和行为偏差）对异常排名做出贡献。
• 我们提供了一种双层解释机制，将特征级别的归因与行为导向的摘要相结合，支持分析师对标记的用户-日实例进行解读。
• 我们通过三个实验实例对框架进行了评估：方法1和方法2应用于私人匿名企业活动日志，方法3应用于CERT R4.2内部威胁测试集。这种设计将在未标记的企业环境中进行面向部署的异常筛查分析，并仅使用事后评估的标签进行受控制的基准评估。
• 我们采用了一种通过确定性预处理、固定的实验配置、记录的模型和超参数设置、受控的模型执行以及可审核的评分程序来实现可复现性。

论文组织
本文的其余部分组织如下。第2节介绍背景概念并正式定义问题设置。第3节回顾了无监督UEBA、多模态行为建模、分数校准、可解释异常检测和商业UEBA平台的相关工作。第4节介绍了提出的框架及其方法论组成部分。第5节描述了数据集和特征设计，第6节详细说明了实验协议和实现设置。第7节展示了结果和讨论，包括在私人匿名企业活动日志上使用的方法1和方法2，以及在CERT R4.2测试集上使用的方法3。最后，第8节总结了主要发现，讨论了局限性，并概述了未来的研究方向。

背景和问题定义
本节介绍了本文中使用的核心概念、符号和术语。我们首先总结了UEBA中的无监督异常检测，然后区分了主要的检测器家族，并讨论了分数的可比性、校准和可解释性。由于所提出的框架依赖于校准的异常分数和面向分析师的警报，我们明确定义了手稿其余部分使用的主要符号和操作术语。

相关工作
内部威胁检测已经研究了多年，通常在用户和实体行为分析（UEBA）的更广泛框架下进行研究。实践中，这个问题仍然很困难，因为内部事件很少见，真实情况不完整，而且企业行为在不同角色、团队和时间上高度异构。在操作环境中，异常分数还必须具有可比性、可优先级排序以及对分析师可解释，而不仅仅被视为抽象的异常值[9]。我们组织了相关工作...

方法论
本节介绍了本文中使用的框架层面的方法论。所提出的UEBA框架不是一个单一的固定检测器架构；相反，它定义了一组可重用的方法论组件，可以实例化为不同的特征表示、检测器家族、校准策略、融合机制、解释机制和警报规则。具体来说，该框架包括五个层次：(i) 用户-日行为表示，(ii) 企业数据集（真实世界日志）