《Machine Learning with Applications》：A session-based insider threat detection approach leveraging the CERT and SPEDIA datasets
编辑推荐：
内部威胁，定义为具有合法访问权限的个人实施的恶意行为，是网络安全中最紧迫的挑战之一。他们利用有效凭证的能力使得在仅以粗粒度时间尺度进行监控时检测变得困难。在这项工作中，研究人员提出了一种内部威胁检测模型，其中原始系统日志被转换为适合机器学习的结构化向量。处理管
内部威胁，定义为具有合法访问权限的个人实施的恶意行为，是网络安全中最紧迫的挑战之一。他们利用有效凭证的能力使得在仅以粗粒度时间尺度进行监控时检测变得困难。在这项工作中，研究人员提出了一种内部威胁检测模型，其中原始系统日志被转换为适合机器学习的结构化向量。处理管道将登录/注销事件、网络活动、电子邮件交易、文件操作和USB设备使用情况聚合为离散会话，并为每个会话编码36个特征，涵盖用户身份、会话时间、事件计数以及详细子指标，如外部电子邮件收件人、大文件传输和不可信域交互。研究人员在CERT r4.2基准数据集上评估了多种监督算法（朴素贝叶斯、决策树、随机森林、支持向量机、前馈神经网络、XGBoost）和无监督方法（自编码器、孤立森林、k-means聚类、LODA、局部异常因子、单类支持向量机），随后在SPEDIA数据集（一种平衡的混合集合，结合了受控演习日志、模拟良性工作流和采样的CERT事件）上进行了验证。所提出的模型在合成和真实环境中均表现出检测准确性和可扩展性能的持续改进，其中XGBoost达到了最高的检测性能。
内部威胁（Insider Threat）是网络安全领域最严峻的挑战之一，因其利用合法凭证实施的恶意行为难以在粗粒度时间尺度下被检测。现有研究多依赖CERT等合成数据集，但存在严重类别不平衡（恶意会话比例低于0.1%）、缺乏跨数据集验证等问题，导致模型泛化能力不足。为此，研究人员提出了一种基于会话（Session）的内部威胁检测框架，旨在通过可复现的预处理管道将原始系统日志转换为结构化特征向量，并系统比较多种监督与无监督机器学习（Machine Learning, ML）算法。该研究在CERT r4.2数据集（1000名员工，17个月日志）上训练，并在SPEDIA数据集（一种平衡的混合数据集，包含受控演习日志、模拟良性工作流及CERT采样事件）上验证。结果表明，XGBoost模型在CERT上取得F1-score为82.25%、AUC为99.88%，在SPEDIA上取得F1-score为85.10%、AUC为99.39%，证明了跨数据集的泛化能力。论文发表在《Machine Learning with Applications》。
关键技术方法（不超过250字）：研究人员主要采用以下方法：1）会话级特征工程：将登录/注销、HTTP、邮件、文件、USB事件按登录-注销边界分割为会话，提取36维特征向量，涵盖用户身份、会话时长、事件比例、外部收件人数、大文件传输数、不可信域交互数等指标。2）算法评估：使用监督算法（朴素贝叶斯（Na?ve Bayes）、决策树（Decision Tree）、随机森林（Random Forest, RF）、支持向量机（Support Vector Machine, SVM）、前馈神经网络（Feed-Forward Neural Network）、XGBoost）和无监督算法（自编码器（Autoencoder）、孤立森林（Isolation Forest）、K-Means聚类、LODA、局部异常因子（Local Outlier Factor, LOF）、单类支持向量机（One-Class SVM））。3）数据集来源：CERT r4.2（1000雇员）、SPEDIA（混合受控演习与CERT样本）。训练/测试集按70%/30%划分，标准化后建模。
**Results by CERT dataset**：通过CERT r4.2数据集上的实验，XGBoost取得最佳性能（Accuracy=99.94%, Precision=97.19%, Recall=71.31%, F1=82.25%, AUC=99.88%），随机森林紧随其后（F1=75.47%），决策树也表现良好（F1=80.31%）。无监督方法在严重不平衡下表现不佳，如孤立森林和K-Means的Precision低于0.5%，表明无监督方法不适用于此类场景。
**Results by SPEDIA dataset**：将XGBoost保持相同配置（100估计器，学习率0.3，最大深度6）应用于SPEDIA数据集，直接验证跨数据集泛化能力。结果：Accuracy=96.56%, Precision=90.47%, Recall=80.53%, F1=85.10%, AUC=99.39%。Recall和F1较CERT上提升，说明模型在更平衡的真实场景中捕获恶意会话的能力增强。
**Comparison with related work**：与现有研究比较，XGBoost在CERT上的F1（82.25%）和AUC（99.88%）处于同类方法的上限，与Le等（2020）的会话级结果一致，且优于传统无监督方法。在SPEDIA上，该结果首次建立了基线，展示了从合成到真实日志的迁移能力。
**讨论部分总结**：框架的优势包括：会话级粒度有效隔离恶意突发，跨数据集验证证实泛化性，36维特征向量轻量且可解释，适合安全运营中心（SOC）的快速部署。实际意义：可在会话关闭后近实时干预，特征直接映射用户行为，便于分析师快速排查。局限性：忽略会话内事件顺序，无法检测序列依赖的攻击；静态离线训练，易受概念漂移影响；无监督方法在严重不平衡下精度过低（<2%）。未来工作将集成序列建模、在线学习和可解释性工具。
**研究结论部分翻译**：本研究提出了一种基于会话的内部威胁检测框架，通过提取丰富日志数据中的统计特征并应用机器学习模型来识别异常用户行为。通过将处理后的活动日志转换为结构化会话向量，研究人员使监督和无监督算法能够在捕获内部攻击时间维度的粒度上运行。实验证实，集成监督模型，特别是XGBoost和随机森林，在CERT基准数据集和SPEDIA真实场景数据集上均一致优于其他方法。所提出的方法在数据集间有效泛化，保持高检测准确性，并在更平衡条件下减少误报。此外，所提出的SPEDIA数据集作为CERT基准的泛化改进，具有更优的类别分布，被证明是对内部威胁检测研究的重要贡献。尽管存在局限性，基于会话的方法为威胁检测系统提供了可扩展且有效的基础。使用更小、更细的时间帧加快了检测后的响应时间，而监督树基检测模型在更平衡的数据集上保持了高准确率和提升的F1分数。
