《Future Internet》：Threat Actor Attribution Applying a Tactics–Techniques–Procedures Approach: An Empirical Investigation
编辑推荐：
网络攻击（cyberattacks）频率的不断增加和影响的日益扩大，促使组织采用主动防御方法来降低网络安全（cybersecurity）风险，尤其是在高级持续性威胁（APTs）方面。正确识别网络攻击背后的特定恶意行为体对于事件响应（incident respo
网络攻击（cyberattacks）频率的不断增加和影响的日益扩大，促使组织采用主动防御方法来降低网络安全（cybersecurity）风险，尤其是在高级持续性威胁（APTs）方面。正确识别网络攻击背后的特定恶意行为体对于事件响应（incident response）的成功以及安全运营中心（SOC）团队的调查工作至关重要。本研究探讨了基于特定网络安全事件中观察到的战术、技术与程序（TTP）以及事件背景（攻击目标受害者的地理位置和行业归属），采用机器学习（ML）方法识别恶意行为体及其构成威胁（威胁行为体归因，threat actor attribution）的能力与局限性。研究人员使用大型语言模型（LLM）从MITRE ATT&CK网络安全事件数据库中提取TTP。实验包括使用五种ML算法对威胁行为体归因进行建模：k近邻（KNN）、决策树（DT）、随机森林（RF）、支持向量机（SVM）和朴素贝叶斯（NB），并应用了不同的特征选择与加权方法。结果表明，当输入数据集同时包含TTP和上下文特征时，模型精度及其他性能指标显著提升。KNN和SVM模型取得了最佳性能结果；最高分类精度达到93.19%。本研究的成果可被网络安全专业人员用于识别恶意行为体，估算充分将网络攻击归因于某一行为体所需的数据点数量和类型，并通过加权输入数据集特征来提高分类精度。
**研究背景、问题与研究目的**
随着全球网络攻击面的不断扩大，网络攻击的频率和复杂性显著增加，包括拒绝服务（DoS）攻击、恶意软件（malware）攻击、钓鱼（phishing）、零日漏洞利用（zero-day exploitation）以及未修补漏洞的识别与利用。面对日益复杂的威胁格局，组织越来越多地采用主动防御方法，其中威胁情报（threat intelligence）是收集和共享攻击指标与技术的核心手段。威胁行为体归因（threat actor attribution）是将网络安全攻击与特定恶意行为体（如国家资助的威胁行为体、经济动机黑客组织、黑客活动分子）联系起来的防御方法，其过程涉及分析技术特征（如攻击源IP地址）和行为特征（如TTP）。然而，当前归因过程高度依赖人工，耗时且充满不确定性，缺乏可靠的技术输入来支持安全运营中心（SOC）团队的调查与决策。尽管已有研究利用机器学习（ML）和深度学习（DL）方法进行归因，但准确率仍不理想，且往往需要大量低层指标（如IOC、IP地址、哈希值）作为输入。本研究旨在探索使用基于TTP和攻击上下文特征（受害者地理位置和行业）的ML模型进行威胁行为体归因的可行性，并评估是否能在不依赖低层指标的情况下实现有效归因，从而提高SOC团队运营效率。
**关键技术与方法**
研究人员采用以下关键技术方法：（1）利用大型语言模型（LLM，ChatGPT 4.0版本）通过提示工程（prompt engineering）从MITRE ATT&CK框架中提取TTP，从EuRepoC数据库（欧洲网络事件存储库，由欧盟政府机构于2022年建立，包含3414条记录，数据来源为公开可获取的高级别事件）中获取网络事件数据，最终构建包含783个事件、10个APT行为体（如APT_29、APT_28等）的多维数据集；（2）应用五种传统ML算法进行多分类建模：k近邻（KNN）、决策树（DT）、随机森林（RF）、支持向量机（SVM）和朴素贝叶斯（NB），采用独热编码（one-hot encoding）将特征转化为二进制值；（3）采用多种特征选择与加权方法：无加权特征、基于稀有性的加权（rarity-based weighting）、预设固定加权（flat weighting）以及混合加权（TTP特征稀有性加权+攻击目标特征固定加权），并使用分层10折交叉验证（stratified 10-fold cross-validation）和分层3折交叉验证评估模型性能。
**研究结果**
**3.1 使用无加权特征的威胁行为体归因**
在第一系列实验中，仅使用所有TTP特征时，模型平均准确率（mean AC）在55.16%到65.75%之间（RF最佳）。当加入攻击目标特征（国家/地区和行业）后，所有模型准确率显著提升，最高达到91.95%（KNN）。结果表明，结合上下文特征显著提高了归因性能。
**3.2 使用加权特征的威胁行为体归因**
**3.2.1 基于稀有性的特征加权**
赋予较不常见的TTP和攻击目标特征更高权重。与无加权相比，加权后所有模型的加权F1分数（weighted F1-score）有所提升，但平均准确率变化不大。KNN在包含所有特征时达到91.31%的准确率。
**3.2.2 预设固定特征加权**
手动设置TTP特征权重为1，攻击目标特征权重为3。KNN模型取得最高平均准确率91.95%，加权F1分数为88%。该结果显示固定加权对KNN性能提升显著。
**3.2.3 混合特征加权**
TTP特征采用稀有性加权，攻击目标特征采用固定权重（3）。KNN模型达到最高平均准确率92.59%，加权F1分数为90%，SVM模型达到92.20%准确率和94%的加权F1分数（所有模型最高）。通过手动测试新样本（每个行为体5个），KNN平均分类精度为86.00%。移除最小类（APT_32，18个样本）后，模型平均准确率略微提升至93.19%。
**3.3 统计检验**
Friedman检验显示五种算法在性能上存在显著差异（p<0.001）。在混合加权配置下，事后Wilcoxon符号秩检验（Bonferroni校正）表明，KNN（92.59%）、SVM（92.20%）和RF（91.82%）显著优于DT（84.92%）和NB（78.80%），但三者之间无显著差异。
**3.4 基于TTP范围的威胁行为体归因**
将数据集按TTP特征数量分组，使用KNN模型测试。结果显示，当TTP特征数量在1-6或大于18时，归因准确率最高；随着TTP特征数量增加，使用所有特征加权的模型性能趋于下降。
**讨论与结论**
**讨论**：本研究表明，四种ML模型（DT、RF、SVM、KNN）可用于构建有效的威胁行为体归因模型。仅使用TTP特征时，RF表现最佳（65.75%）；加入攻击目标特征后，所有模型准确率显著提升至79.30%-92.59%。特征加权方法仅对KNN和SVM模型有显著影响（准确率分别提升至92.59%和92.20%），而对DT和RF无影响。KNN模型在K=1时未出现显著过拟合，这对处理新行为体数据至关重要。数据集类别不平衡（最小类APT_32仅18个样本）导致模型对该类性能较低，但移除后准确率提升有限。与已有研究（准确率54.42%-96%）相比，本研究结果处于较高水平，但DL方法（如LSTM）曾达到97%准确率。SVM在高维空间表现良好，KNN易于使用，但两者在处理未知模式时可能面临计算挑战。模型可能误将新行为体或改变战术的行为体归类，需通过扩展算法识别未知数据点。
**结论**：缺乏自动化和对人工威胁情报的依赖妨碍了SOC团队的有效性。本研究提出的方法有助于SOC团队和网络安全专业人员估计充分归因所需的数据点数量和类型，并通过加权特征提高分类精度。研究贡献包括：（1）展示了如何使用特定ML算法高精度建模威胁行为体归因；（2）证明了使用LLM从网络事件报告中提取TTP的有效性；（3）提供了一个包含783个样本、归因于10个行为体的多维数据集。局限性包括：仅使用五种传统ML算法，未探索更高级的DL模型；数据集维度高但行为体数量少，导致稀疏性和距离度量失真；TTP特征数量分布不均（69%样本含6个或更少TTP）；类别不平衡；模型精度不足以单独支撑补救行动或长期规划；LLM输出依赖专家评估可能存在偏差；归因方法本质上是静态的，无法适应新行为体或战术变化。未来研究可使用更平衡、包含更多行为体和事件的数据集，采用DL或集成ML模型，并量化验证LLM提取TTP的可靠性。
