《Electronics》：Automated Cyber Threat Intelligence Extraction from Distributed Honeypots: A Hybrid Machine Learning Approach
编辑推荐：
入侵指标（Indicators of Compromise, IoCs）的指数级增长已使安全运营中心（Security Operations Centers, SOCs）的人工分类处理流程不堪重负，因此亟需针对大规模日志分析的自动化解决方案。本研究提出了一种融
入侵指标（Indicators of Compromise, IoCs）的指数级增长已使安全运营中心（Security Operations Centers, SOCs）的人工分类处理流程不堪重负，因此亟需针对大规模日志分析的自动化解决方案。本研究提出了一种融合监督学习与无监督学习的混合机器学习（Hybrid Machine Learning）框架，用于自动化网络威胁情报（Cyber Threat Intelligence, CTI）的分类、聚类与上下文解释。本研究的主要贡献在于构建了一个多阶段特征工程（Feature Engineering）流程，该流程通过循环时间编码与地理元数据对原始安全信息与事件管理（Security Information and Event Management, SIEM）日志进行增强。在监督学习阶段，对梯度提升分类器——XGBoost、LightGBM和CatBoost——的对比评估表明，这三种模型在已知攻击技术分类任务中均展现出具有竞争力的性能，且持续优于随机森林（Random Forest）基线模型。研究结果表明，分类器性能具有数据集依赖性，建议实际应用人员根据其运营环境选择最合适的模型。与此同时，无监督学习阶段采用基于密度的聚类方法，通过将对抗性行为与来源归属关联分析，识别新兴且此前未知的威胁模式。通过结合上述两种方法，该框架确保了近实时可行性，并显著增强了从分布式蜜罐（Honeypot）环境中自动化提取威胁情报的可扩展性。
**研究背景与问题阐述**
当前网络安全领域面临的核心挑战在于威胁数据规模的爆炸性增长。网络威胁情报（Cyber Threat Intelligence, CTI）作为组织防御体系的关键组成部分，能够提供关于潜在风险、攻击者及其能力的宝贵信息，使组织得以从被动响应转向主动防御。然而，现代CTI系统每日采集数百万条入侵指标（Indicators of Compromise, IoCs）和日志条目，人工分析不仅耗时费力且易出错，难以满足有效事件响应所需的速度要求。时间因素在缓解网络犯罪中至关重要，人工分析的延迟性及无法实时关联海量数据集的能力构成了重大安全隐患，导致"警报疲劳"现象频发，关键指标常被淹没于误报之中。
现有研究存在三方面显著局限：其一，监督学习方法的局限性——多数现有研究侧重于基于已知攻击特征的入侵检测系统（Intrusion Detection Systems, IDS）监督分类，难以检测缺乏历史标注数据的新型 evolving 威胁活动（零日攻击）；其二，行为归因研究的缺失——研究者对预测来源基础设施及基于多维行为聚类攻击的关注不足，传统分析常将警报孤立处理而非关联识别更广泛的活动；其三，事件响应延迟——人工分类流程耗时过长，缺乏自动化聚类和优先级排序机制显著增加了网络风险的暴露窗口。
针对上述问题，研究人员提出了一种混合框架，核心研究问题在于如何协同利用监督与无监督机器学习技术，基于IoCs分类攻击来源并聚类隐藏威胁模式，以增强网络犯罪分析和风险缓解能力。该框架的创新性贡献包括：利用全球分布式蜜罐基础设施采集的真实数据集进行验证；构建结合监督分类与无监督聚类的双阶段架构；开发融入循环时间编码和地理元数据的专用特征工程流程；通过密度聚类实现协调威胁活动的识别；以及验证框架在实时分类中的亚分钟级推断延迟性能。相关成果发表于《Electronics》期刊。
**关键技术方法**
研究人员采用的核心技术方法包括以下五方面：
样本队列来源：数据集直接来源于研究团队运营的分布式蜜罐基础设施，于2025年部署的多区域测试平台实时捕获，涵盖美国公共网络段（IP段199.168.x.x）和沙特阿拉伯利雅得私有网络环境（IP段192.168.x.x）共四个代理节点，采集周期为2025年5月24日至7月2日，包含三个高强度攻击窗口各10,000条事件的30,000条独特安全事件。
特征工程方法：构建多阶段特征工程流程，包括将分布式代理（美国和沙特阿拉伯）的时间戳统一标准化为协调世界时（UTC）；采用正弦和余弦函数将时间特征转换为循环坐标以解决时间1时刻的连续性问题；对分类变量采用独热编码（One-Hot Encoding）；将源IP地址转换为整数值以保留隐式子网邻近性；基于IP-地理位置映射提取地理来源元数据。
监督学习技术：评估四种监督分类器——XGBoost、LightGBM、CatBoost及随机森林基线，采用网格搜索交叉验证（GridSearchCV with 5-fold cross-validation）优化超参数，定义三种增量特征集（Minimal/Contextual/Contextual+Geo）以评估情境化与地理情报的贡献。
无监督学习技术：采用层次密度聚类（Hierarchical Density-Based Spatial Clustering of Applications with Noise, HDBSCAN）替代传统K-means方法，以识别可变密度集群并显式隔离低密度噪声点，同时设计五种特征场景评估不同IoC组合的最优聚类效果。
验证框架：采用20%隔离留出测试集，监督模型训练中使用5折交叉验证防止过拟合，评估指标涵盖准确率、F1分数及推断延迟，确保框架满足安全运营中心的实时性约束。
**研究结果**
本文研究结果分为监督学习结果和无监督学习结果两大部分。
**监督学习结果：分类与归因**
在54组系统性实验中，梯度提升模型全面优于随机森林基线。关键发现包括：XGBoost在数据集1上取得平衡准确率（Balanced Accuracy）0.7712，较随机森林显著提升；原始准确率（0.6015）与平衡准确率的差距表明XGBoost对少数攻击类别和罕见技术具有高度识别效力；特征重要性分析显示时间循环编码变量hour_cos和地理位置信息GeoLocation为首要预测因子。扩展评估表明CatBoost在三个数据集上取得最高平衡准确率（0.7895、0.8178、0.7693），XGBoost在数据集2的F1-宏平均（F1-Macro）领先（0.7183），LightGBM在数据集3的多项指标最优，证实分类器性能具有数据集依赖性。所有梯度提升分类器在所有数据集和特征配置下均实现亚秒级推断延迟，CatBoost最快，整体低于实时安全运营环境所需的亚分钟阈值，确认可集成至实时安全信息与事件管理（SIEM）管道。
**无监督学习结果**
**K-means聚类模式发现**：通过肘部法（Elbow method）确定最优聚类数并结合轮廓系数（Silhouette Score）验证，五种特征场景中场景3（攻击技术+代理+国家）表现最优，数据集3轮廓系数达0.9253（K=40），表明按技术、目标代理和来源国家分组形成最清晰可解释的集群；场景4（用户+国家）次之，数据集2达0.8805；场景5（代理+时间）在数据集1达0.9187但稳定性略逊；包含原始时间戳的高维组合场景表现显著较差（0.54-0.75），表明原始时间数据引入高方差。处理时间极低（0.16-0.52秒）。
**HDBSCAN模式发现**：配置为识别和隔离低密度噪声点，场景5（时间-代理关联）取得峰值轮廓系数0.8584，有效识别协调威胁活动的同时滤除显著背景噪声，噪声比率（Noise Ratio）稳定在4.37%至11.33%之间。
**聚类性能比较**：分层评估样本（n=2000，均匀抽取自三个时间数据集）显示，HDBSCAN在捕获复杂关系方面稳定性更优，K-means的高轮廓系数部分源于固定K值的过度分割；HDBSCAN自主确定聚类数量（平均30-38个），更真实反映威胁景观密度，数据集2（0.731）和数据集3（0.806）的平均质量分数具竞争力。虽计算延迟较高（7.82-8.96秒/数据集，K-means为0.19-0.25秒），但仍处于实时安全运营中心环境的亚分钟阈值内。HDBSCAN平均过滤11.0%至12.7%总警报量为背景噪声，同时保持0.872至0.890的数据覆盖率。
**讨论部分**
**监督分类与平衡归因**：梯度提升模型在真实CTI环境中显著优于随机森林，CatBoost平衡准确率最高，XGBoost和LightGBM在其他指标领先，证实梯度提升机制对严重类别不平衡的鲁棒性。特征协同效应方面，循环时间编码与地理元数据的整合是分类成功的首要驱动因素，关联攻击的"时间"与"来源地"实现比单纯IP过滤更精细的归因。计算可扩展性方面，框架在30秒内完成整个测试集处理，确保实时标签生成能力。
**密度聚类解释**：高轮廓系数验证向密度聚类的转变。K-means在场景3和4中的高分数部分源于固定K值的过度分割人工效应；HDBSCAN的数据驱动聚类发现和显式噪声识别具有直接运营价值。自动化噪声抑制方面，HDBSCAN将4.37%至11.33%原始遥测数据显式识别为背景噪声，使安全运营中心分析人员专注于代表协调对抗行为的高密度集群。协调活动发现方面，场景3的聚类提供最具可操作性的情报，代表基于基础设施的协调活动（如针对利雅得或美国区域特定漏洞的本地化僵尸网络），支持基于行为签名而非易轮换IP地址的"批量阻断"策略。
**实际应用与案例研究解释**：混合方法的核心价值在于缓解"警报疲劳"。梯度提升分类器作为第一道防线，以亚秒级延迟分类约95%的常规遥测（如标准安全外壳协议认证失败）；HDBSCAN处理剩余数据识别协调对抗行为，通过关联时间爆发与代理特定遥测隔离区域特定僵尸网络基础设施（峰值轮廓系数0.8584），实现从分析单个警报到调查"攻击活动"的转变。
**战略噪声抑制与运营影响**：HDBSCAN隔离非合规背景噪声（11.0%至12.77%）的能力直接应对现代安全运营中心环境的"警报疲劳"挑战，同时高数据覆盖率（超0.87）确保重要对抗活动保持完整以供分析。
**方法分析与局限性**：IP-地理位置映射应作为概率情境信号而非确定性归因机制；高聚类数量反映威胁景观多样性但也表明高特征基数，未来需探索嵌入技术；随机欠采样（Under-sampling）虽解决严重类别不平衡，但减少了真实流量分布的保留，可能导致性能估计乐观，实际部署中可在分类前过滤高容量安全外壳协议暴力破解流量。
**研究结论**
本研究通过提出并验证一种综合混合机器学习框架，解决了网络威胁情报（CTI）中"高容量警报流"的关键挑战。通过协同监督分类与基于密度的无监督聚类，成功弥合了已知威胁快速归因与海量安全信息与事件管理（SIEM）日志中隐藏攻击模式发现之间的鸿沟。实验结果表明，该框架显著增强了CTI提取的可解释性和可扩展性。监督阶段，三种梯度提升分类器——XGBoost、LightGBM和CatBoost——在所有数据集上持续优于随机森林，其中CatBoost在蜜罐采集数据集上取得最高平衡准确率，XGBoost和LightGBM在其他指标和数据集表现优异，/Z/up>这些发现证实了分类器性能具有数据集依赖性，无单一模型对所有CTI环境普遍最优，建议实际应用人员在自有安全信息与事件管理（SIEM）数据上评估所有模型以识别最适合其运营环境的选项。无监督阶段，向HDBSCAN的转变通过鲁棒噪声抑制和模式发现提供了深层行为洞察，框架在识别协调基础设施活动方面达到峰值轮廓系数0.9253（场景3，K-means，数据集3），并通过在30秒内处理复杂分类任务验证了运营可行性，确保安全运营中心（SOC）分析人员能够近实时优先处理关键高保真警报。因此，该混合方法从根本上减轻了分析人员工作负荷并缓解了警报疲劳。
