基于强化学习与图神经网络的自主威胁猎捕智能体HuntMind

《Scientific Reports》：A reinforcement learning-driven autonomous threat hunting agent with hypothesis-guided graph traversal for APT campaign discovery

　　高级持续性威胁（APT）是对关键基础设施、企业网络和消费平台最严重的一类网络攻击。APT攻击者采用长期驻留、低频缓慢的攻击模式，在较长时间内系统性地利用多种攻击向量，通常持续数周或数月，因此难以被典型的入侵检测和基于签名的解决方案发现。我们提出HuntMind，一种自主威胁猎捕智能体，它使用强化学习来选择图遍历策略，并利用溯源图神经网络后端，通过假设引导的图遍历主动发现和重构APT攻击活动。利用马尔可夫决策过程（MDP）理论，HuntMind将威胁猎捕表示为一系列迭代过程，其中智能体提出攻击假设，应用图注意力机制对异构溯源图内的节点进行评分，并根据来自MITRE ATT&CK对齐的已确认战术、技术和程序（TTPs）的奖励信号更新其策略。智能体配备了一个模块，用于对发现的威胁路径的可信度进行评分，使其能够优先处理得分高的威胁路径，同时消除噪声。HuntMind使用CICAPT-IIoT 2024数据集中具有丰富标签的APT29启发式攻击活动的溯源和网络日志进行评估（https://www.unb.ca/cic/datasets/iiot-dataset-2024.html），该数据集在IIoT测试平台背景下公开可用。F1分数为97.4%，攻击活动发现率为96.8%，假阳性率为1.7%，优于2025年至2026年的五个最先进的基线方法。消融实验验证了与基线RL智能体相比，假设引导带来了8.3个百分点的F1提升，图注意力使访问的节点数减少了34%。所有结果均报告为五个独立随机种子的均值±95%置信区间，且所有基线的成对改进在统计学上显著（p < 0.01，配对双尾t检验）。我们的结果表明，使用假设驱动的图推理的强化学习代表了从被动监控到完全自主主动威胁活动发现的范式转变。