LightGT：用于工业控制入侵检测的轻量级图感知类大语言模型 Transformer

《Neurocomputing》：LightGT: Lightweight graph-aware LLM-style transformer for industrial control intrusion detection

　　

摘要 工业控制系统（ICS）是国家关键基础设施的重要组成部分，其网络安全与制造、能源等行业部门的可靠运行密切相关。随着工业控制网络日益互联并暴露于外部通信信道，新型网络威胁——如勒索软件和高级持续性威胁（APT）——不断涌现。准确且及时的入侵检测已成为确保工业安全的关键。然而，传统方法依赖于签名匹配和深度包检测（DPI），在处理加密流量、专有协议和多阶段高级持续性威胁（APT）攻击时存在显著局限性。检测延迟和误报率增加源于多个因素，包括签名数据库更新滞后、动态设备拓扑识别挑战以及与包长度相关的长期上下文依赖建模的复杂性。本文提出了 LightGT，一种受大型语言模型（LLM）式设计原则（即字节级分词和基于注意力的序列建模）启发的轻量级 Transformer 架构，用于工业控制系统的入侵检测。该模型使用字节级分词将原始 PCAP 流量转换为语义单元，同时保留协议字段的细粒度细节。它通过拓扑感知融合模块，利用设备通信图特征增强序列级表示，使模型能够感知攻击链中跨设备的横向移动。为了在保持双向上下文建模能力的同时大幅降低内存使用和延迟，开发了一种分块注意力机制，将计算复杂度从二次方降低到线性。该模型对 Modbus 和 S7Comm 等工业控制协议展现出深刻的语义理解。这是通过一个包含 36 层的堆叠编码器，从字节级模式分层提取特征，进而推进到多阶段攻击行为的更抽象表示来实现的。LightGT 在多项基准模型中表现出显著优势，同时满足了工业边缘部署所必需的推理延迟标准。这一结论基于对 CIC-Modbus、TON IoT 和 CSET 2016 Modbus 数据集的实验结果得出，其 F1 分数分别为 99.04%、99.21% 和 92.97%。

引言 工业控制系统，也称为 ICS，是国家基础设施的 essential 组成部分。这些系统涵盖广泛的行业，包括制造、水处理和发电。另一方面，如 2010 年的震网事件和 2015 年乌克兰电网攻击等显著的网络攻击，暴露了工业控制系统（ICS）对更复杂攻击形式日益增加的脆弱性。在此背景下，异常检测已演变为一种 essential 防御机制，因为它能够在这些异常行为、恶意流量和未授权命令有机会破坏工业流程之前，生成关于它们的实时警报。

传统的 ICS 异常检测方法严重依赖于基于签名的匹配和统计建模。通过比较流量与已知威胁，基于签名的系统（如 Snort [1]）识别已知危险。然而，它们本质上容易受到零日攻击的影响，并且需要持续的签名升级。工业数据的高维和噪声特性使得统计方法（如高斯混合模型 [2] 等参数模型和核密度估计 [3] 等非参数技术）难以模拟正常行为。更重要的是，当前方法无法模拟多阶段攻击链中的长程时间依赖，并将网络数据视为孤立的包或流，忽略了动态设备通信拓扑。此外，监督学习技术需要覆盖每种潜在攻击的大量标注数据集，这在现实世界的 ICS 设置中是不可行的。复杂模型的较低可解释性限制了其在取证调查和根本原因诊断中的应用，而其计算需求使得它们在资源有限的工业环境中难以实施。

大型语言模型（LLM）最近在复杂顺序数据的语义理解方面取得了显著进展，为工业控制系统（ICS）应用开辟了新的机会。它们强大的上下文建模能力能够实现类比推理和跨模糊及模糊操作条件边界的知识转移，这在动态工业环境中尤为宝贵。例如，LLM-MOCIPC 系统 [4] 表明，LLM 即使在少样本场景下也能通过提取系统状态转换中嵌入的潜在动态特征来准确识别操作条件。

基于这些优势，近期研究开始探索将 LLM 整合到工业领域。在故障诊断中，将 LLM 与领域知识图谱结合已被证明能有效克服传统专家系统的局限性，特别是在组织非结构化知识和适应不断演变的上下文方面。类似地，新兴研究调查了在 ICS 入侵检测中使用 LLM，其中采用了语义增强技术从工业协议数据中提取细粒度表示。LLM 通过多层 Transformer 架构捕获长程依赖和复杂语义关系的固有能力，自然地与分析工业网络中的多包流量和多阶段攻击行为的要求相契合。

然而，尽管取得了这些有前途的进展，直接将通用 LLM 应用于 ICS 入侵检测仍然具有挑战性。首先，它们巨大的参数规模导致计算开销过大，使得在资源受限的工业环境中进行实时部署变得不切实际。其次，LLM 主要训练基于的文本数据与原始包和协议负载等数值工业流量之间存在显著的模态差距。第三，通用 LLM 缺乏工业协议和通信拓扑的领域特定知识，限制了它们准确解释攻击场景的能力。第四，幻觉和逻辑不一致问题在安全关键系统中带来了不可接受的风险，在这些系统中，漏报和误报都可能导致严重后果。这一局限性在现实世界的观察中进一步凸显，例如当面临工业异常数据时，像 ChatGPT 这样的系统只能提供通用建议，未能捕获领域特定语义。

为了解决这些局限性，我们提出了 LightGT，一种专门为 ICS 入侵检测量身定制的轻量级 Transformer 架构。与通用 LLM 不同，LightGT 旨在通过三个关键创新来弥合语义建模与工业数据特征之间的差距：(1) 字节级分词，直接从原始 PCAP 流量保留细粒度协议语义；(2) 拓扑感知图融合，从设备通信图中提取结构特征并将其与序列级表示融合，使模型能够捕获攻击链中的横向移动；(3) 分块注意力机制，将计算复杂度从二次方降低到线性，允许在资源受限的环境中高效部署，同时保持双向上下文建模。

虽然字节级分词和分块注意力在其他领域已存在，但本文的主要原创性体现在两方面：首先，它开创了将宏观设备拓扑图直接集成到工业控制系统（ICS）微观字节级令牌中的先例；其次，它设计了一种专为 ICS 流量服务的多阶段分块注意力机制，在不牺牲双向上下文的情况下成功降低了计算复杂度。利用这些独特设计，LightGT 实现了从低级字节模式到高级多阶段攻击行为的分层特征提取，从而能够对 Modbus 和 S7Comm 等工业协议进行全面的语义理解。在三个公开可用的 ICS 数据集上的实验结果表明，LightGT 在满足工业环境边缘部署的延迟约束的同时取得了有前途的结果。

章节片段 基于传统和深度学习的流量分析 早期的网络入侵检测方法依赖于从 CICFlowMeter [5] 等工具手工制作的流统计，这丢弃了细粒度的负载语义，并且在跨工业协议时泛化能力较差。轻量级在线学习方法 [6] 也被探索过，但仍依赖于手工特征工程。随后的深度学习模型（例如 BiLSTM [7]、CNN [8]）改善了自动特征提取，但仍难以同时保留协议语义和长程依赖。

问题定义 给定从工业网络捕获的 PCAP 流量流，每个数据包定义如下：
其中表示时间戳，表示原始负载字节。
此外，我们构建一个通信拓扑图：
其中表示网络实体（例如设备或 IP），表示通信关系。
我们的目标是学习一个函数：
该函数将流量和拓扑映射到类别标签。

框架概述 为了有效捕获工业控制系统（ICS）中的复杂网络威胁，我们提出了 LightGT。

实验 我们进行了全面的实验，从三个方面评估所提出的 LightGT 框架的有效性。检测性能评估所提出模型相对于最先进入侵检测基准的准确性和鲁棒性。泛化能力量化异构 ICS/IoT 环境下的跨数据集性能，测量在没有大量重新训练的情况下对不同网络配置、协议套件和攻击向量的适应性。组件

结论 在这项工作中，我们提出了 LightGT，一种用于异构多协议流量环境下工业入侵检测的轻量级多模态 Transformer 框架。所提出的模型旨在解决工业网络安全的三个基本挑战：保留细粒度协议语义、建模设备间的结构性通信依赖，以及在资源受限的部署条件下保持实际效率。为此，LightGT

未引用参考文献 [23], [24], [25], [26], [27], [28]

CRediT 作者贡献声明 曹雨涵：撰写 - 初稿，可视化，软件，方法论，调查，形式分析，数据管理，概念化。朱昊天：撰写 - 审查与编辑，验证，方法论，调查，数据管理。赵贝梅：软件，资源，数据管理。关文博：可视化，验证，调查。赖玉平：撰写 - 审查与编辑，监督，项目管理，资金获取，概念化。

利益冲突声明 作者声明他们没有已知的竞争性财务利益或个人关系，这些关系可能会影响本论文报告的工作。

曹雨涵分别于 2023 年和 2026 年获得中国北京邮电大学的学士和硕士学位。她目前的研究兴趣在于机器学习、深度学习和计算神经科学，特别专注于工业控制网络的网络安全。

曹雨涵 | 朱昊天 | 赵贝梅 | 关文博 | 赖玉平
北京邮电大学，中国北京市海淀区西土城路 10 号，100876