《Sensors》:RAID: Retrieval Augmented Intrusion Detection for Cyber Physical Systems
编辑推荐:
本文提出了一种检索增强入侵检测系统(Retrieval Augmented Intrusion Detection system, RAID),这是一个面向工业控制系统(Industrial Control Systems, ICS)的三阶段可解释人工智能驱动
本文提出了一种检索增强入侵检测系统(Retrieval Augmented Intrusion Detection system, RAID),这是一个面向工业控制系统(Industrial Control Systems, ICS)的三阶段可解释人工智能驱动入侵检测框架。现有ICS检测器标记异常但不解释原因,基于大语言模型(Large Language Models, LLMs)的解释很少对照检测器的规则进行验证或关联历史事件。具体而言,研究人员采用一种弹性隔离森林(Isolation Forest, IF)算法,因其能够生成结构化的异常解释并减轻危险数据漂移的影响。研究人员设计了一个基于物理感知的特征工程流程,扩展了该算法的基线能力,包括反事实评估、对比分析、因果链识别和数据流的冗余检查。随后,研究人员利用一组大语言模型(LLMs)为每条异常日志生成深入的自然语言解释,并在独立的大语言模型编排器指导下生成最终的事件报告。最后,一个检索增强生成(Retrieval-Augmented Generation, RAG)框架将恢复事件的历史模式嵌入到一个可访问的索引中,该索引包含随时间累积的所有日志解释。整个框架在HAI-21.03数据集上逐阶段进行了验证:在九个无监督检测器中,隔离森林提供了最均衡的性能(F1 = 0.409, MCC = 0.393, eTaPR F1 = 0.773);语言代理生成的命题中有87%与底层检测规则完全匹配;检索阶段的忠实度达到0.998,答案正确性达到0.782。
一、研究背景与现存问题
随着工业4.0时代的到来,信息物理系统(Cyber-Physical Systems, CPS)作为核心技术,深度融合了物理世界与数字系统,实现了生产过程的实时分析与自主优化。然而,CPS的快速普及也带来了严峻的安全挑战。与传统信息技术攻击不同,针对CPS的攻击往往以物理破坏为目标,例如重放攻击、固件逆向工程等,这些攻击可能绕过传统基于签名的入侵检测系统(Intrusion Detection Systems, IDS),导致严重的物理损伤。尽管基于机器学习的人工智能方法显著提升了异常检测的准确性,但也引入了高度的算法复杂性,造成了所谓的“可解释性鸿沟”——人类分析师难以理解高维嵌入、概率型异常分数或特征重要性向量背后的逻辑。虽然可解释人工智能(Explainable AI, XAI)研究致力于提升模型透明度,但在网络安全取证场景中,将这些输出转化为连贯的叙事仍是一大挑战。大语言模型(Large Language Models, LLMs)和检索增强生成(Retrieval-Augmented Generation, RAG)技术为解决这一问题提供了潜在途径,但现有框架尚未将无监督ICS检测器、经检测器规则验证的LLM报告以及可搜索的历史事件记忆三者有效连接起来。因此,研究人员提出了RAID框架,旨在覆盖从机器学习检测、自然语言解释到可查询历史知识库的完整链路。
二、研究方法概述
研究人员采用了三阶段方法论。第一阶段是弹性检测阶段,结合了物理信息特征工程、基于K均值聚类(KMeans)的运行状态发现、按状态训练的隔离森林(Isolation Forest, IF)算法、指数加权移动平均(Exponentially Weighted Moving Average, EWMA)平滑处理以及清洁窗口自适应阈值机制,为每个检测到的事件生成六维结构化解释。第二阶段是多智能体LLM流水线,由八个专业代理并行处理结构化解释的不同维度,并由一个合成代理整合成自然语言事件报告,最后由一个独立的法官代理验证每个命题与原始检测规则的匹配程度。第三阶段是基于RAG的取证记忆系统,利用OpenAI嵌入模型和FAISS向量数据库对事件报告进行索引,并结合最大边际相关性(Maximal Marginal Relevance, MMR)重排序策略进行检索,以支持操作员对历史事件的查询。实验使用了HAI-21.03数据集,该数据集模拟了包含锅炉、汽轮机和水处理过程的蒸汽动力热电厂运行环境,包含正常数据和50次网络攻击数据。
三、主要研究结果
基准测试结果与模型选择(Section 5.1): 研究人员对九种无监督检测算法进行了基准测试。结果表明,经典隔离森林(ClassicIF)在点级、事件级和时间感知三个层面表现出最均衡稳定的性能,其F1得分为0.409,马修斯相关系数(Matthews Correlation Coefficient, MCC)为0.393,时间感知的eTaPR F1为0.773。相比之下,局部离群因子(Local Outlier Factor, LOF)虽获得最高F1(0.440)和事件召回率(0.96),但代价是更高的误报率和严重的事件碎片化。因此,ClassicIF被选为主要检测器,因其在保持可控误报率的同时提供了最佳的时序性能和可解释性基础。
事件级分析与深度检测器对比(Section 5.2): 在事件级分析中,仅ClassicIF和LOF检测到了超过三分之一的攻击。与TranAD等近期深度检测器相比,ClassicIF虽然在F1上略低于TranAD(0.409 vs. 0.462),但其误报率仅为TranAD的一半(1.56% vs. 3.20%),并且提供了原生可解释性,使每次报警都能追溯到具体的物理量。在泛化性测试集HAIEnd 23.05上,由于缺乏特定于该电厂的物理特征,ClassicIF的精度下降至0.255。
漂移感知隔离森林评估(Section 5.3): 研究人员评估了用动态阈值替代静态阈值的漂移感知方法。在匹配设置下的消融实验中,动态阈值将召回率提高了24.7%,但精确率下降了32.5%,MCC下降了9.8%。该方法在处理分数基线漂移明显的测试集(test2)时效果显著(F1提升),而在分数基线稳定的测试集(test1)上表现不佳(F1下降)。这表明动态阈值更适合对漏报容忍度高的场景,而静态阈值则适用于严格控制误报率的稳定过程。
自然语言规则提取评估(Section 5.4): 对26个异常样本生成的1040条命题进行评估,结果显示87%的命题与数学形式化规则完全匹配(类型1),9%被判定为误解(类型2),4%无法关联到任何规则(类型3)。误差分析表明,类型2错误主要源于数值精度的丢失,如不合理的四舍五入或百分比转换。类型3错误则归因于模型倾向于进行超出正式依据的因果或系统性推断,以及在命题与精确规则之间存在结构性错位。
解释质量与检索策略评估(Section 5.5 & 5.6): 在使用RAGAS框架评估提示工程策略时,Self-Consistency策略在忠实度上得分最高(95.7),而ReAct策略在答案相关性上表现最佳(74.2)。在检索策略比较中,提出的Dense + MMR配置在所有指标上均优于其他方案:忠实度达到0.998,答案相关性为0.774,答案正确性为0.782。相比之下,无检索的纯LLM配置答案正确性仅为0.004,BM25检索为0.433。这充分证明了提供事件特定的上下文信息对于生成基于知识库的准确答案至关重要。
四、结论与讨论
本文提出了RAID框架,一个将无监督入侵检测、可追溯解释和可查询取证记忆相结合的三方架构。在HAI-21.03基准测试上,该框架取得了稳定且最优的整体检测性能,其中点级F1为0.409,MCC为0.393,时间感知的eTaPR F1为0.773。动态阈值机制有效提升了时间序列召回率,证明了其在适应数据漂移方面的有效性。解释层展现出高保真度,87%的命题与底层形式化规则精确一致。在RAG系统中,提出的Dense + MMR流水线将平均答案正确性提升至0.782,同时保持了0.998的忠实度。与深度检测器的比较显示,ClassicIF在牺牲部分F1得分的同时,换取了更低的误报率和原生的可解释性。未来的工作方向包括:将基于序列的检测器集成到解释阶段、引入人在回路约束、探索因果关系以进一步增强系统性能,以及在检索端研究混合BM25-密集检索器、构建不含记录标识符的手工验证问题集,并对检索阶段进行对抗性评估以应对提示注入和向量数据库投毒攻击。