《Applied Sciences》:SLAFF: Shapley Local Attribution Feature Fusion with Bayesian-Optimized Ensemble Learning for Detecting Intrusions in Renewable Energy Power Systems
编辑推荐:
将互联网(Internet)融入现代电力系统改善了实时通信、自动化与调节能力,但也提高了网络攻击风险。由于这些系统持续产生大量高维且异构的数据,区分多种类型的网络攻击较为困难。因此,本文提出一种新的Shapley局部归因特征融合(SLAFF)算法,基于Shap
将互联网(Internet)融入现代电力系统改善了实时通信、自动化与调节能力,但也提高了网络攻击风险。由于这些系统持续产生大量高维且异构的数据,区分多种类型的网络攻击较为困难。因此,本文提出一种新的Shapley局部归因特征融合(SLAFF)算法,基于Shapley值和局部归因值选择特征子集。首先,使用过采样技术对训练数据进行平衡。SLAFF算法仅在训练集上于平衡数据集中实施,以避免数据泄漏。采用机器学习(ML)方法在平衡与不平衡数据集上形成并训练不同特征子集。集成模型由不同ML算法构建,并使用贝叶斯优化(Bayesian optimization)方法训练。该集成模型在Kaggle Power System Intrusion数据集的25个特征子集上取得95.87%的最高准确率,在Figshare Power System数据集的40个特征子集上取得95.36%的准确率。因此,实施所提方法可在保持分类性能的同时发现判别性特征,并为电力系统入侵检测提供SLAFF方法。
研究背景方面,现代电力系统依赖互联网(Internet)与网络物理技术,实时通信、自动化与调节能力提升的同时也扩大了网络攻击面;智能电子设备(intelligent electronic devices, IEDs)、通信网络、传感器与控制系统持续产生高维、异构数据,特征间存在相似、冗余或低价值信息,导致分类困难并增加过拟合、噪声与训练时间。机器学习(machine learning, ML)方法依赖输入特征质量,因此需要在分类前开展特征选择(feature selection, FS),以保留判别性特征并降低维度。现有智能电网入侵检测系统(intrusion detection system, IDS)研究虽在准确率等指标上表现较高,但仍需同时处理特征维度与分类性能,部分研究未明确特征选择与类平衡是否仅用于训练数据,存在数据泄漏风险;同时评估多偏重准确率与F1-score,对不平衡数据不够充分。基于此,研究人员提出基于可解释人工智能(explainable artificial intelligence, XAI)的SLAFF(Shapley Local Attribution Feature Fusion,Shapley局部归因特征融合)框架,用于可再生能源电力系统入侵检测。
研究人员开展了以SLAFF为核心的特征选择与集成分类研究:先划分数据,再仅在训练集上进行类平衡与特征选择,避免数据泄漏;将全局Shapley归因与局部归因融合形成特征排序,生成Top-N特征子集,采用树模型与Boosting类ML模型评估,并通过贝叶斯优化进行概率融合。研究得出,在Kaggle Power System Intrusion数据集上25个特征子集取得95.87%最高准确率,在Figshare Power System数据集上40个特征子集取得95.36%准确率;SLAFF可在保持分类性能的同时提供判别性特征,并为电力系统入侵检测提供可解释、可重复的特征选择与集成学习框架。
关键技术方法方面,研究使用两个开源数据集:Kaggle Power System Intrusion数据集(2188个样本、54个特征,预处理后1933个样本、38个特征,5类)和Figshare Final_PowerSystem_Dataset(41,535个样本、129列,去重后41,527个样本,二分类)。采用80:20分层划分,SMOTETomek仅在训练集实施;在训练数据上训练XGBoost以产生SHAP全局归因与LIME(Local Interpretable Model-agnostic Explanations,局部可解释模型无关解释)局部归因,归一化后等权融合并排序,生成Top-N子集;使用随机森林(Random Forest, RF)、极端随机树(Extra Trees, ET)、XGBoost、LightGBM与CatBoost训练评估;以贝叶斯优化确定模型权重并进行加权概率融合;采用五轮重复留出评估,指标包括Accuracy、Precision、Recall、F1-score、Balanced Accuracy、ROC-AUC(受试者工作特征曲线下面积)、PR-AUC(精确率-召回率曲线下面积)及训练/测试时间。
研究结果按原文小标题概括如下。3.1 数据集描述(Dataset Description):Kaggle数据面向基于IEC 61850的智能电网与数字变电站通信入侵检测,目标含Fault、Injection、Masquerade、Normal、Replay五类;Figshare数据面向智能电网与电力系统异常及虚假数据注入(false-data injection, FDI)等情形,目标为二分类。3.2 基于SMOTETomek的类平衡(Class Balancing Using SMOTETomek):仅在训练集使用SMOTE(synthetic minority over-sampling technique,合成少数类过采样技术)与Tomek Links结合,Kaggle平衡后各类约646—649个样本,Figshare两类各17,792个样本。3.3 提出的SLAFF算法(Proposed SLAFF Algorithm):通过全局Shapley重要性与局部归因值归一化等权融合形成特征评分,仅使用训练数据,避免测试集参与特征选择。3.4 Top-N特征子集生成(Top-N Feature Subset Generation):Kaggle生成top-15、top-20、top-25、top-30、top-35子集,Figshare生成top-30至top-110等子集,并以训练/验证性能选择最优子集。3.5 实验设置与协议(Experimental Setup and Protocol):采用80:20留出并重复五轮,测试集仅用于最终评估。3.6 模型优化与评估(Model Optimization and Evaluation):对候选模型与特征子集比较,采用贝叶斯优化进行集成权重选择与加权概率融合。
4 结果(Results)显示,在平衡Kaggle数据上,LightGBM、RF与XGBoost整体稳健,RF在SLAFF_30取得较高准确率与精确率,XGBoost召回率较高,ROC-AUC整体较高;不平衡条件下部分模型召回率、F1-score与平衡准确率下降,而平衡后SLAFF_15–LightGBM的召回率、F1-score与平衡准确率提升。Figshare平衡数据上,Extra Trees整体优于其他模型,SLAFF_50取得最佳Extra Trees准确率94.49%与ROC-AUC 0.9891;不平衡数据上Extra Trees仍最优,准确率约94.67%—94.90%,SLAFF_50与SLAFF_110准确率较高,SLAFF_50与SLAFF_90的ROC-AUC达0.9904。贝叶斯优化集成模型中,Kaggle的SLAFF_25取得最高准确率95.87%、召回率90.22%、F1-score 92.12%、平衡准确率90.22%,SLAFF_30的PR-AUC为0.9547,SLAFF_20的ROC-AUC为0.9907;Figshare的SLAFF_40取得最高准确率95.36%、精确率96.17%、召回率93.49%、F1-score 94.81%、平衡准确率95.20%,SLAFF_50的ROC-AUC为0.9915、PR-AUC为0.9907。五轮均值中,Kaggle的SLAFF_25准确率为95.906%,Figshare的SLAFF_40准确率为95.422%。统计检验显示,Kaggle的SLAFF_25显著优于其他配置;Figshare的SLAFF_40显著优于SLAFF_30、SLAFF_50、SLAFF_60、SLAFF_70与SLAFF_80,经Holm校正后SLAFF_90、SLAFF_100与SLAFF_110无显著差异,故分别选择SLAFF_25与SLAFF_40为最佳配置。特征归因显示,Kaggle中最重要特征为sqNum、state_cb、stDiff与any_relay,Figshare中为R4:F、R1:F、R3:F与R2:F,其次为R4-PA3:VH、R1-PA12:IH与R1:S;Kaggle更偏时序/状态特征,Figshare更偏频率与电气测量特征。
讨论部分总结认为,SLAFF特征集在Kaggle平衡与不平衡条件下均保持较好分类性能,类平衡主要提升召回率、F1-score与平衡准确率,整体准确率保持稳定;Figshare不平衡数据略优于平衡数据,Extra Trees仍为最有效模型,SLAFF_50在两种情形下均表现良好。特征归因分析表明,SLAFF可识别不同数据集的关键属性:Kaggle侧重系统状态、时序行为、序列特征与继电器活动,Figshare侧重频率变化、相位测量、电压/电流特征及区域电气行为。与基准方法比较,所提方法在Kaggle Power System Intrusion数据集取得95.87%最高准确率;Figshare取得95.36%,且明确采用仅训练数据优化过程,较具可重复性;原文指出仅有一项类似研究报告Figshare 97.5%准确率,但其PSO + GWO优化未明确限制于训练数据,仍存在数据泄漏可能。
研究结论部分翻译如下:现代电力系统日益采用互联网连接的通信与网络物理技术,使其暴露于多种网络攻击,并产生难以管理的大量异构数据。因此,为管理巨大且异构的数据,本文提出一种新的SLAFF算法,基于全局与局部归因值为数据集中每个特征提供评分。基于SLAFF评分形成不同特征集,以训练ML与集成算法。研究结果表明,Kaggle Power System数据集的最佳特征集为25—30个,最高准确率为95.87%;Figshare Power System数据集的最佳特征集为40—50个,在贝叶斯优化集成模型下准确率为95.36%。关键特征随数据集而异:Kaggle中时序与运行状态特征更突出,Figshare中频率与电气测量更重要。尽管结果有前景,但数据集仅采用开源数据,可能与实时电力系统数据、不断演变的网络攻击模式、通信延迟与运行条件变化并不十分相似;此外,合成样本尚未经独立来源验证,过采样虽有助于处理类不平衡,但插值可能产生不能准确表征电力系统状态的特征组合。因此,未来工作包括依据适用的电力系统约束与统计相似性评估验证合成样本,并在实时电力系统数据上验证SLAFF,以支持动态运行条件与网络攻击下的连续入侵检测。