仅靠准确率不足:异步联邦入侵检测中的风险感知评估与聚合

《Future Generation Computer Systems》:Accuracy is not enough: Risk-aware evaluation and aggregation in asynchronous federated intrusion detection

【字体: 大 中 小 】 时间:2026年09月21日 来源:Future Generation Computer Systems 6.2

编辑推荐:

   摘要 异步联邦学习(AFL)作为一种实际范式,在异构和延迟受限环境中部署入侵检测系统(IDS)方面受到了关注。时间加权平均(TWA)是一种近期提出的AFL聚合策略,旨在减轻落后者的影响,同时保持模型性能,先前的评估强调了其在NSL-KDD基准上的高验证准确率。然而,时间聚合在

  

摘要 异步联邦学习(AFL)作为一种实际范式,在异构和延迟受限环境中部署入侵检测系统(IDS)方面受到了关注。时间加权平均(TWA)是一种近期提出的AFL聚合策略,旨在减轻落后者的影响,同时保持模型性能,先前的评估强调了其在NSL-KDD基准上的高验证准确率。然而,时间聚合在分布偏移、类别不平衡和安全关键评估协议下支持鲁棒入侵检测的程度仍有待深入研究。

在本工作中,我们针对NSL-KDD、UNSW-NB15和CIC-IDS2017对时间加权聚合进行了系统、多数据集的再评估。我们首先在NSL-KDD上复现了验证级别的结果,确认TWA实现了与同步FedAvg相当的准确率。然而,在留出评估下,出现了显著的泛化差距:准确率从验证时的约98%降至KDDTest+上的76%,并在更具挑战性的KDDTest-21划分上进一步降至55%-60%。更重要的是,总体准确率掩盖了更为波动的类别级别画面。在五个种子下,固定方法下的权限提升召回率在0.02到0.46之间波动,这种波动幅度超过了观察到的聚合策略之间的差异。类似少数类别召回率不稳定性在UNSW-NB15和CIC-IDS2017上也出现。

由于聚合目标与入侵风险之间的不匹配,我们形式化了风险加权类别感知时间加权平均(RW-CA-TWA),将其作为风险感知联邦经验风险最小化目标的聚合端随机代理。我们分析了其有界性、与陈旧度的交互以及稳定性,表明在高度延迟条件下,其风险感知校正受限于时间衰减。在经验上,RW-CA-TWA在多数据集上未能在FedAvg或Async-TWA基础上产生统计可靠少数类别召回率改进;相反,少数类别检测主要由支持集大小、种子级方差、陈旧度和类别特定语义难度决定。我们进一步表明闭集精确类别召回率不适用于零日评估,并引入了一种开集检测重构,在此重构下,未知攻击检测在UNSW-NB15留出集上达到0.999-1.000,在CIC-IDS2017 Botnet留出集上达到0.67-0.68。

综合而言,这些发现表明,极端不平衡下少数类别检测不稳定性是结构性评估问题,而非仅通过聚合级别重新加权所能解决的问题。我们主张联邦IDS研究应报告每次运行的数值、类别支持集大小、不平衡比敏感度、陈旧度敏感度以及开集未知攻击行为,而不仅是总体准确率。

引言 入侵检测系统(IDS)是现代网络安全基础设施的关键组成部分,能够检测跨网络、主机和分布式环境中的恶意活动。随着当代系统越来越多地跨越物联网(IoT)部署、边缘平台和跨组织网络,集中式入侵检测难以扩展,且由于隐私、监管和操作约束往往不切实际。尽管基于机器学习的IDS方法可以捕获复杂的攻击模式,但它们通常假设可以集中访问大量敏感网络流量,这一假设在实践中很少成立。

联邦学习(FL)提供了一种有前景的替代方案,使多个客户端能够训练共享模型,同时保留对原始数据的本地控制。通过交换模型更新而非流量日志,FL减少了数据移动,并支持隐私敏感环境。然而,同步算法如联邦平均(FedAvg)要求服务器等待选定的客户端完成本地训练后进行聚合。在异构系统中,计算、连接和可用性差异会造成落后者和客户端掉线,降低训练效率。

异步联邦学习(AFL)通过整合到达的客户端更新来解决这一限制,提高资源利用率和训练吞吐量。这对于涉及资源受限或间歇连接节点的IDS设置尤为吸引人。然而,异步性也改变了优化过程:更新可能变得陈旧,到达顺序可能不均匀,客户端影响可能随时间变化。这些效果引入了收敛、聚合偏差和评估可靠性方面的挑战。

时间加权平均(TWA)是一种突出的启发式方法,旨在平衡模型质量和异步吞吐量。它给予较新的客户端更新更大的影响,据报道实现了与同步FedAvg相当的验证准确率,同时提高了效率。这些发现鼓励了联邦入侵检测中使用时间聚合,但隐含地假设高验证准确率是可靠安全性能的充分证据。

对于IDS而言,这一假设是有问题的。入侵数据集通常高度不平衡、非平稳,并具有不对称风险特征,其中罕见的攻击(如权限提升)可能比其频率所暗示的具有更大的操作影响。在这种情况下,总体准确率可能会掩盖少数类别检测的严重失败,尤其是当验证数据与训练分布非常相似时。因此,时间聚合在分布偏移和安全相关评估下是否仍然可靠,仍未解决。

在本工作中,我们从评估优先的角度重新审视时间加权聚合。我们首先在标准验证条件下复现了报告的结果,并确认TWA实现了与异步FedAvg相当的准确率。然后我们在三个IDS基准NSL-KDD、UNSW-NB15和CIC-IDS2017下评估时间聚合,在留出和分布偏移测试条件下,重点关注少数类别行为。结果表明,验证准确率掩盖了显著的泛化退化和类别级别差异,尤其是对于罕见、高影响攻击。更重要的是,这些差异在统计上是不稳定的:在随机种子下,相同类别在固定聚合方法下的召回率可以比聚合方法之间的差异变化更大。这表明时间聚合在构造上是频率偏差的,且由此产生的偏差无法仅通过聚合可靠校正。

基于这一不匹配,我们引入了风险加权类别感知时间加权平均(RW-CA-TWA),这是一种轻量级扩展,用显式风险敏感度增强时间聚合。我们将其形式化为风险感知联邦经验风险最小化目标的聚合端随机代理。我们的理论分析表明,RW-CA-TWA是标准时间聚合的有界扰动,其风险感知校正在高陈旧度下被抑制,且其对风险权重的误校准敏感度可以直接表征。

通过系统多种子和多数据集实验,我们发现所有评估的聚合策略均未能在同步FedAvg基础上产生统计可靠的少数类别召回率改进。我们从经验和理论上解释了这一限制。我们还表明,精确类别召回率对于完全从训练中保留的零日攻击不是有意义的度量,并提出了一种开集公式来评估联邦聚合下的未知攻击检测。

本文的主要贡献包括:
• 在安全相关测试条件下对TWA在NSL-KDD、UNSW-NB15和CIC-IDS2017上的可复现评估。
• 证据表明验证准确率掩盖了分布偏移失败以及跨数据集、种子和聚合方法的不稳定少数类别召回率。
• RW-CA-TWA,作为风险感知联邦经验风险最小化的聚合端代理,具有有界性、陈旧度敏感度和风险权重鲁棒性保证。
• 一种开集评估协议,表明精确类别召回率不适用于训练集中不存在的零日攻击。

总体而言,本研究倡导联邦IDS研究的评估优先方法。总体准确率和单次运行改进不足以证明安全关键可靠性;评估还应报告每次运行可变性、类别支持以及不平衡敏感度,与任何提出的聚合方法一起。

文献综述片段 入侵检测系统(IDS)监控网络和主机活动以识别恶意行为,异常检测方法对于检测之前未见过的攻击尤为有用。近期ML和DL方法(包括CNN、RNN和自编码器)直接从数据中学习复杂攻击模式,尤其是在资源受限的IoT和边缘环境中[1]。然而,类别不平衡和罕见攻击检测的持久挑战仍然存在[2]。NSL-KDD[3]减少了来自……(此处截断)

联邦入侵检测问题设置 我们考虑联邦设置下的入侵检测,其中N个分布式客户端协作训练共享模型,而不交换原始流量数据。设C={1,…,N}表示客户端集。客户端i∈C持有本地数据集Di={(xij,yij)},其中xij∈R^p表示网络流量特征,yij∈Y表示入侵标签。在NSL-KDD、UNSW-NB15和CIC-IDS2017中,Y包括正常流量和多个攻击类别,对于最罕见的类型存在严重的类别不平衡。联邦……(此处截断)

可重复性和实验方案 本节指定了本研究所使用的数据集、联邦训练配置、评估指标和可重复性保障措施。该方案旨在(i)忠实复现先前报告的时间聚合验证级别行为,(ii)在多个基准的安全相关留出测试条件下评估聚合策略,以及(iii)确保观察到的差异源于聚合行为而非未控制的实验……(此处截断)

时间加权平均的经验再评估 本节呈现了在可重复联邦入侵检测方案(如第4节所述)下对时间加权平均(TWA)的系统再评估。该分析服务于两个目标:首先,建立对NSL-KDD上原始报告验证级别行为的忠实复现;其次,评估时间聚合的表观有效性在多种子、留出泛化测试下是否持续,这些测试强调类别不平衡和……(此处截断)

风险加权类别感知时间聚合的评估 RW-CA-TWA在第3.7节中完全定义,其理论性质在第3.9节中确立。本节在第4节方案下在NSL-KDD、UNSW-NB15和CIC-IDS2017上经验评估该方法。我们在相同条件下比较三种服务器端聚合规则:同步FedAvg、异步TWA(Async-TWA)和提出的RW-CA-TWA。除非另有说明,主要比较使用每方法5个种子;鲁棒性分析使用3个种子(第4.4节)。

讨论 核心经验发现是,极端不平衡下少数类别召回率不稳定性是联邦入侵检测的结构性、数据集无关属性,而非任何单一聚合方法的失败。在NSL-KDD、UNSW-NB15和CIC-IDS2017中,所有评估的策略——FedAvg、Async-TWA或RW-CA-TWA——均未产生统计可靠的少数类别召回率改进。在NSL-KDD上,方法间权限召回率差异最多为0.02,而方法内……(此处截断)

局限性与未来工作 本研究评估了多数据集和随机种子下的时间和风险感知聚合,但实验是在模拟中进行的,而非在地理分布式部署中。因此,它们不能完全捕获可变带宽、数据包丢失、相关延迟或时变客户端参与。第6.5节中的陈旧度扫描提供了延迟异构性的受控近似,但它仅限于NSL-KDD,并应扩展到UNSW-NB15和……(此处截断)

结论 本工作呈现了对异步联邦入侵检测中时间加权聚合的系统、多数据集再评估,涵盖NSL-KDD、UNSW-NB15和CIC-IDS2017。通过将评估从单次运行、验证为中心的报道扩展到五种子的留出测试,在分布偏移下,我们表明时间聚合的高报告准确率反映了验证特定效应而非鲁棒泛化,且表观总体优势……(此处截断)

生成式AI和AI辅助技术声明 在准备本手稿期间,作者使用ChatGPT进行语言编辑和清晰度改进。作者审查并编辑了所有内容,并对作品的准确性和原创性承担全部责任。

资助 本研究未从公共、商业或非营利部门的资助机构获得任何具体资助。

利益冲突声明 作者声明他们没有已知的可能影响本论文报告工作的竞争财务利益或个人关系。

Om Agrawal 哥伦比亚大学哥伦比亚工程学院工业工程与运筹学系,纽约,美国
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号