用于日志数据中联合异常检测的轻量级技术

《IEEE Reliability Magazine》：Lightweight Techniques for Federated Anomaly Detection in Log Data

　　

摘要：

准确高效地识别日志数据中的异常对于维护现代计算系统的可靠性、可用性和安全性至关重要。在互联环境中，日志数据通常来自物联网（IoT）设备、工业网络或智能电网等分布式来源。由于严格的保密要求、监管限制以及边缘网络带宽有限，将这些日志集中起来进行异常检测可能会面临挑战。联邦学习（FL）提供了一种替代方案，它允许在本地进行模型训练，同时仅聚合模型而非敏感数据，从而保护数据隐私并减少数据传输量。本文开发并评估了一个联邦日志异常检测流程，并分析了其各个组成部分。我们在联邦学习环境中适配了轻量级异常检测技术，并将其与深度学习（DL）方法进行了比较，评估了它们的检测能力、计算效率、内存需求和推理时间。我们探讨了所提出流程中的残余隐私风险，建立了威胁模型并提出了缓解策略。研究结果表明，轻量级异常检测技术在联邦学习框架中的效果可以与深度学习技术相媲美，同时通常还能提高计算和通信效率。此外，这些技术在应对非独立同分布（non-IID）数据分布时表现出更好的适应性，这是联邦学习中的一个典型挑战，而这种挑战会严重阻碍传统机器学习模型的效果。然而，轻量级模型的内存占用量会随着数据集特征的不同而变化，在某些情况下可能会超过深度学习模型。