E-Log：一种针对数据库的细粒度弹性日志异常检测与诊断系统

《IEEE Transactions on Services Computing》：E-Log: Fine-Grained Elastic Log-Based Anomaly Detection and Diagnosis for Databases

数据库管理系统中可靠异常检测和诊断对系统可用性至关重要，但传统日志方法因处理海量日志导致性能 overhead。本文提出E-Log弹性日志框架，通过动态调整日志粒度平衡效率与诊断精度，在正常状态下保持轻量日志，异常时触发详细日志。实验表明，该方法在TSBS、TPCx-IoT等基准测试中提升检测准确率3.15%、诊断性能9.32%，同时减少43.53%存储并提高26.22%写入吞吐量。

　　

摘要：

数据库管理系统（DBMS）是现代大规模软件系统的核心，可靠的异常检测和诊断对于确保系统可用性至关重要。然而，现有的基于日志的方法通常会通过收集大量日志而带来显著的性能开销，这对于需要高读写吞吐量的DBMS来说是不切实际的。本文探讨了一个关键但尚未得到充分研究的挑战：如何在日志记录的粒度与运行时效率之间找到平衡，以实现有效的数据库异常管理。我们提出了E-Log，这是一种新颖的、细粒度的、基于日志的异常检测和诊断框架。E-Log能够根据系统状态智能地调整日志记录的数量和详细程度——在正常运行期间保持轻量级的日志记录以实现高效的异常检测，仅在怀疑出现异常时才触发详细、信息丰富的日志记录以进行准确诊断。这种自适应策略显著降低了运行时开销，同时保持了诊断的准确性。我们在Apache IoTDB上实现了E-Log，并使用TSBS、TPCx-IoT和IoT-Bench等基准测试对其进行了评估。实验结果表明，与最先进的方法相比，E-Log将异常检测的准确性提高了3.15%，诊断性能提高了9.32%；同时，它还将日志存储大小减少了43.53%，并将平均写入吞吐量提高了26.22%。这些结果凸显了E-Log在高性能数据库系统中实现高效、准确和可扩展的异常管理的潜力。

引言

数据库管理系统（DBMS），如Alibaba OceanBase [1]、RocksDB [2]、PingCAP TiDB [3]和Apache IoTDB [4]，在现代软件系统中发挥着至关重要的作用。它们作为基础架构，满足了极高容量数据存储的需求 [5]、[6]。