针对时间序列数据库的高效有损压缩器设计

《ACM Transactions on Architecture and Code Optimization》：The Design of an Efficient Lossy Compressor for Time Series Databases

时间序列数据库压缩技术局限及Machete方案。提出Machete压缩器，采用模式预测与混合编码器提升压缩率，达69%-114%优于现有方法，并利用SIMD加速技术实现快速解压，实测节省InfluxDB存储40%-72%并优化查询性能。

　　

摘要

时间序列数据库（简称TSDB）专为处理快速增长的时间序列数据而设计，通常会采用压缩技术来降低存储开销。然而，现有的压缩器在针对TSDB的压缩性能关键指标（如压缩比或解压缩速度）方面存在局限性，这主要是由于它们的设计与TSDB的特定特性不匹配所致。

为此，我们提出了一种有损压缩器Machete。该压缩器能够实现更高的压缩比和更快的解压缩速度，同时保证用户可自定义的、针对数据点的误差范围，从而保留数据的分析价值。首先，Machete采用了基于模式的预测器和高效的混合编码器来监控数据趋势，通过更深入地理解数据从而实现更高的压缩率；其次，它引入了基于SIMD的解压缩加速技术，利用解压缩过程中的重复中间计算并通过并行处理来提高解压缩效率。

我们对四个真实世界数据集的测试表明，Machete在压缩比方面比现有最先进的压缩器高出$69$–$114$；在两个数据集上，Machete还实现了最快的解压缩速度。当应用于知名的时间序列数据库InfluxDB时，Machete减少了磁盘使用量$40$–$72$，并通过减少I/O操作提升了InfluxDB的查询性能。