在基于分层存储的键值存储系统中保持层间平衡

《ACM Transactions on Storage》：Maintaining Inter-Layer Equilibrium in Hierarchical-Storage-based KV Store

键值存储在异构存储系统中的性能优化

　　随着存储技术的不断发展，现代存储系统的目标是提升性能并降低存储成本。为了满足这一目标，研究者提出了多种基于键值存储（Key-Value Store, KV store）的设计方案，特别关注异构存储系统。其中，Log-Structured Merge-Tree（LSM树）被广泛用于优化写入密集型工作负载和闪存存储。然而，基于LSM树的键值存储在异构存储系统中却面临严重的性能下降和查询延迟增加的问题。这一问题主要源于“写入停滞”约束的引入，即系统在设计时只考虑单一存储层级，无法充分利用多层级存储架构的优势。此外，异构存储系统中不同存储层级之间的性能差异会导致“存储间不平衡”问题，这会进一步影响系统整体性能。

本文提出了一种新的I/O调度器，旨在解决多层级存储系统中存储间不平衡的问题。该调度器采用了两项关键技术：动态数据布局和写入I/O限流。动态数据布局通过适应性能指标和工作负载需求，优化数据在不同存储层级之间的分布，从而提高访问效率并减少延迟。而写入I/O限流则通过控制内存与存储之间的数据流动，实现数据的均衡迁移，防止瓶颈现象，特别是在高负载下对系统性能的负面影响。通过将该调度器集成到一个传统的HSKVS系统中，我们发现其在YCSB工作负载D中实现了高达14.7倍的性能提升，并将查询延迟从13毫秒降低至1.4毫秒，从而减少了9.3倍的尾部延迟。

在传统存储环境中，键值存储系统通常以单一存储介质为基础，这使得系统设计和优化变得相对简单。然而，随着数据中心、云服务提供商和网格集群中多类型存储设备的普及，单一存储介质已无法满足日益增长的性能需求。因此，设计支持异构存储的键值存储系统成为一种趋势。在这样的系统中，不同层级的存储设备可能具有不同的性能特性，如低延迟、高密度或高成本等。例如，非易失性内存（NVM）技术，如Optane SSD和Z-NAND，提供了微秒级的超低延迟，使其适合处理对延迟敏感的工作负载。而四层单元（QLC）NAND闪存，由于其每单元可存储四个比特，成为了市场上主流的高密度存储介质。QLC闪存虽然具有成本效益，但其性能不如NVM闪存，特别是在随机写入和垃圾回收机制方面存在局限。

HSKVS（基于分层存储的键值存储系统）的设计旨在通过优化数据分布来提升整体性能和降低部署成本。HSKVS通常将数据分为顶层和底层，顶层用于频繁访问的数据和写入密集型操作，而底层则用于存储生命周期较长的数据。然而，HSKVS在处理大规模写入操作时，顶层和底层之间的性能差异会加剧，导致存储间不平衡。这种不平衡在写入量突然增加时尤为明显，例如当大量数据涌入顶层存储时，随后需要将数据迁移至底层存储，这会显著降低底层存储的性能，并导致写入延迟的增加。特别是在QLC闪存中，由于其较低的随机写入性能和较慢的垃圾回收速度，存储间不平衡问题更为严重。

为了缓解这一问题，本文提出了两种关键技术：动态数据布局和写入I/O限流。动态数据布局能够根据存储设备的性能状态和当前工作负载，动态调整数据在不同存储层级中的分布。该技术通过识别存储间不平衡，并采取相应的数据迁移或固定策略，从而减少不必要的数据移动，提高系统整体效率。此外，动态数据布局还能够优化存储设备的使用，减少存储间的数据流动，从而提升存储系统的耐用性。而写入I/O限流则通过监控存储设备的性能，并根据性能差异调整写入速度，防止底层存储因数据迁移而出现过载，同时减少顶层存储中的数据堆积，从而提升查询性能。

在实验评估中，我们使用YCSB基准测试了HSKVS在不同工作负载下的性能表现。结果显示，基于我们提出的I/O调度器的系统在多个工作负载中均表现出显著的性能提升。尤其是在处理写入密集型工作负载时，该调度器有效缓解了存储间不平衡问题，提高了系统吞吐量。此外，该调度器在减少查询延迟方面也表现出色，尤其是在处理读取操作时，通过减少数据在顶层存储中的堆积，降低了查询延迟的波动性。实验结果表明，我们的调度器不仅在吞吐量上优于传统方法，还在尾部延迟控制方面取得了显著成效。

除了性能提升，我们的调度器还注重资源利用效率。通过动态调整数据布局和写入I/O限流，我们能够更高效地利用顶层存储资源，同时减轻底层存储的负担。这种优化策略使得系统在处理大规模数据存储时能够保持较高的资源利用率，同时避免因数据迁移而导致的性能下降。此外，我们还测试了该调度器在不同RAID配置下的表现，发现其在多种存储配置中均能保持良好的性能稳定性，特别是在高密度QLC闪存和低延迟NVM闪存的组合中，该调度器能够有效平衡存储间的性能差异，提高系统的整体效率。

综上所述，本文提出了一种基于异构存储的键值存储系统I/O调度器，通过动态数据布局和写入I/O限流两种关键技术，解决了存储间不平衡问题，提高了系统的性能和资源利用率。实验结果表明，该调度器在YCSB工作负载D中实现了显著的性能提升，并在查询延迟控制方面表现出色。未来的研究可以进一步探索该调度器在更多存储层级和不同存储介质组合中的表现，以及如何适应新兴的存储技术，如CXL，以实现更高效的存储系统设计。