JMStore：基于哈希数据分布的多节点分布式键值存储（Multi-NDP Key-Value Stores）中计算与存储平衡的联合优化

《ACM Transactions on Storage》：JMStore: Joint Optimization of Computation and Storage Balancing in Multi-NDP Key-Value Stores with Hash-Based Data Distribution

针对传统基于CPU架构的KV存储系统在数据压缩过程中存在的高带宽消耗和计算资源瓶颈问题，提出基于多近数据处理器（NDP）的JMStore系统。该系统通过分布式计算优化数据压缩流程，减少数据迁移，提升读写混合负载下的性能，较现有系统峰值性能提升达10倍。

　　

摘要

对于需要高并发性、高性能和低延迟的关键值存储系统来说，存储和处理大量非结构化数据是一项具有挑战性的任务。基于日志结构化合并（LSM）树的键值存储（KV存储）被广泛采用，以提高写入性能。现有的KV存储主要部署在以CPU为中心的架构上，这需要将数据从内存或存储设备传输到CPU进行处理。在压缩过程中，这个问题尤为突出，因为压缩涉及大量的数据移动和重写。这种传统方式会消耗带宽和计算资源，导致写入性能下降。近数据处理（NDP）设备通过在存储位置直接处理数据来缓解这一问题，从而减少数据移动的成本。鉴于单个NDP设备的计算能力不足以满足大规模非结构化数据处理的需求，我们提出了JMStore——一种基于哈希数据组织的多NDP键值存储系统。通过将计算任务分散到多个NDP设备上，JMStore能够协同优化压缩过程，解决数据移动问题以及大规模数据负载与NDP计算能力之间的不匹配问题。我们为多NDP架构设计了一种键值存储编程模型和数据组织方式，使系统能够充分利用多个NDP设备的硬件效率和并行性，显著提升系统性能。我们还提出了一种在哈希布局下平衡存储和计算资源的策略。与最新的单NDP KV存储（PStore）和多NDP KV存储（MStore）相比，JMStore在DB_Bench和YCSB-C测试中表现出显著的性能提升，在读写混合负载下，性能峰值可以提高10倍。