MetaEC：一种基于分散内存的高效且具备容错能力的擦除编码键值存储系统

《ACM Transactions on Architecture and Code Optimization》：MetaEC: An Efficient and Resilient Erasure-Coded KV Store on Disaggregated Memory

MetaEC是一种基于离散内存架构的高效纠删码键值存储系统，通过灵活的 stripe 组织、异步编码（lazy coding）和高效的元数据管理解决传统复制方案带来的性能和存储开销问题。实验表明，MetaEC相比现有复制方案在延迟上降低53.33%，吞吐量提升31.01%，内存消耗减少58.17%。

　　在当今数据处理需求不断增长的背景下，键值（Key-Value, KV）存储系统作为分布式存储的重要组成部分，正在经历从传统单一服务器架构向分离式内存（Disaggregated Memory, DM）架构的迁移。这种迁移旨在提升资源利用率和系统的弹性，同时保持高性能。然而，传统的KV存储系统通常依赖于复制（Replication）机制来实现容错功能，这种方式虽然有效，但会带来较高的存储开销。因此，研究人员开始探索使用纠删码（Erasure Coding, EC）作为替代方案，以提高存储效率。然而，在DM架构中直接实现EC技术存在性能瓶颈，主要是由于EC元数据管理的复杂性和一致性校验过程的挑战。本文提出了一种名为MetaEC的高效且具有容错能力的EC KV存储系统，旨在解决这些问题并提升整体性能。

MetaEC的设计基于三个核心理念：一是通过逻辑分块和延迟编码技术，减少EC元数据管理对性能的影响；二是设计高效的EC元数据结构，采用混合冗余方案，以实现容错；三是设计基于日志的EC一致性更新协议，从而有效处理并发冲突。这些设计使得MetaEC能够在DM架构中实现高效率的EC存储，减少存储开销，同时保证数据的可靠性和系统的稳定性。

在传统的KV存储系统中，EC技术的实现需要将多个键值对组织成数据块，并进一步形成条带（Stripe）。这种组织方式虽然能够提高存储效率，但在DM架构中，由于内存节点（Memory Node, MN）通常不配备强大的CPU，因此在元数据管理上存在困难。现有的EC元数据结构通常采用多级索引和指针结构，这些结构在传统服务器上运行良好，但在DM中，由于所有EC元数据都存储在MN上，这些结构变得低效，导致客户端必须通过多次网络往返操作来获取信息，增加了延迟。此外，这些结构本身消耗大量的存储空间，例如每个键值对需要超过16字节的EC元数据，这在处理大量小型键值对时尤为显著。如果这些元数据在集中式服务器上进行复制以实现容错，不仅增加了存储开销，还与引入EC的初衷相悖。

在EC一致性更新方面，传统的KV存储系统依赖于两阶段提交（Two-Phase Commit, 2PC）协议，这种方式在处理并发请求时容易产生冲突，如写-写冲突和写-读冲突。由于MN的计算能力有限，2PC协议的执行变得困难，导致系统性能下降。因此，MetaEC提出了一种基于日志的EC一致性更新协议，以解决这一问题。此外，MetaEC还设计了EC元数据结构，使其能够处理并发冲突，仅允许并发读取或写入操作，从而减少冲突带来的性能损失。

MetaEC的实施涉及多个关键步骤，包括键值对的逻辑分块、延迟编码的引入、EC元数据结构的设计以及一致性更新协议的实现。通过将键值对组织成数据块，并将这些数据块分布到多个MN上，MetaEC能够实现高效的EC存储。延迟编码技术使得插入请求不需要等待数据块完成编码即可被标记为成功，从而减少关键路径上的延迟。同时，MetaEC的EC元数据结构设计得更加紧凑，减少了存储开销，并通过混合冗余方案确保了系统的容错能力。

为了进一步优化性能，MetaEC引入了一种统一的循环操作日志（Unified Circular Operation Log, UniCOL），使得日志操作可以高效地进行，并且减少了日志条目对系统性能的影响。此外，MetaEC还利用客户端缓存来减少访问EC元数据的延迟，使得在缓存命中时，请求可以并行处理，从而提升系统吞吐量。在处理并发冲突时，MetaEC通过限制并发读写操作，确保数据和EC元数据的一致性。

MetaEC的实验结果显示，与现有的DM上的复制型KV存储系统相比，其在延迟、吞吐量和内存使用方面均有显著提升。例如，在延迟方面，MetaEC实现了最高53.33%的减少；在吞吐量方面，实现了最高31.01%的提升；在内存使用方面，实现了最高58.17%的节省。这些改进使得MetaEC在高并发和大规模数据处理场景下表现出色，能够满足实时云服务对高效率的需求。

MetaEC的设计不仅解决了DM架构中的EC元数据管理问题，还有效应对了并发更新带来的挑战。通过采用基于日志的一致性更新协议，MetaEC能够减少计算开销，提升系统的可扩展性。同时，其混合冗余方案和延迟编码技术，使得EC元数据的存储开销最小化，而系统的容错能力却得以保持。这些设计使得MetaEC在DM架构中能够实现高效、可靠的EC存储。

MetaEC的实现基于现有的技术，并结合了最新的优化方法。其在DM架构中的应用不仅提升了存储效率，还增强了系统的容错能力，为未来的高吞吐、低延迟存储系统提供了新的思路。通过在DM架构中引入EC技术，MetaEC为键值存储系统的设计提供了更加灵活和高效的解决方案，具有广泛的应用前景。