利用并行性加快MSR编码存储中的数据修复速度

《ACM Transactions on Storage》：Harnessing Parallelism for Fast Data Repair in MSR-Coded Storage

MSR码优化分布式存储系统修复带宽与冗余，但并行化困难。本文提出HyperParaRC框架，通过子块并行修复与跨带调度实现负载均衡，设计全节点恢复机制提升效率，实验验证其单块和全节点恢复时间优于现有方法。

　　

摘要

最小存储再生（MSR）编码是一种经过证明的最优擦除编码，能够在分布式存储系统中实现修复带宽（即修复操作期间传输的数据量）的最小化，同时降低存储冗余。然而，MSR编码的实际修复性能仍有很大的提升空间，因为其数学结构使得修复操作难以并行化。在本文中，我们提出了HyperParaRC这一针对MSR编码的并行修复框架。HyperParaRC利用MSR编码的子包化特性来并行修复子块，并在可用节点之间平衡修复负载（即节点发送或接收的数据量）。首先，我们证明了修复带宽与最大修复负载之间存在权衡关系。随后，我们为HyperParaRC提出了一种基于亲和性的启发式算法，该算法通过分析子块计算过程中的带宽消耗来近似最小化最大修复负载，并显著缩短了大规模编码参数的搜索时间（相较于我们之前的工作ParaRC）。基于这种基于亲和性的算法，我们进一步设计了HyperParaRC的全节点恢复机制，该机制结合了条带内和条带间的并行修复调度，以修复故障节点中的多个丢失块。我们在Hadoop HDFS上对HyperParaRC进行了原型测试，并在阿里云上进行了评估。评估结果表明，与现有的最先进修复方法相比，HyperParaRC显著缩短了单块修复时间和全节点恢复时间。