ProMit：企业存储系统的主动磁盘故障缓解器

《IEEE Transactions on Computers》：ProMit: Proactive Drive Failure Mitigator for Enterprise Storage Systems

　　

摘要：

近年来数据的指数级增长加剧了对可靠存储解决方案的需求，以防止主要由驱动器故障引起数据丢失的严重后果。传统的被动容错机制导致更长的恢复时间、更高的运营成本和性能下降，而这些故障仍在频繁发生。最近的研究已转向主动方法，在故障发生前预测故障。然而，大多数现有研究主要依赖离线学习模型，这些模型更新缓慢，且缺乏对演变故障模式的适应性。虽然一些研究探索用于驱动数据流的在线学习模型，但随着数据量的增长，这些方法面临可扩展性和准确性的挑战。此外，先前的工作尚未开发出无需模型训练即可预测驱动器健康的实时指标。此外，之前的工作也没有提出缓解驱动器故障的解决方案。此外，直到现在，NVMe SSD 中早期故障的模式和根本原因仍未得到表征。为了应对这些挑战，我们分析了阿里巴巴数据中心中 NVMe SSD 的现场数据，确定了驱动器故障的根本原因，并提出了七项关键发现。值得注意的是，我们发现故障驱动器中代表早期驱动器故障率的平均 WAFPowerOnTime，比健康驱动器高 10.2×。鉴于其强大的预测能力，我们将此指标确立为驱动器故障预测和健康状态分类的实时指标——无需模型训练。基于这一见解，我们提出了一个主动框架来缓解驱动器早期故障，该框架通过持续监控和实时更新驱动器健康状态，为传入的写请求动态推荐最佳候选驱动器。我们的框架是非侵入式的，可以在软件堆栈或后端存储控制中实现...

显示更多

I. 引言

人工智能、大数据、云计算和其他数据驱动技术的快速发展导致了数据的指数级增长，使数据成为各行各业决策和运营中更不可或缺的部分。这对高度可靠的存储系统提出了更高的要求，因为数据丢失会给基础设施和企业带来严重的财务和运营后果 [32]。驱动器故障是现代存储系统中数据丢失的主要原因 [33]。一项针对微软现场数据的研究表明，磁盘故障占数据中心硬件相关故障的 76-95% [22]。与企业机械硬盘 (HDD) 相比，固态硬盘 (SSD) 因其卓越的速度和可靠性而被广泛应用于企业存储 [4], [5], [6], [31]。然而，SSD 却是大规模数据中心中故障和数据丢失的主要来源，占总故障比例最大 [5], [30], [33]。这在很大程度上是因为随着时间的推移，存储密度的增加由于磨损而降低了它们的可靠性。此外，由于架构差异，NVMe SSD 提供了比 SATA SSD 更高的带宽和更低的延迟，导致不同的故障模式，这可能会使现有的故障缓解方案失效。