通过基于矩阵的建模实现Ceph文件系统的敏捷且审慎的元数据负载均衡

《ACM Transactions on Storage》：Towards Agile and Judicious Metadata Load Balancing for Ceph File System via Matrix-based Modeling

CephFS采用动态子树分区机制，但存在负载失衡、迁移无效等问题。Lunule通过失衡因子模型动态触发均衡，结合负载感知迁移规划优化子树分配，Lunule+引入矩阵模型提升预测精度，二者均实现线性扩展能力。Lunule使吞吐量提升315.8%，Lunule+在负载均衡和吞吐量上分别再提升64.96%和13.53-86.09%。

　　

摘要

为了应对大规模元数据访问的需求，Ceph分布式文件系统（CephFS）采用了“动态子树分区”方法，将层次化的命名空间拆分，并将各个“子树”分布到多台元数据服务器上。然而，这种方法存在严重的不平衡问题，可能导致性能下降，原因包括不平衡预测的准确性不足、未考虑工作负载特性以及不必要的或无效的迁移操作。为了解决这些效率问题，我们提出了Lunule——一种新型的CephFS元数据负载均衡器。Lunule利用“不平衡因子模型”来精确判断何时触发重新平衡，并能够容忍无害的不平衡状态。此外，Lunule还采用了“基于工作负载的迁移规划器”来合理选择需要迁移的子树。最后，我们将Lunule升级为Lunule⁺，该版本将元数据访问行为建模为矩阵形式，并使用基于矩阵的公式进行更准确的负载预测和重新平衡决策。与基线方案相比，Lunule在五个实际工作负载及其组合的场景下，实现了更好的负载均衡效果，元数据吞吐量提高了多达315.8%，同时作业完成时间缩短了最多64.6%。Lunule还能够适应元数据集群的扩展和工作负载的增长，并且在16节点集群上实现线性扩展。与Lunule相比，Lunule⁺的元数据负载均衡性能提升了64.96%，吞吐量提高了13.53%至86.09%。