利用多个相似性空间对加密的容器镜像进行去重处理

《ACM Transactions on Storage》：Exploiting Multiple Similarity Spaces for Deduplication of Encrypted Container Images

针对加密容器镜像存储管理难题，创新性提出SimEnc系统，通过多相似性空间与语义哈希结合消息锁定加密，有效提升去重率，减少存储需求达261.7%（对比加密平台）和54.2%（对比明文仓库），同时降低拉取延迟。

　　

摘要

随着加密容器镜像在注册表中的普及程度不断提高，存储管理面临着独特的挑战，尤其是在镜像数量不断增加的情况下，需要进行去重处理。传统的去重方法在处理加密内容时遇到困难，因为加密内容由于其随机性，会使得重复数据看起来各不相同。目前的一些先进方法通过解压镜像并应用消息锁定加密（Message-Locked Encryption, MLE）来解决这一问题。然而，这些技术仍存在一些显著挑战：微小的内容变化可能会降低去重的效果，而解压镜像各层数据会增加存储需求。此外，这一过程还会影响用户访问镜像的速度以及整个系统的吞吐量。

我们提出了SimEnc，这是一种针对加密容器镜像的高性能、安全去重系统，它利用了多种相似性空间来实现去重。SimEnc首次将语义哈希（semantic hashing）与MLE相结合，有效解析了镜像各层之间的语义关系，从而提高了去重效率。该系统采用了一种快速选择相似性空间的机制，相比之前依赖完全解压的模型，具有更高的灵活性。通过使用霍夫曼编码（Huffman encoding）来遍历新的相似性空间，SimEnc不仅提高了去重比率，还提升了整体性能。实验结果表明，与加密的无服务器平台相比，SimEnc可将存储需求降低多达261.7%；与明文注册表相比，存储需求可降低54.2%；同时，其数据检索延迟指标也更为优秀。