一种三层能效架构，该架构结合了虚拟机分配与整合技术，并利用NSGA-II（非线性进化遗传算法）和LSTM（长短期记忆网络）来优化云计算数据中心的运行效率

《Sustainable Computing: Informatics and Systems》：A three-tier energy efficient architecture integrating virtual machine allocation and consolidation leveraging NSGA-II and LSTM for cloud data center

云数据中心能效优化：提出三 tiers 架构整合NSGAII-VMAC算法与LSTM预测，动态分配和合并虚拟机，降低能耗50.93%，减少服务器60.39%和迁移30.57%

　　

Sheetal Garg | Rohit Ahuja | Raman Singh

计算机科学与工程系，Thapar 工程与技术学院，Patiala，Punjab，147004，印度

摘要

物理机器资源利用不足是云环境中高能耗的主要原因。虚拟机分配和整合在高效利用数据中心资源方面起着至关重要的作用。现有研究通常要么专注于优化虚拟机（VM）到物理机（PM）的分配，要么仅基于当前工作负载信息进行虚拟机整合。本文提出了一种三层架构，通过结合当前和预测的工作负载来整合虚拟机分配和整合。通过采用准确的工作负载预测而不是仅依赖实时使用情况，所提出的方法可以主动改进放置决策，从而减少由于动态工作负载变化导致的频繁虚拟机迁移，并降低服务水平协议（SLA）违反的风险。

第一层使用基于非支配排序遗传算法 II（NSGAII-VMAC）的算法将虚拟机最优地映射到物理机上。第二层采用长短期记忆（LSTM）模型来预测虚拟机的工作负载并计算物理机的预测工作负载。最后，第三层分三个步骤进行整合：首先，利用当前和预测的工作负载识别过载和负载不足的物理机；接下来，使用受帕累托前沿策略启发的虚拟机选择方法从过载的物理机中选择要迁移的虚拟机；最后，使用 NSGAII-VMAC 确定放置的目标物理机。广泛的实验表明，与基线方法相比，所提出的方法将能耗降低了多达 50.93%，虚拟机迁移次数减少了 30.57%，活跃服务器数量减少了 60.39%。对于工作负载预测，LSTM 模型的均方根误差（RMSE）低至 0.028，平均绝对误差（MAE）低至 0.021，优于现有的最先进模型。这些结果验证了基于预测的框架在能源高效云数据中心管理中的有效性。

引言

云数据中心已成为现代数字服务的支柱，支持从网页托管到大规模数据分析等各种应用程序。对云服务需求的增长导致资源需求增加，以满足不断扩大的用户请求和运营需求。分析表明，CPU 是最关键且需求最大的资源，它是执行各种任务和满足用户需求的主要计算引擎 [1]，[2]，[3]。通常，在数据中心环境中，物理机（PM）的 CPU 利用率在 $15$% 到 $20$% 之间，而大量 CPU 资源处于空闲状态 [4]。此外，研究发现，在大学计算机实验室的高峰期，只有约 $5$% 的 CPU 和 $25$% 的 RAM 被使用 [5]。根据 Open Compute Project 的数据，Facebook 的俄勒冈数据中心的服务使用效率（PUE）表明，数据中心中用于计算资源的能源占 $93$% [6]。此外，研究发现大约 $40$% 的运营预算用于电力费用和数据中心内部热量的管理。据报道，美国数据中心的服务器消耗了全国总电量的 1.5%以上，金额接近 45 亿美元 [7]。最近的研究表明，由于服务器数量的增加，全球在企业电力和冷却系统上的支出已超过 300 亿美元 [8]。这种大量的能源消耗和计算资源的低利用率表明，迫切需要有效的资源管理策略来确保可持续和具有成本效益的云计算 [9]，[10]。

云数据中心由众多服务器、网络设备和存储设备组成，这些设备全天候运行，以满足个别用户的需求并在全球范围内存储数据。为了最大限度地利用每台服务器的资源，虚拟化技术利用虚拟机监控器（VMM）或管理程序将多个虚拟机（VM）整合到单个物理机上。这种优化策略旨在提高资源利用率，减少数据中心的硬件占地面积，并降低数据中心的整体能耗 [11]。除了资源整合外，虚拟化还促进了有效的虚拟机分配（VMA）和虚拟机整合（VMC），进一步提高了数据中心的整体能源效率和性能。VMA 主要处理将虚拟机初始放置在合适的物理机上以平衡资源使用情况 [12]，而 VMC 则根据变化的工作负载动态重新分配虚拟机，以保持高效利用 [13]。

大多数现有研究将 VMA 和 VMC 定义为基于装箱问题的基本概念，其中虚拟机被视为物品，物理机被视为箱子；因此，这是一个 NP 难问题，也是组合优化挑战 [14]。在最近的研究中，采用了许多启发式算法（如最佳适应、首次适应、下次适应、轮询、贪婪算法、最佳适应递减算法）以及元启发式算法（如粒子群优化 [16]、遗传算法 [17]、蚁群优化 [18]、模拟退火 [20]、线性规划 [21]、博弈论 [22]、机器学习 [13]）和各种混合方法来提高资源利用率和服务质量（QoS），检测过载和负载不足的物理机，减少能耗同时最小化活跃服务器的数量。

尽管进行了大量研究，但大多数现有方法分别处理 VMA 和 VMC，并且通常仅依赖于当前工作负载信息，忽略了未来的工作负载波动。这种限制可能导致资源效率低下、频繁且不必要的迁移以及潜在的服务水平协议（SLA）违反。此外，我们在最近的实验分析中发现，仅仅减少活跃服务器的数量并不总能保证降低能耗，因为工作负载不平衡和物理机的能源特性各不相同 [24]。因此，在本文中，分别考虑并同时使用多目标算法优化了这两个目标——减少活跃服务器的数量和降低总能耗。

为了克服这些挑战，本文提出了一种三层架构，该架构结合了当前和预测的工作负载信息来整合 VMA 和 VMC。该架构采用基于非支配排序遗传算法 II 的虚拟机分配和整合（NSGAII-VMAC）算法进行多目标优化，并使用长短期记忆（LSTM）模型进行准确的工作负载预测。此外，引入了一种受帕累托前沿启发的虚拟机选择策略，以进一步减少不必要的迁移并提高整体系统性能。

本文的工作取得了以下贡献：

• •
  提出了一种三层架构，结合了当前和预测的工作负载，实现了最优的虚拟机分配和动态整合。该架构利用基于 NSGA-II 的虚拟机分配和放置算法（NSGAII-VMAC）以及基于 LSTM 的工作负载预测方法。
• •
  引入了一种整合策略，结合了基于阈值的物理机负载检测、受帕累托前沿启发的虚拟机选择方法和基于 NSGAII-VMAC 的预测意识虚拟机放置。这种联合策略主动管理过载和负载不足的物理机，以减少活跃服务器的数量并优化能源效率。
• •
  在 Google 集群跟踪数据上进行了广泛的实验验证，证明所提出的方法在能耗、虚拟机迁移次数、预测准确性和活跃服务器数量方面显著优于现有的基线方法。

文献综述

文献综述

多项研究结果表明，将虚拟机仔细分配到物理机上以及有效的动态虚拟机整合对降低云数据中心的能耗有显著影响。本节总结了其中一些研究。

表 1 显示了相关方法和所提出架构的比较摘要

云数据中心的能源效率意识架构

本节描述了云数据中心执行任何请求任务时遵循的一般过程以及所提出的能源效率意识三层架构。

研究方法

所提出的数据中心能源优化方法（VMA-Prediction-VMC）分为三个层次（图 1），每个层次都旨在降低数据中心的能源使用。本节将详细解释每个层次的功能。表 2 显示了本研究中使用的符号和描述。

实验设置

在本节中，我们提供了用于评估我们提出方法的模拟环境概述，并描述了 Google 集群使用跟踪数据集以及评估指标。

结果与讨论

在所提出的架构中采用多目标优化方法的动机基于我们之前的工作，该工作展示了能耗与活跃物理机数量之间的相互依赖性 [24]。图 2 显示，使用较少物理机的算法（例如 GA）并不总是能实现最低能耗，因为存在负载不平衡和物理机能源特性等因素。这支持了需要考虑总能耗（TEC）和总活跃服务器数量的需求

限制和潜在失败

所提出的三层架构在能源效率和资源使用方面取得了进展；尽管如此，仍存在一些限制和预期的失败情况：

• •
  工作负载预测准确性：基于 LSTM 的工作负载预测在极端动态或意外的工作负载模式下可能会产生不准确的工作负载需求。这可能导致过早迁移并增加 SLA 违反的概率。
• •
  优化开销：
  NSGAII-VMAC 需要反复进行分配计算

结论与未来展望

本文提出了一种三层架构，该架构结合了当前和预测的工作负载，整合了虚拟机分配和动态整合，以提高云数据中心的能源效率。所提出的方法使用了 NSGAII-VMAC 算法进行双目标优化，并使用 LSTM 模型进行准确的工作负载预测。基于帕累托前沿的虚拟机选择策略进一步增强了整合决策。在 Google 集群跟踪数据集上的实验结果显示

CRediT 作者贡献声明

Sheetal Garg：概念化、数据整理、验证、可视化、撰写——原始草稿。Rohit Ahuja：撰写——审阅与编辑、撰写——原始草稿、方法论、概念化。Raman Singh：资源获取、调查。

资金

本研究未涉及任何资金。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。