面向大数据工作流的可扩展、具备QoS意识的云服务组合：一种基于模型驱动的MJAYA优化方法

《Big Data Research》：Scalable QoS-Aware Cloud Service Composition for Big Data Workflows: A Model-Driven MJAYA Optimization Approach

　　摘要：针对大数据工作流中的云服务组合问题，需要在多种服务质量约束下为抽象任务选择具体的服务，这就构成了一个大规模的NP难优化问题。现有的许多云服务组合解决方案依赖于元启发式算法，而这些算法需要仔细调整超参数，从而降低了其稳健性和实际部署能力。本研究提出了MJAYA，这是一种模型驱动、参数较少的优化算法，它在JAYA框架的基础上加入了自适应多样性调节和概率更新控制机制，以改善服务选择过程中的探索与利用平衡。该方法将服务质量属性直接纳入搜索过程，无需进行特定于算法的参数校准。通过标准服务质量指标和非参数统计测试，MJAYA在合成数据集和基准工作流数据集上与几种代表性的元启发式优化器进行了比较。实验结果表明，无论工作流规模和权重如何，MJAYA都能实现更高的服务质量、更快的收敛速度以及更低的解的方差。敏感性分析进一步证明了其在不同服务质量权重配置下的稳定性。这些研究结果表明，MJAYA为数据密集型且动态变化的云环境中的服务质量感知型云服务组合提供了可扩展且实用的可部署优化框架。MJAYA被设计为一种离线规划优化器，可作为定期重新计算模块嵌入到服务组合引擎中，由服务质量配置更新或服务池变化触发。

引言：云计算因其灵活性、可扩展性和成本效益等方面的显著优势，已被公认为现代信息技术中最具变革性的范式之一。通过提供弹性且可扩展的IT服务，云计算使用户能够按需获取计算资源、平台和应用程序，而无需承担拥有、管理或维护底层基础设施的负担[1]。这种以服务为导向的交付模式导致了功能类似但定价结构和性能特征各异的云服务的涌现，这些特征统称为服务质量属性。在本研究中，“大数据工作流”指的是数据密集型的云工作流，这是云服务组合领域中的常用术语[2]，其特点是服务组合池规模庞大，导致全面搜索在计算上不可行。功能相似的云服务众多，给用户带来了巨大挑战，他们必须找到最能满足自身功能性和非功能性需求的解决方案。由于没有单一服务能够完美满足所有用户的期望，选择合适的云服务往往成为一个复杂的决策过程，常常导致服务不满意或被拒绝。因此，尤其是在供应链管理、金融、会计、科学和多媒体应用等工业和企业领域，人们越来越依赖服务组合技术，因为这些领域需要动态集成多个服务来满足复杂的运营需求。实际上，包括亚马逊、IBM、微软和谷歌在内的主要云服务提供商都提供了多种云服务，这些服务因能够以较低成本提供可靠、高性能的硬件和软件资源，同时减轻安全管理、基础设施维护和可扩展性方面的压力而备受关注。此外，按使用量付费的定价模式使得提供商能够根据客户定义的服务水平协议，提供多种配置的服务。随着可用云服务数量的不断增加，服务组合问题日益表现为一种决策问题，即从具有相同功能但服务质量参数不同的备选服务中选择组件服务[3]。解决这一挑战需要将现有服务有效地组合成能够满足用户需求并优化服务质量约束的复合服务，这凸显了稳健且可扩展的质量服务感知型服务组合机制的重要性[4]。对于工作流中的每个抽象任务，可能有多种具体服务具备相同的功能能力，但在服务质量方面存在差异。因此，选择具体服务时必须首先考虑服务质量因素。传统的多准则决策方法，如混合多准则决策技术[5]、[6]、[7]，已被用于根据服务质量对云服务进行排序。然而，这些方法往往较为僵化，侧重于选择单一服务，且通常不适用于实时或大规模应用。在实际应用中，为满足某个业务流程，可能存在多种组合方式，且候选服务池规模庞大且动态变化。全面探索所有可能的组合在计算上是不可行的；例如，若有m个抽象服务和每项任务n个候选服务，那么就有nm种可能的组合，这使得该问题成为NP难问题。因此，有效的服务组合需要采用能够近似最优解的同时满足功能性和非功能性需求的优化方法。为了基于服务质量属性评估云服务，人们开发了模拟工具来实现多准则决策模型，这些模型结合了主观和客观的衡量标准。然而，随着用户需求和服务提供的日益复杂，仅选择单一服务往往已不够。组合多个服务变得十分必要，而服务质量方面的差异——如响应时间、可用性和成本——会显著影响用户满意度、提供商声誉以及收入。元启发式算法非常适合解决诸如云服务组合这样的NP难问题[8]、[9]。这类算法通过随机策略探索搜索空间，以找到接近最优的解。它们的有效性取决于在探索（搜索新区域）与利用（优化有希望的解）之间的恰当平衡。多样性不足可能导致过早收敛，而多样性过高则可能减缓收敛速度。尽管已经提出了许多改进的启发式和元启发式算法来提升解的质量，但在平衡探索与利用以及调整算法超参数方面仍存在挑战，而这往往会增加计算复杂性。近期在云计算和分布式计算优化领域的研究越来越注重采用混合式和自适应的元启发式框架，以应对多目标调度和服务选择难题。例如，有一种混合式的猎豹-金龟子优化算法被提出用于云-雾计算作业调度，以平衡延迟、能耗和成本，在NASA iPSC和HPC2N等真实工作负载数据集上取得了持续的改进效果[10]。同样，在IaaS环境中的多目标资源调度也通过整合NSGA-II与自适应群体智能的混合进化-聚类模型得到了发展，从而在动态工作负载下实现了更高的资源利用率和更低的调度开销[11]。在以工作流为导向的云环境中，经过自适应变异优化的蛇形优化算法变体在预算受限的异构工作流调度中表现出优异的性能，不仅显著缩短了任务完成时间，还提高了可行解的发现率[12]。除了调度效率之外，还引入了自适应的信任感知型和策略驱动型评估框架，用于多云生态系统，以在不断变化的服务质量和服务水平协议条件下支持可靠的服务选择[13]。作为对元启发式方法的补充，基于多准则决策的方法——将AHP和TOPSIS与熵权法相结合——在大型云服务池中展现了更高的排序准确性和更低的偏差[14]。这些发展共同表明，研究趋势正朝着自适应、混合式和参数较少的优化策略方向发展，旨在实现可扩展的质量服务感知型云服务选择和组合，这也正是本文提出具有多样性调节功能的参数较少优化框架的动机所在。为了解决这些问题，本文采用了JAYA优化算法，该算法本身参数较少，无需额外的控制参数即可引导搜索找到最佳解。不过，原始的JAYA算法在复杂的服