QTE-IoT：基于Q学习的任务调度方案，用于提升物联网环境中的能源消耗与服务质量（QoS）

《Sustainable Computing: Informatics and Systems》：QTE-IoT: Q-Learning-Based Task Scheduling Scheme to Enhance Energy Consumption and QoS in IoT Environments

物联网任务调度中提出QTE-IoT混合优化方法，通过MLP-ANN对任务三分类（时间敏感/安全/正常），雾层采用Q-learning增强的非洲鸵鸟算法（QAVA），云层采用Q-learning增强的ARO算法（QARO），并设计监控代理动态负载均衡。实验表明能效提升6%-12%，负载均衡优化42%-79%，响应时间降低25%-40%，截止时间满足率提高6%-39%。

　　随着物联网（IoT）设备的不断普及，对高效任务调度机制的需求变得愈发重要。物联网任务调度在优化资源利用、降低延迟以及提升整体系统性能方面起着关键作用。本研究提出了一种名为QTE-IoT的新方法，即基于Q学习的任务调度方案，旨在提高物联网环境下的能源效率和服务质量（QoS）。QTE-IoT首先将任务分为三类：时间敏感任务、安全任务和普通任务。这种分类通过多层感知机人工神经网络（MLP-ANN）实现。随后，时间敏感任务被卸载到雾层，并采用所提出的非洲秃鹫算法（AVA）与Q学习相结合的方案QAVA进行调度。安全任务则被卸载到私有云，而普通任务则被卸载到公有云。对于私有云和公有云环境中的任务调度，QTE-IoT采用了增强版的人工兔子优化（ARO）算法与Q学习相结合的方案QARO。此外，QTE-IoT还引入了一个监控代理，用于监测资源负载情况，从而防止资源拥堵和延迟。在HCSP基准数据集的实例上进行的仿真结果表明，QTE-IoT在多个性能指标上优于其他最先进的方法。QTE-IoT实现了显著的改进，包括能源消耗减少6%至12%，负载不平衡减少42%至79%，响应时间缩短25%至40%，以及截止时间满足率提高6%至39%。

物联网技术的迅猛发展改变了我们与技术互动的方式，使得设备之间的无缝连接和通信成为可能。由于物联网能够监测外部环境并支持快速而精确的决策，因此在医疗健康、智慧城市、视频监控、应急响应系统、自动驾驶、空天地网络以及农业信息系统等多个领域得到了广泛应用。然而，物联网设备通常具有有限的计算和存储能力，这使得在这些设备上处理和分析数据，尤其是大规模数据，变得困难。随着技术的进步，云计算因其庞大的存储和处理能力被广泛用于处理物联网设备的数据存储、分析和决策支持。由于计算需求高，物联网设备会将数据传输到分布式的云系统进行存储、处理、分析和决策。然而，云服务器通常距离物联网设备较远，导致显著的延迟，这在支持实时物联网应用方面是一个障碍。为应对这些挑战，边缘计算和雾计算作为物联网领域的替代计算范式逐渐受到重视。雾计算通过将云服务引入物联网应用的附近，促进了数据的处理和分析，从而减少了延迟，节省了能源并优化了带宽的使用。

如图1所示，随着物联网网络架构的显著发展，我们如今拥有一个包含物联网层、雾层和云层的三层架构系统，称为FCIoT。最低层是物联网层，由各种智能物联网设备组成。这些设备通常用于从环境中收集数据并提出资源请求，这些请求被发送到更高层。雾层包含边缘服务器、路由器、网关、交换机和云let等资源，这些资源被称为雾节点（FNs）。顶层是云层，其中包括公有云和私有云。云层由数据中心和虚拟机（VMs）组成。公有云服务通常由第三方提供商运营，并可通过互联网访问。这些云服务具有高度的可扩展性和灵活性，允许用户根据需求轻松调整资源。公有云的性能可能受到网络延迟、共享资源以及数据中心位置等因素的影响。公有云适用于具有可变工作负载和全球覆盖的应用。

相比之下，私有云是专为单个组织运营的专用环境，可以在组织内部或由第三方提供商托管。这些云服务为资源、安全性和性能提供了更大的控制权。由于资源不与其他组织共享，私有云的性能通常更为一致和可预测。私有云常用于对安全性和合规性要求较高的应用。

本研究考虑了FCIoT架构中的任务调度问题，包括物联网设备、雾节点和云服务器。目标是确定一个最优的映射方案，将由物联网设备生成的异构任务集分配到雾层和云层中可用的计算资源上，以优化关键的系统性能指标。更正式地说，设T = {T?, T?, ..., T?}为一个包含n个独立任务的集合，每个任务由诸如任务大小、截止时间、输入和输出文件大小等参数描述。设R = {R?, R?, ..., R?}为可用的计算资源集合，包括具有有限容量的雾节点和具有更高但较远容量的云服务器。任务调度问题旨在将每个任务T? ∈ T分配给一个资源R? ∈ R，以满足以下目标：

- 最小化雾层和云层资源的整体能源消耗。
- 最小化响应时间和延迟，以确保任务的及时执行，尤其是对时间敏感任务而言。
- 在雾层和云层节点之间实现负载均衡，以避免过载和瓶颈。
- 通过满足任务截止时间和安全约束，最大化服务质量（QoS）。

这种分配必须满足以下约束：

- 资源容量约束：每个资源节点只能同时处理有限数量的任务，否则会影响性能。
- 任务特定约束：具有严格截止时间或安全要求的任务必须被优先处理或分配到合适的资源。
- 通信约束：物联网设备、雾节点和云服务器之间的网络延迟和带宽限制会影响调度决策。

该问题被正式归类为NP难的组合优化问题，原因是其多维目标和约束、动态任务到达以及FCIoT环境的异构性。传统的精确算法在大规模物联网系统中计算上不可行，因此需要启发式或基于机器学习的调度策略。

任务调度（TS）在提升系统性能、有效管理负载以应对网络开销、优化资源利用以及降低能源消耗方面发挥着至关重要的作用。TS的主要目标是将任务映射到合适的资源上，确保任务执行完成的同时满足QoS要求。尽管云-雾计算在任务调度方面具有显著优势，但TS仍然面临挑战，包括其动态性、任务设置和资源需求。这些因素影响QoS优化，需要调整参数并选择适当的FCIoT资源。TS的目标是优化多种指标，包括延迟、能源消耗、负载均衡、响应时间、成本、任务截止时间的满足以及更多。

延迟在物联网任务调度中至关重要，因为它影响许多应用的性能，如医疗监测和自动驾驶，这些应用需要实时数据处理。高延迟可能导致决策延迟，从而对结果产生负面影响。低延迟对于维护视频流媒体和在线游戏等应用的高QoS同样重要。在雾计算中，高效的TS可以优化资源利用，使任务快速处理，从而释放资源供其他任务使用。减少延迟还能降低能源消耗，使设备能够更快地进入低功耗状态，提高网络效率，尤其是在连接设备众多的环境中。

负载均衡在云和雾计算中都是必要的，因为它可以将工作负载均匀分配到服务器上，防止过载。这种优化可以提高资源利用效率，节省能源，并通过更快的响应时间和可靠的服务提升用户体验。均衡的负载可以降低因过度负担而导致的服务器故障风险，从而提高整个系统的可靠性。

能源效率对于实现资源效率、成本节约和环境可持续性至关重要。高能源消耗不仅影响成本和QoS，还会增加碳排放。减少能源使用可以降低运营成本和生态足迹。有效的任务调度可以确保物联网请求的及时处理，同时优化能源消耗，从而提高QoS和整体系统性能。

因此，资源的提供和管理对于最大化物联网应用的能力至关重要。在FCIoT中，不良的任务调度可能导致比云计算更长的响应时间。因此，在全面使用雾基础设施之前，有效的调度策略是必不可少的。值得注意的是，资源调度是一个NP难的问题，目前尚无明显的算法或完美解决方案。解决这一挑战需要高效且优化的方法，以缓解延迟问题并确保FCIoT中资源的最优利用。

为了实现高效的资源分配，我们提出了一种基于Q学习的增强人工兔子优化算法（QARO）用于公有云和私有云环境中的任务调度。人工兔子优化（ARO）算法因其简单性、易于实现和在解决复杂优化问题方面的有效性而受到关注。ARO通过模拟兔子的自然觅食行为，采用基于种群的方法，促进多样化的解决方案探索，从而快速收敛到最优解。然而，ARO也存在一些局限性，如容易在高维空间中过早收敛到局部最优解，其性能可能对参数设置敏感，并且像许多基于自然启发的算法一样，可能需要大量迭代才能达到令人满意的结果，这在某些应用中可能导致较高的计算成本。为了解决这些问题，我们提出了QARO。这一增强算法通过集成强化学习原理，能够自适应地调整算法的探索和利用策略。通过将搜索空间视为一个环境，其中每个潜在解决方案代表一个状态，QARO利用Q学习来根据解决方案的适应度值（即奖励）评估其质量。这使得QARO能够随着时间的推移学习最优路径，动态地根据过去的经验调整其搜索行为。因此，这种混合方法可以提高收敛速度，降低过早收敛到局部最优解的风险，并更有效地探索复杂的解决方案景观，从而实现更好的优化结果。

此外，我们还引入了基于Q学习的非洲秃鹫算法（QAVA）用于雾层的任务调度。非洲秃鹫算法（AVA）因其在任务调度中的强探索阶段而被提出，使其适用于雾层的TS。随后，一些研究探索了对AVA的改进，包括使用不同的适应度函数进行图像分割，引入精英突变技术、动态反向学习以及基于混沌映射的人工种群初始化方法。同时，将反向学习与正弦-余弦方法结合，以平衡探索和利用，提高种群多样性，并应用于中国双结算市场的投标策略。本研究首次将Q学习算法引入AVA，提出了QAVA，这是一种结合了AVA的探索能力和Q学习的自适应学习能力的混合方法。通过将这两种方法的优势结合起来，QAVA在复杂优化任务中展现出提高解决方案质量和加快收敛速度的潜力。

在深入研究了强化学习（RL）、元启发式算法和神经网络在现实世界数据集中的应用后，本研究引入了一种创新且混合的方法用于任务调度。该方法整合了神经网络、元启发式算法、RL和贪心算法，提出了一个名为QTE-IoT的新方法，旨在提升物联网环境中的能源效率和QoS。将RL算法与元启发式算法相结合，可以增强优化效果，使算法能够动态适应变化的条件，改进探索策略，并通过学习过去的经验来优化决策策略。这种结合有助于在不确定环境中更有效地平衡探索和利用，提高鲁棒性。此外，RL可以促进在动态场景中的实时学习，并通过识别竞争目标之间的权衡来辅助多目标优化。总体而言，这种协同作用可以带来更明智的搜索策略，从而在复杂、高维问题中减少计算成本并提高解决方案质量。QTE-IoT的主要目标是通过减少响应时间和截止时间违规来提高负载均衡、能源效率和QoS。首先，任务通过MLP-ANN被划分为三个类别：时间敏感任务、安全任务和普通任务。随后，在雾层和云层中使用结合了元启发式算法和RL的调度方案。我们采用了ARO算法并将其与Q学习结合，命名为QARO，用于私有云和公有云的任务调度。同时，我们还使用了AVA算法，并通过Q学习进行了增强，提出了基于Q学习的AVA（QAVA），用于雾层的任务调度。本研究的创新之处在于将Q学习与非洲秃鹫算法以及Q学习与人工兔子优化算法相结合。此外，我们还提出了一种监控代理，用于监测资源负载情况，当负载超过预设阈值时，通过所提出的贪心算法在雾层中卸载任务，并在云层中重新调度任务。

在本研究中，我们总结了以下主要贡献：

- 任务分类：本研究引入了一种新颖的任务分类方法，将任务划分为时间敏感、安全和普通三类。这种分类通过多层感知机人工神经网络（MLP-ANN）实现。
- 云层调度：为私有云和公有云环境中的任务调度，我们开发了一种增强版的人工兔子优化（ARO）算法与Q学习相结合的方案QARO。这种增强算法能够有效优化任务调度，从而提升性能。
- 雾层调度：我们设计了一种增强版的非洲秃鹫算法（AVA）与Q学习相结合的方案QAVA，专门用于雾层的任务调度。QAVA针对雾计算环境的特性进行了优化，并在该环境中表现出优越的性能。
- 负载监测与优化：我们在云网关中部署了监控代理，以监测云层中虚拟机（VMs）的负载情况，同时在代理中跟踪雾层中雾节点（FNs）的负载情况。在云层中，当负载超过预设阈值时，任务会被重新调度。同样，在雾层中，任务会通过所提出的贪心算法进行卸载。这一策略有效提高了负载均衡，减少了响应时间，从而使系统更加高效和响应迅速。

本文的其余部分组织如下：第二部分提供了现有文献的概述；第三部分展示了系统的建模过程并明确了问题的表述；第四部分详细介绍了所提出的方法；第五部分解释了评估框架并比较了结果；最后，第六部分提出了最终的结论和未来的研究方向。