一种可快速塑形的热电有机水凝胶，用于实现自供电的水温和水位监测

《Sensors and Actuators A: Physical》：A rapidly moldable thermogalvanic organohydrogel for self-powered water temperature and level monitoring

本研究在自研仿真平台ITSASO中对比了控制理论（Lyapunov优化）与深度强化学习（DQN、AC、PPO）在边缘-云环境下的任务卸载策略，分析其在静态和动态场景中的能效与延迟表现，发现CT在静态环境更优，DRL在动态中适应性更强，并开源了平台供后续研究。

　　随着物联网（IoT）应用对延迟、能效和计算资源等要求的不断提升，任务卸载（task offloading）成为优化边缘和云基础设施性能的关键。因此，优化任务卸载以减少延迟、能耗，并最终确保适当的服务水平和提升性能，已成为一个重要的研究领域。为了指导分布式环境中的任务卸载，已有许多方法被提出，本文则对其中三种方法进行了全面比较：基于控制理论（CT）的Lyapunov优化方法、基于深度强化学习（DRL）的策略以及传统的解决方案，如轮询（Round-Robin）或静态调度器。这种比较是通过一个内部开发的模拟平台ITSASO完成的，该平台用于评估在包含IoT、雾计算（Fog）和云节点（Cloud）的三层计算架构中的分布式任务卸载策略。平台通过可配置的分布模型来模拟IoT层中的服务生成，使得每个IoT节点能够决定是否自主执行任务（本地）、将任务卸载至雾层或发送至云服务器。本文的目标是减少设备的能耗，同时满足任务的延迟要求。模拟结果表明，Lyapunov优化方法在静态环境中表现优异，而DRL方法在动态环境中更加有效，能够更好地适应变化的要求和负载。本研究分析了这些方法之间的权衡，指出了每种调度方法最适用的场景，从而为不同环境中各种卸载策略的有效性提供了有价值的理论见解。此外，ITSASO的源代码已公开。

物联网技术已经在工业领域催生了新的应用，例如实时健康监测、流程自动化（如物料处理和产品组装）以及生产部件的质量控制。IoT技术带来了诸如提高效率、降低成本、增强生产力以及改善供应链可见性等优势。IoT与无线通信技术（如5G）的融合正在改变应用程序的开发和部署方式。预计到2025年，IoT的市场价值将达到6万亿美元，年增长率约为15.12%。然而，IoT设备在计算或内存方面的处理能力通常不足以完成所有任务，因此IoT依赖于不同的处理架构来处理数据，这些架构适用于特定的应用需求和情况。这些不同方法的结合形成了所谓的边缘-云连续体，其中包括从最接近终端用户的小型设备（用户设备，UE）到最强大的节点（云服务器，CS）的各种设备。这使得混合架构能够充分利用云计算（CC）和雾计算（FC）的特性。

考虑到一些UE（如IoT设备）通常具有有限的处理能力和电池寿命，将计算密集型任务卸载到外部服务器可以提高应用程序的效率，同时节省电池并提升整体性能。卸载应用程序还能帮助更高效地分配资源，使得应用程序能够支持更多的用户和处理更多的数据而不影响性能。尽管计算卸载带来了诸多优势，但它也引入了一些挑战，如潜在的网络拥塞以及需要稳健的算法来有效管理动态资源分配。

因此，在成功实施这些卸载策略时，必须仔细考虑网络状况、任务需求和服务器占用情况。通信质量会显著影响卸载的有效性，而并非所有任务都适合卸载。总结来说，卸载有潜力通过提高服务质量（QoS）和优化资源来增强性能，但算法需要适应数据特性和服务需求。因此，边缘-云环境中的计算卸载解决了与资源限制、延迟和效率相关的多个关键挑战。IoT设备的计算能力有限，这使得在电池供电设备上执行复杂任务变得困难。此外，将任务卸载到雾服务器（FS）相比远程云服务器（CS）可以显著减少延迟，这对于时间敏感的应用尤为重要。当任务被有效分配时，计算卸载可以提高用户任务的执行效率，减轻雾和云服务器的压力。

为了应对计算卸载问题，有必要对构成卸载场景的所有元素进行充分建模和模拟，包括节点和服务器的特性，或者通信信道的条件等。因此，模拟框架对于优化边缘-云连续体中的任务卸载至关重要，因为它们允许服务提供商和用户预防潜在的瓶颈和低效，从而节省时间和成本。模拟不同的配置和负载有助于做出明智的决策，确保资源被优化使用并维持服务质量，使得在实际部署前有机会进行可重复和可控的实验。

不同的技术已被探索以解决计算卸载的非平凡问题。例如，基于控制理论（CT）的方法使用数学模型来管理和优化卸载决策，确保稳定性和性能。CT提供了精确和可预测的结果，但在复杂的动态环境中可能会遇到困难。另一方面，机器学习（ML）技术，如DRL，通过从环境中学习来实现动态和自适应的卸载策略，做出实时决策。ML提供了灵活性和适应性，但可能需要大量的计算资源和训练数据。因此，DRL可以有助于解决这个问题，因为它不需要训练数据集，而是通过直接与环境互动来学习，其经验可能受到限制。

在本工作中，我们比较了CT和DRL方法在边缘-云环境中的性能，提供了可量化的比较和分析它们的权衡。我们强调了每种调度方法最适用的场景，并在动态任务调度方面实现了优化的DRL和CT算法，这些算法运行在IoT节点上，重点是满足延迟要求和优化能耗。据我们所知，这是首次直接比较DRL和CT方法在不同计算卸载场景中的表现，解决了诸如延迟和能耗等关键指标。

为了进行这种比较，我们引入了ITSASO，一个灵活且可配置的模拟平台，用于评估计算任务卸载策略的性能。它代表了不同的实体：IoT节点、FS和CS，以及它们之间的通信。部署该平台使我们能够灵活地进行详细检查各种解决方案的实际情况。这个过程确保了我们的理论发现与实际系统的适用性相一致。此外，这个控制允许我们根据特定的需求和研究目标自定义平台，并进行精确匹配我们的要求的实验和模拟。

通过在我们的平台中进行广泛的模拟，我们提供了对每种方法的优势和劣势的全面分析，为未来的研究和实际应用在边缘计算环境中的实施提供了有价值的见解。此外，我们的灵活模拟平台ITSASO为研究人员提供了一个高度可配置的工具，以评估他们提出的解决方案的性能。

本文的其余部分结构如下。第2节提供了一个相关的研究回顾，突出了本文与现有研究和方法之间的差异。第3节概述了系统模型，描绘了模拟平台的架构和组件。第4节描述了模拟平台，讨论了构建它所使用的工具以及可以配置的不同选项。然后，第5节介绍了评估的算法，解释了它们的设计、功能以及如何应对卸载挑战。第6节讨论了获得的结果，提供了对算法在模拟平台中性能和有效性的详细分析。最后，第7节总结了论文，讨论了关键发现及其意义，并提出了未来研究的方向。

在本节中，我们将回顾近年来在计算卸载领域探讨的不同技术和策略，以及最相关的模拟平台。本文提到的ITSASO是一个内部开发的模拟器，用于评估不同卸载方案的性能。ITSASO代表“IoT任务模拟和适应性卸载调度”，并且其源代码已公开。之前的一个版本在另一项研究中被使用。

系统模型部分展示了ITSASO中所考虑的架构，其中包括三个不同的层次，分别是IoT层、雾层和云层。IoT层包括所有UE，它们对应于资源和能源受限的设备，这些设备生成计算应用。每个UE必须决定如何处理传入的服务，这些决策是基于其选择的分散决策算法，同时考虑不同的因素，如服务长度，这些将在第5节详细讨论。在IoT层中，节点的计算能力有限。雾层扩展了UE的计算能力，仍然相对靠近UE。为了到达FS，UE必须通过建模的无线链路发送服务，FS将其插入计算队列。每个FS位于一个基站（BS）或接入点（AP）旁边，因此在FS和UE之间不需要额外的延迟。云层提供了比雾层更高的计算能力，但距离设备较远，因此除了UE和AP之间的传输延迟外，AP和CS之间的通信延迟也需要考虑。

为了研究不同卸载策略的性能，我们引入了ITSASO，这是一个内部开发的模拟器，它遵循前一节中描述的模型。ITSASO被用来评估不同的卸载方案。其源代码已经公开。ITSASO的系统模型如图2所示：有三种类型的节点，即UE、FS和CS，它们被部署在三个层次中，用不同的颜色表示。

在本节中，我们探讨了计算卸载问题的开发和实现算法。我们提供了每种情况下的优化问题的详细描述，包括理论公式和解决优化问题所需的步骤。在本工作中，我们比较了CT和DRL方法在边缘-云环境中的性能，提供了可量化的比较和它们的权衡分析。我们强调了每种调度方法最适合的场景，并在动态任务调度方面实现了优化的DRL和CT算法，这些算法运行在IoT节点上，专注于满足延迟要求和优化能耗。据我们所知，这是首次直接比较DRL和CT方法在不同计算卸载场景中的表现，解决了诸如延迟和能耗等关键指标。

为了进行这种比较，我们介绍了ITSASO，一个灵活且可配置的模拟平台，用于评估计算任务卸载策略的性能。ITSASO代表“IoT任务模拟和适应性卸载调度”，并且其源代码已公开。ITSASO的系统模型如图2所示：有三种类型的节点，即UE、FS和CS，它们被部署在三个层次中，用不同的颜色表示。

在本节中，我们深入探讨了计算卸载问题的开发和实现算法。我们提供了每种情况下的优化问题的详细描述，包括理论公式和解决优化问题所需的步骤。我们还介绍了一个基于Lyapunov优化的CT方法，该方法通过引入虚拟队列来确保平均延迟要求。虚拟队列是概念上类似于处理器队列的，它们通过更新虚拟延迟队列来管理延迟要求。这些虚拟延迟队列被用来优化延迟和能耗之间的权衡。

另一方面，DRL方法通过与环境的互动来学习最优策略。我们将系统建模为马尔可夫决策过程（MDP），该过程用于表示一个动态系统中的决策过程，其中环境可能随机演化，导致决策随时间变化。在每个阶段，UE会仔细分析当前状态，并使用其实施的决策算法实例来确定适当的行动。因此，每个代理的目标是学习如何在共享环境中优化其决策，这些决策可能会影响环境的状态，并且随后影响其他UE的决策和奖励。

在本节中，我们讨论了不同场景下的模拟结果。在第一个场景中，我们分析了一个固定延迟要求的系统，其中服务以恒定速率生成，且每项服务的延迟要求相同。这确保了在受控环境中对调度解决方案的性能进行分析。第二个场景则引入了动态变化，特别是在服务到达分布和延迟要求方面。这使得我们可以评估不同调度算法在不可预测条件下的适应性和效率。

此外，我们还分析了系统在不同场景下的行为，包括一个具有固定流量和固定延迟要求的场景，以及一个具有泊松分布和可变延迟服务要求的场景。目的是评估不同的调度方法在静态和动态环境中表现，从而确定在满足延迟要求的前提下，哪种调度方法能够更好地优化能耗。同时，为了确保两个场景之间的公平比较，我们使用了相同的图表，采用了相同的指标。

在本节中，我们介绍了ITSASO平台的实现和模拟结果。该平台通过其可配置的特性，允许研究人员对各种卸载策略进行评估，从而推动边缘计算环境中的更优服务管理系统的开发。ITSASO的实现基于Python，并使用了Docker容器来隔离和管理各个节点。这种方法使得平台具有更高的可移植性和可管理性，同时也确保了资源的高效利用。

在本研究中，我们评估了多种计算卸载策略，包括基于CT的Lyapunov优化方法和基于DRL的策略，如DQN、AC和PPO。我们的分析表明，Lyapunov优化方法在静态环境中表现优异，而DRL方法在动态环境中更为有效，能够更好地适应变化的要求和负载。我们还探讨了不同算法在不同场景下的表现，包括静态和动态环境，这为未来研究和实际应用提供了有价值的见解。

此外，我们还讨论了不同模拟平台的特点，包括iFogSim2、CETO-Sim、EdgeAISIM和EdgeSim++。这些平台各有优缺点，其中iFogSim2支持基于规则的卸载策略，但不适用于DRL或CT调度方案。CETO-Sim是模块化的，支持多种计算环境的模拟，但其源代码或二进制文件并未公开。EdgeAISIM基于Python，可以用于评估在边缘计算系统中资源管理技术的性能。它扩展了EdgeSimPy框架，并开发了新的基于AI的模拟模型，用于任务调度、能耗管理、服务迁移、网络流调度和移动支持。EdgeSim++是一个具有广泛配置能力的模拟器，允许用户测试复杂和多种场景，但其复杂性可能高于ITSASO。此外，ITSASO通过使用Docker容器来运行每个模拟节点，提供了更好的隔离性、一致性和资源效率。

在本研究中，我们还探讨了不同算法在不同场景下的表现，包括静态和动态环境。我们分析了每种算法在不同场景下的优缺点，以及它们如何满足延迟要求和优化能耗。通过模拟结果，我们能够评估每种方法的性能，并指出在不同情况下每种策略的适用性。这不仅有助于理解各种卸载策略的有效性，还为未来的算法开发提供了指导。

在本节中，我们还介绍了基于DRL的策略，如DQN、AC和PPO。这些策略通过与环境的互动来学习最优策略，并在不同的场景中展现出不同的性能。在静态环境中，这些策略能够有效减少能耗，同时确保任务的延迟要求。而在动态环境中，它们通过持续学习和适应环境的变化，展现出更好的灵活性和鲁棒性。这种适应性使得DRL方法在处理不确定性（如变化的无线连接）时更具优势。

在本节中，我们还分析了ITSASO平台的结构和功能，展示了其在模拟和评估不同卸载策略方面的灵活性。该平台通过Docker容器来运行每个模拟节点，从而实现了更好的隔离性和资源效率。此外，平台支持多种卸载策略，并能够根据用户的需求进行配置。

综上所述，本文的研究成果不仅揭示了不同卸载策略在静态和动态环境中的表现，还强调了在边缘计算环境中，采用可适应和上下文感知的策略的重要性。这些发现为未来的计算卸载研究提供了理论基础，并展示了如何在实际部署中利用这些策略来优化资源使用和任务执行。