比较控制理论与深度强化学习技术在边缘-云连续体中用于分布式任务卸载的应用

《Simulation Modelling Practice and Theory》：Comparing Control Theory and Deep Reinforcement Learning techniques for decentralized task offloading in the edge–cloud continuum

物联网任务卸载优化策略对比研究，基于Lyapunov控制理论和DRL（DQN/AC/PPO）方法在自研仿真平台ITSASO上的性能分析。摘要：通过构建三层架构（IoT-雾-云）的仿真平台，对比Lyapunov优化与传统调度及DRL算法在静态/动态场景下的能效与延迟表现。实验表明Lyapunov在固定延迟场景能效最优（电池寿命达1000+服务），DRL（尤其是PPO）在动态场景更适应变化需求，成功率达84%且能耗降低23%。创新点在于首次直接比较CT与DRL的动态适应能力，提出分层任务调度框架，并开源仿真工具。

　　随着物联网（IoT）应用对延迟、能源效率和计算资源等要求的不断提高，任务卸载（task offloading）成为优化边缘和云基础设施性能的关键。因此，优化任务卸载以减少延迟和能源消耗，最终保证适当的服务水平并提升性能，已成为一个重要的研究领域。有许多方法可以指导分布式环境中的任务卸载，本文则介绍了三种方法：基于控制理论（CT）的Lyapunov优化方法、基于深度强化学习（DRL）的策略，以及传统的解决方案，如轮询（Round-Robin）或静态调度器。我们通过一个自主研发的模拟平台ITSASO，对这三种方法进行了全面比较。该平台用于评估分布式任务卸载策略在包含IoT、雾计算（fog）和云服务器（cloud）三层计算架构中的表现。平台使用可配置的分布模型来模拟IoT层的服务生成，使每个IoT节点能够自主决定是否在本地执行任务、将其卸载到雾层或发送到云服务器。我们的目标是减少设备的能源消耗，同时满足任务的延迟要求。模拟结果表明，Lyapunov优化方法在静态环境中表现优异，而DRL方法在动态环境中更为有效，能够更好地适应变化的需求和工作负载。这项研究分析了这些解决方案之间的权衡，指出了每种调度方法最适合的应用场景，从而为不同环境中各种卸载策略的有效性提供了有价值的理论见解。此外，ITSASO的源代码已公开可用。

物联网技术已催生了新的工业应用，例如实时健康监测、过程自动化如物料搬运和产品组装，以及生产零件的质量控制。物联网技术带来了诸多优势，包括提高效率、降低成本、提升生产力和改善供应链的可见性。物联网与无线通信技术（如5G）的融合正在改变应用程序的开发和部署方式。预计到2025年，物联网的市场价值将达到6万亿美元，年增长率约为15.12%。然而，物联网设备的计算或内存能力通常不足以处理所有任务，因此物联网依赖于不同的处理架构来处理数据，这些架构适合特定的应用需求和环境。这些不同架构的结合形成了所谓的边缘-云连续体（edge–cloud continuum），涵盖了从最接近终端用户的最小设备（用户设备，UE）到最强大的节点（云服务器，CS）的各种设备。这使得用户能够利用边缘计算（EC）和雾计算（FC）的特性，构建混合架构。

考虑到一些用户设备（如IoT设备）通常具有有限的处理能力和电池寿命，将计算密集型任务卸载到外部服务器可以提高应用程序的运行效率，同时节省电池并提升整体性能。任务卸载还能帮助更高效地分配资源，使应用程序支持更多的用户和处理更多的数据，而不影响性能。尽管计算卸载带来了诸多优势，但它也引入了一些挑战，如潜在的网络拥塞和需要强大的算法来有效管理动态资源分配。

因此，仔细考虑网络状况、任务需求和服务器占用情况对于成功实施这些卸载策略至关重要。通信质量会显著影响卸载的有效性，而并非所有任务都适合卸载。总结来看，卸载有潜力通过提高服务质量（QoS）和优化资源来增强性能，但算法需要适应数据的性质和服务需求。因此，边缘-云环境中的计算卸载解决了与资源限制、延迟和效率相关的多个关键挑战。IoT设备由于计算能力有限和电池寿命短，很难在本地处理复杂的任务。将任务卸载到雾服务器（FS）可以减少数据传输时间，从而显著降低对时间敏感应用的延迟。

在本研究中，我们介绍了ITSASO这一灵活且可配置的模拟平台，用于评估计算任务卸载策略的性能。ITSASO代表IoT任务模拟和适应性卸载调度，允许用户在IoT节点上运行优化的DRL和CT算法，以满足延迟要求并优化能源消耗。该平台支持用户自定义任务生成过程，可以根据用户选择的到达分布进行调整。ITSASO在每个节点上部署为独立的Docker容器，这提供了更高的隔离性、一致性和资源效率，同时也使平台更便于跨不同环境的管理和部署。

本文提出了一种基于CT的Lyapunov优化方法和基于DRL的策略，用于解决计算卸载问题。通过ITSASO平台，我们能够模拟不同场景下的边缘-云环境，并评估不同的调度算法。我们还比较了传统调度方法，如轮询（RR）和固定基准（即所有任务在本地执行、所有任务卸载到FS或所有任务卸载到CS）。此外，我们还引入了一个随机调度基准以进行对比。通过这些方法的比较，我们希望揭示不同调度策略在静态和动态环境中的表现，从而为未来的研究和实际应用提供有价值的参考。

在静态环境中，Lyapunov优化方法表现出色，因为它可以稳定地优化卸载决策，确保服务的高效执行。然而，在动态环境中，DRL方法更具优势，因为它们能够通过与环境的互动来学习和适应变化的条件。这表明，对于不同的应用场景，选择合适的调度策略至关重要。例如，在延迟要求固定且稳定的场景中，Lyapunov方法可能更有效，而在延迟需求变化较大的动态环境中，DRL方法则能更好地适应这些变化，从而提高系统的整体性能。

为了更好地理解和比较这些方法，我们设计了ITSASO平台，该平台能够模拟不同的网络环境，并支持用户自定义不同的调度策略。ITSASO的架构由三个层级组成：IoT层、雾层和云层。每个IoT节点可以决定是否在本地执行任务，或者将其卸载到雾层或云层。平台模拟了IoT节点、雾服务器和云服务器之间的通信，使得研究者可以分析不同策略在实际环境中的表现。

在本研究中，我们还分析了各种调度策略的性能，包括基于Lyapunov的CT方法和基于DRL的策略。这些策略在不同场景下表现各异，例如，在静态场景中，Lyapunov方法表现良好，而在动态场景中，DRL方法更有效。此外，我们还评估了不同调度策略在资源消耗、延迟和任务成功率方面的表现，为未来的优化提供了有价值的见解。

ITSASO平台的灵活性使其能够模拟各种边缘-云环境，并支持用户自定义不同的调度算法。平台使用Docker容器来运行每个模拟的节点，这不仅提供了更高的隔离性，还使得模拟过程更加可控和可重复。此外，平台能够记录关键的系统指标，如电池水平、队列状态和任务生成时间，从而帮助研究者更好地理解不同调度策略对系统性能的影响。

我们还讨论了DRL和CT方法在不同场景下的表现。例如，在静态场景中，CT方法能够稳定地满足延迟要求，而在动态场景中，DRL方法能够更灵活地适应变化的条件。这表明，对于不同的应用场景，选择不同的调度策略可能更加有效。此外，我们还探讨了如何将这些策略应用到实际的边缘-云系统中，以提高性能并优化资源使用。

总的来说，本文通过ITSASO平台对三种不同的任务卸载策略进行了全面比较，揭示了它们在不同环境中的优缺点。这不仅有助于理解任务卸载的复杂性，还为未来的研究和实际应用提供了重要的参考。同时，本文还强调了在设计和实施任务卸载策略时，需要考虑网络条件、任务需求和服务器占用情况，以确保系统的稳定性和效率。此外，我们还探讨了不同策略在不同场景下的适用性，为未来的边缘计算研究提供了有价值的理论基础。