边缘云物联网网络中基于任务驱动的优先级感知计算卸载与分布式CPU资源分配

《Internet of Things》：Task-Driven Priority-Aware Computation Offloading with Distributed CPU Resource Allocation in Edge-Cloud IoT Networks

　　摘要：在物联网边缘云网络中，高效的计算卸载至关重要，因为资源受限的设备必须处理各种异构且对延迟敏感的工作负载。现有的大多数方法依赖于基于时间槽的决策机制，无法体现实际物联网环境中的任务驱动和异步特性，从而导致决策延迟增加，高优先级任务的响应能力下降。本文提出了一种任务驱动且具备优先级意识的计算卸载框架，能够在工作任务到达时立即触发决策。该框架采用基于优先级经验回放的双重深度Q学习算法（PER-D3QN）的深度强化学习智能体，以在动态的信道条件和队列状态下共同确定任务的执行位置和传输功率。为了解决同时卸载的任务之间的竞争问题，每台边缘服务器上都会实现一种分布式CPU共享机制，从而根据任务的工作量和优先级灵活分配计算资源。由此产生的执行延迟和队列变化被视为环境动态的一部分，并为学习智能体提供反馈。仿真结果表明，与传统基于深度强化学习或启发式方法的卸载方案相比，所提出的框架显著降低了任务执行延迟和物联网设备的能耗，同时提高了任务按时完成率并优化了负载平衡。

引言：物联网的迅猛发展使得数十亿台设备在医疗保健、工业自动化、交通以及智慧城市等领域相互连接[1]、[2]、[3]。这些设备不断产生大量异构的、计算密集型且对延迟敏感的任务，为了确保安全与可靠性，这些任务需要实时处理[4]、[5]。然而，物联网设备在计算能力和能量容量方面存在固有限制，这使得本地执行对于那些对时间要求极高的任务来说效率低下[6]、[7]。云计算虽然能提供丰富的资源，但过高的回传延迟和拥堵问题使其不适合用于对延迟敏感的服务。多接入边缘计算技术[8]、[9]通过将计算能力部署在更靠近终端设备的位置，实现了任务在本地执行，大大降低了延迟。因此，分层式的云-边-端协作已成为下一代物联网系统的主流架构[10]。尽管取得了这些进展，仍有若干关键挑战尚未解决。首先，大多数现有的计算卸载框架都是基于时间槽的，只有在预定的时间间隔才会进行决策。虽然这种假设简化了系统建模和同步过程，但在高度动态且异步的物联网环境中，它会引入累积的决策等待延迟[11]、[12]。其次，尽管一些最新研究探讨了任务驱动或事件触发的卸载方式，但它们主要关注传输调度，而忽视了通信资源和计算资源的联合优化[13]。尤其是，边缘服务器上的CPU资源分配往往采用静态配置或启发式管理方式，导致在任务工作量和优先级不同的情况下资源利用率较低[14]。第三，大多数基于深度强化学习的卸载方案[15]、[16]仍然依赖同步的、基于时间槽的学习方式，无法充分考虑传输功率控制与计算资源竞争之间的关系，这限制了其在实际物联网边缘环境中的适应性[17]。在当前复杂的物联网边缘网络中，任务到达是异步的，无线信道条件会随时间变化，边缘服务器的计算负载也会波动，所有这些因素都要求能够进行在线且自适应的计算卸载决策。为了解决上述问题，本文提出了一种任务驱动且具备优先级意识的计算卸载框架，能够在异步的物联网环境中实现实时的、事件触发的决策制定。与那些将通信、计算和资源分配组件分开处理的现有方法不同，该框架在统一的学习和资源分配结构中明确模拟了它们之间的相互作用。每当有新任务到达时，就会立即做出卸载决策，从而消除了等待延迟，提升了响应速度，优于传统的基于时间槽的方案。这种任务驱动的设计使得决策能够针对每个任务进行细致调整，超越了传统基于时间槽的深度强化学习框架的局限性。卸载过程被构建为一个马尔可夫决策过程，然后通过基于优先级经验回放的双重深度Q网络算法进行优化，这一方法提升了在随机工作负载下的学习稳定性和响应能力。学习智能体能够根据观察到的系统状态，为每个任务共同确定执行位置和传输功率。与以往基于深度强化学习的方法相比，所提出的方法融合了具有优先级意识的学习机制以及紧密耦合的通信与计算优化，从而实现了更高效且更具适应性的决策制定。为了解决边缘节点处的计算资源竞争问题，每台边缘服务器上都实现了分布式CPU共享机制，该机制能够根据任务的工作强度和优先级，灵活地在同时进行的卸载任务之间分配计算资源。这种轻量级的分布式设计无需集中协调，便能在动态且异构的环境下实现高效的可扩展资源管理。该机制独立于学习智能体运行，同时还能提供执行延迟反馈，这些反馈会被纳入环境动态模型中。通过将任务驱动的学习与轻量级的分布式资源共享相结合，所提出的框架为在动态的物联网边缘环境中实现节能且注重延迟控制的计算卸载提供了一种可行且可扩展的解决方案。本研究的主要贡献如下：•我们提出了一种动态且异步的计算卸载框架，一旦有任务到达就会立即触发决策，有效消除了传统基于时间槽的调度方式在物联网边缘网络中带来的决策延迟。这使得该框架能够在高度动态的物联网环境中实现实时自适应，同时也为决策机制带来了与现有基于时间槽的方法截然不同的思路。•我们基于PER-D3QN开发了一种离散动作的深度强化学习方法，用于为每个任务共同确定卸载目标和传输功率，从而在随机工作负载下实现稳定的学习过程以及具备优先级意识的服务质量差异化处理。将优先级经验回放机制与双重Q网络架构相结合，并实现通信与计算的联合优化，这是该项研究的一个关键创新点，它提升了学习效率与决策效果。•我们在边缘层引入了一种分布式且具备竞争意识 的CPU共享机制，该机制无需集中协调，就能根据任务的工作强度和优先级，灵活地在多个并发任务之间分配计算资源。这种轻量级且可扩展的设计不仅提升了资源利用效率，还避免了集中控制机制所带来的复杂性和额外开销。•大量的仿真结果表明，与传统的基于深度强化学习及启发式方法的卸载方案相比，所提出的框架始终能够实现更低的能耗和更小的执行延迟，同时还能提高任务按时完成率、系统性能以及负载平衡效果。这些结果进一步证明了该框架在各种不同的工作负载场景和运行条件下的有效性与稳定性。总体而言，本研究通过引入一种任务驱动的学习框架，将具有通信意识 的卸载策略与分布式边缘资源共享紧密结合起来，推动了物联网边缘计算领域的技术进步。任务驱动的决策制定、具有优先级意识的学习机制以及分布式资源分配的有机结合，构成了这项研究的核心创新点。本文的其余部分结构如下：第2节回顾相关文献；第3节描述系统模型并明确问题定义；第4节详细介绍所提出的方法；第5节展示并分析实验结果；最后，第6节对全文进行总结，并指出未来研究的方向。