iDEAS：基于深度强化学习的移动设备big.LITTLE架构能效优化调度算法

《IEEE Access》：iDEAS: Intelligent DVFS for Energy-Efficient Task Scheduling in Mobile Devices With big.LITTLE Computing Architecture

本文针对移动设备在异构多核big.LITTLE架构下能耗高、任务调度复杂的问题，提出了一种智能DVFS算法iDEAS。该研究通过联合优化任务卸载、处理器分配和动态电压频率缩放(DVFS)，采用深度Q网络(DQN)学习最优策略，实现在满足任务截止时间的前提下显著降低能耗。实验结果表明，iDEAS相比现有最优算法能耗降低54%-75%，同时任务丢弃率减少18%，为移动边缘计算(MEC)环境下的能效优化提供了创新解决方案。

　　

随着移动游戏、人脸识别、增强现实等计算密集型应用的普及，移动设备面临着前所未有的能耗挑战。电池续航能力已成为制约移动设备发展的关键瓶颈。尽管ARM公司推出的big.LITTLE异构多核架构通过组合高性能大核与高能效小核提升了计算能力，动态电压频率缩放(DVFS)技术允许动态调整处理器频率，移动边缘计算(MEC)使得任务卸载成为可能，但这些技术的协同利用仍面临巨大挑战。移动环境的动态性和不可预测性使得传统优化方法难以实现能效最大化。

针对这一挑战，发表在《IEEE Access》上的研究提出了一种创新解决方案——iDEAS算法。该研究由Sharif University of Technology的Nima Samadi、Farbod Yadollahi和Hamed Shah-Mansouri团队完成，旨在通过智能调度实现移动设备的能效优化。

研究人员首先构建了一个完整的系统模型，包含任务模型、CPU模型、通信模型和能量模型。每个任务被定义为包含周期、输入数据大小和最坏情况执行时间(WCET)的三元组。big.LITTLE架构中的大核和小核具有不同的频率-功耗特性，而无线信道则采用准静态块衰落模型。能量消耗包括本地计算能耗和任务卸载通信能耗。

研究团队将问题形式化为一个混合整数非线性规划(MINLP)问题，目标是在满足任务截止时间的前提下最小化总能耗，并证明了该问题是NP难问题。这意味着传统优化方法在实时移动环境中难以实用。

为解决这一复杂问题，研究人员开发了基于深度Q网络(DQN)的iDEAS算法。该算法采用三层全连接神经网络，通过定义包含任务利用率、WCET、数据大小、信道状态和CPU利用率的状态空间，以及包含卸载决策、核心分配、频率设置和传输功率调整的动作空间，构建了以能量消耗和延迟为基础的成本函数，并由此推导出奖励函数。

关键技术方法包括：构建包含任务特性、信道状态和资源利用率的综合状态空间；设计联合优化卸载决策、核心分配和DVFS调整的动作空间；采用经验回放和目标网络稳定的DQN训练策略；使用平滑L1损失函数和Adam优化器进行网络训练；通过ε-贪婪策略平衡探索与利用。

系统模型与问题表述

研究建立了包含任务模型、CPU模型、通信模型和能量模型的完整系统框架。任务采用周期性模型，每个任务由周期、输入数据大小和WCET表征。big.LITTLE架构的大核和小核具有不同的DVFS特性，无线信道采用准静态块衰落模型。能量模型综合考虑了本地计算的静态功耗、动态功耗以及任务卸载的通信能耗。

iDEAS算法设计

算法采用DQN架构，通过智能决策实现能效优化。状态设计包含任务利用率、WCET、数据大小、信道状态和CPU利用率等多维信息。动作空间同时优化任务卸载、核心分配、频率设置和功率调整。奖励函数基于能量消耗和处理延迟的成本函数设计，确保算法在满足时限的前提下最小化能耗。

性能评估与分析

实验结果显示了iDEAS的卓越性能。在训练过程中，算法损失快速收敛，奖励稳步上升，表明策略学习有效。

对不同任务集的测试表明，iDEAS能智能适应工作负载强度。对于计算强度较低的Task Set II，算法优先使用小核，避免使用能耗高的大核，实现了比Task Set I更低的能耗。

在不同利用率水平下的测试进一步验证了iDEAS的自适应性。

在低利用率时，算法优先将任务分配给小核而非卸载，避免使用大核；在高利用率时，则转向分配更多任务给大核，以确保时限要求。

任务丢弃率分析显示，在利用率低于0.375时，iDEAS能有效分配资源，任务丢弃极少；超过该阈值后，由于计算资源无法在时限内完成任务，丢弃率逐渐上升。

与基线方案的对比突显了iDEAS的优越性。

与随机策略、纯本地计算和纯边缘执行相比，iDEAS能耗降低59.75%-84.26%。在不同利用率水平下，iDEAS均保持能耗优势。

与现有先进算法的比较进一步证明了iDEAS的创新价值。

与RRLO和DRLDO相比，iDEAS在Task Set I上能耗降低69%和75%，在Task Set II上降低54%和72%。

在任务丢弃率方面，iDEAS在高利用率时表现优于对比算法，实现了能耗与可靠性的更好平衡。

研究结论表明，iDEAS通过深度强化学习技术，有效解决了移动设备在big.LITTLE架构下的能效优化问题。算法能够智能适应动态环境，在保证任务时限的前提下显著降低能耗。该研究不仅提出了具体的算法解决方案，还通过严格的复杂度分析证明了算法在移动设备上部署的可行性。

这项研究的重要意义在于为移动计算能效优化提供了新思路，通过联合优化任务调度、DVFS和计算卸载，充分发挥了异构计算架构的潜力。未来工作将致力于实现算法在真实硬件上的部署，并扩展至处理具有依赖关系的任务场景，进一步提升实用价值。