基于强化学习的协作式DNN边缘推理框架：动态资源分配与能效优化研究

本文针对AIoT（人工智能物联网）中DNN（深度神经网络）推理的延迟、能耗与精度平衡难题，提出了一种基于Q-learning的强化学习（RL）协作框架。研究通过模块化架构和动态卸载策略，实现了边缘设备与服务器的资源优化配置，实验表明该方案在树莓派测试平台上将延迟降低24%、吞吐量提升30.25%、能耗减少60.9%，为边缘智能提供了轻量化且可落地的解决方案。

　　

在万物互联的时代，人工智能物联网（AIoT）正通过部署深度神经网络（DNN）重塑医疗、安防等领域的实时决策能力。然而，边缘设备的算力局限与网络不稳定导致推理任务面临"三难困境"——高精度、低延迟和低能耗难以兼得。传统云边协同方案常因固定卸载策略无法适应动态负载，而本地轻量化模型又可能牺牲准确性。如何让智能终端像"蜂群"般高效协作，成为突破边缘计算瓶颈的关键。

阿尔及利亚军事理工学院的研究团队在《Future Generation Computer Systems》发表论文，提出RL驱动的协作式DNN推理框架。该研究创新性地将计算卸载建模为马尔可夫决策过程（MDP），采用轻量级Q-learning算法替代主流深度强化学习（DRL），并引入团队奖励机制协调多智能体决策。通过凸优化资源分配模块与三种多智能体强化学习（MARL）算法组合，在树莓派集群测试中实现了超越现有方案的综合性能提升。

关键技术方法包括：1）构建包含计算状态Ψ_i
^T
、通信状态Ψ_i
^C
等6维特征的MDP模型；2）设计基于O(|S|×|A|)空间复杂度的Q-table优化策略；3）开发可扩展的凸优化资源分配器；4）在树莓Pi4B硬件平台验证框架可行性。

【研究结果】

1. 框架架构：模块化设计包含动态卸载决策器、资源分配器和RL代理，支持DNN模型在设备-边缘-云三层间的弹性部署。
2. 资源优化：凸优化模块将CPU/带宽分配转化为约束问题，实验显示资源利用率提升38.7%。
3. MARL算法：比较独立Q-learning、团队奖励Q-learning和协调Q-learning三种策略，后者在延迟敏感场景表现最优。
4. 测试验证：在图像分类任务中，协作推理比纯边缘方案准确率提高15.2%，比纯云端方案节能60.9%。

【结论与意义】
该研究通过"轻量化RL算法+精细化资源调度"的组合创新，破解了AIoT系统动态环境下的推理优化难题。其价值在于：1）提出可解释性强的Q-learning方案，避免DRL的黑箱风险；2）团队奖励机制使异构设备协作效率提升24%；3）开源框架推动边缘智能落地。局限性在于状态空间聚合可能损失决策精度，未来将探索自适应分箱技术。这项工作为5G时代的分布式AI部署提供了重要技术参考，其方法论可延伸至自动驾驶、远程医疗等低延迟关键领域。