受强化学习启发的可扩展信念排序调度：面向能量收集型无线传感器网络的吞吐量与公平性优化

《Sustainable Computing: Informatics and Systems》：RL-inspired scalable belief-ranked scheduling for throughput and fairness optimization in energy harvesting wireless sensor networks

　　

本研究在数据采集问题中不仅考虑了能量采集，还考虑了数据到达过程。
提出了一种可扩展的信念排名强化学习（RL）启发框架，通过为传感器学习优先级索引，避免了在指数级庞大的组合调度动作空间上进行直接学习。
研究表明，与现有方法相比，所提出的方法取得了接近上界性能的表现。
引言
物联网（IoT）通过互联网促进了不同实体之间的无线连接和交互[1]、[2]。IoT基础设施从无线传感器中汇聚数据，以监控和管理多个领域的项目，包括能源、交通、智能建筑、医疗保健、军事、制造业和生产[3]。
无线传感器网络（WSNs）由于能够提供实时、分布式且节能的感知能力，已广泛应用于环境监测和智慧城市应用等多个领域。特别是，基于WSN的感知基础设施已被用于机场等复杂环境中的空气质量评估，在这些环境中气象因素对污染动态有显著影响[4]。此外，WSN启用的监测系统对于分析城市颗粒物和交通相关空气污染具有重要作用，包括大都市地区碳质PM 2.5浓度的季节性变化[5]。WSN还被用于大规模环境感知和密集城市地区颗粒物来源的统计分析，实现数据驱动的预测和污染源识别[6]。这些应用领域展示了可靠的、可扩展的和节能的WSN架构对于持续环境监测和基于智能IoT的感知系统的重要性。
高效的能源管理对于IoT技术的成功至关重要[7]。许多无线传感器网络优先考虑能效。当电池更换具有挑战性时，能量采集（EH）在无线传感器网络应用中具有优势[8]。能量采集促进了IoT的发展。有多种技术可用于从环境中采集能量[9]。许多能量采集器从不确定的来源中提取极少量的能量[9]。节能解决方案对于WSN的持久可靠运行至关重要[10]。
在此网络框架中，我们考虑了一种单跳WSN架构，其中融合中心（FC）从一组由EH供电的传感器节点收集数据。在每个离散时隙（TS），FC调度一组传感器进行传输，但没有直接获取它们各自电池电量或缓冲区状态的即时信息。只有当选中的传感器至少拥有一组缓冲区数据包且有足够能量传输一个数据包时，调度的传输才能成功；否则，信道时隙将被浪费。为了隔离调度效率，我们假设一个无错误通信信道，并使用无限容量、无损耗的电池和缓冲区模型对每个节点进行建模。当具有足够能量和缓冲区容量时，被调度的传感器向FC传输数据。传输一个数据包需要一个TS。FC旨在最大化总吞吐量。
无线网络可能引入复杂性和成本，例如反馈机制，以向FC提供传感器电池和缓冲区状态。由于硬件限制、环境波动或外部干扰，传感器节点可能无法被感知[11]。FC调度传感器时不了解其电池状态、缓冲区状态或EH和DA过程统计。该工作研究了EH和DA过程，基于马尔可夫假设集中于部分可观测马尔可夫决策过程（POMDP）[12]。考虑采用动态规划[13]来找到最优解。MDP和POMDP状态空间的指数复杂度限制了它们的可扩展性。
基于POMDP的强化学习构成了另一种马尔可夫方法。一种无模型强化学习技术，Q-learning[14]，为该问题提供了最优性能。Q-learning的缓慢收敛使其不适合大状态空间问题，特别是当折扣因子为1时[15]。R-learning[16]最大化平均奖励；然而，其收敛性仍然存在疑问。在此场景中，包含大量传感器、数据包和能量级别，Q-learning和强化学习对于大状态空间似乎不够充分。替代方法可能产生最优结果[17]。快速策略收敛到接近最优性优于逐渐收敛到精确最优性[11]、[15]。
不静止多臂赌博机（RMAB）问题可以作为一种POMDP形式来解决此调度问题。Gittins的多臂赌博机问题被应用于RMAB[18]。Whittle基于特定假设提出了RMAB的最优解[19]。如[20]中讨论的那样，求解相应的优化问题可能是PSPACE难的。近视策略（MP）以最小复杂度优化了多个RMAB场景。MP是不最优的，因为它仅评估当前条件[21]。
本研究与最接近的工作[22]、[23]不同，假设没有电池泄漏，且每个传感器有无限的数据和能量存储。参考文献[22]、[23]将此问题建模为POMDP。具有EH节点的单跳WSN，配备单位容量电池和中心接收节点，构成一个RMAB问题。在某些特定情况下，MP优化了吞吐量。MP与Whittle索引策略一致。[22]阐述了一个包含两个场景的POMDP问题，这些场景说明了MP的最优性。
论文[24]研究了在平均吞吐量准则下、无电池泄漏假设以及一般EH过程下的调度问题。然后，论文[25]研究了在平均吞吐量准则下、无电池泄漏和数据丢失假设以及一般EH和DA过程下的调度问题。扩展[25]的工作，论文[26]表明在平均吞吐量准则和无限容量电池假设下，包含近视策略（MP）的轮询（RR）策略在特定EH过程下实现了吞吐量的最优性，尽管它对广泛的EH和DA过程类别是不最优的。该论文获得了RR策略在平均吞吐量准则下对一般EH和DA过程的吞吐量性能界限。此外，论文表明RR策略包含MP在平均吞吐量准则下实现了几乎相同的性能。
本文旨在开发一种新策略，在平均吞吐量准则下，对于一般EH和DA过程，实现比相关工作考虑的策略更高的吞吐量和公平性。
我们的主要贡献简要如下：
本研究在数据采集问题中不仅考虑了能量采集，还考虑了数据到达过程。
提出了一种可扩展的信念排名强化学习（RL）启发框架，通过为传感器学习优先级索引，避免了在指数级庞大的组合调度动作空间上进行直接学习。
研究表明，与现有方法相比，所提出的方法取得了接近上界性能的表现。
本文后续部分结构如下。第2节介绍系统模型并建立问题模型。第3节提供了一种强化学习（RL）启发调度框架。第4节介绍了一种新的RL启发方法，在无限容量电池假设（无泄漏）和无损耗无限容量传感器缓冲区的条件下，对于一般EH和DA过程、平均吞吐量准则、有限时间范围，在吞吐量和公平性方面实现了接近上界的性能。第5节评估了其相对于先前技术在吞吐量和公平性方面的性能。第6节总结了本研究。
系统模型和问题建模
本节首先提供系统模型，然后建立问题模型。
基于强化学习的调度框架
我们将FC的调度问题建模为POMDP，以捕捉传感器上EH和DA过程的不确定性，以及FC缺乏即时电池和缓冲区状态信息的情况。
在WSN中，每个M EH传感器都配备了无限电池和数据缓冲区。时隙系统中的时间索引为t=1,2,…,T。在每个时隙中，FC可以在正交信道上激活最多K个传感器。
提出的强化学习（RL）启发方法
传统的强化学习（RL）方法，如表格Q-learning或深度Q网络（DQN），试图将全局状态空间映射到直接调度动作。在此背景下，从M个候选中选择K个传感器导致了指数级庞大的组合动作空间（C(M,K)=M!/(K!(M?K)!)），导致严重的收敛延迟和维数灾难。我们提出的RL启发框架通过采用启发式辅助索引学习机制，与传统RL有所不同。
数值评估
为了确保报告的改进在统计上的稳健性和有效性，所有模拟的效率和公平性指标都在1000次独立的蒙特卡洛试验中进行了平均。观察到这些独立运行之间的方差可以忽略不计（95%置信区间落在报告均值的±1.5%以内），确认了RL启发方法（BR-UROP）的性能提升相对于EH和DA过程中的随机波动是稳定的。
我们评估的
结论与未来工作
IoT应用的快速增长增加了对可靠且节能的无线传感器网络的需求。在这项工作中，我们考虑了EH-WSN中的数据采集问题，其中融合中心没有关于传感器电池或缓冲区状态的即时信息，也没有关于EH和DA过程统计的先验知识。假设无线链路无错误，并初始考虑无限容量电池和缓冲区模型来处理问题。
未引用参考文献[35]、[36]、[37]、[38]
利益冲突声明
作者声明以下财务利益/个人关系，可能被视为潜在的利益冲突：Omer Melih Gul报告获得了Turk Telekom的财务支持。鉴于其作为作者的角色，未参与本文的同行评审，也没有访问其同行评审信息的机会。对本文的编辑过程负全部责任被委托给另一位期刊编辑。如果有其他作者，他们声明
致谢
本工作得到土耳其科学与技术研究委员会（TüB?TAK）1515前沿研发实验室支持计划对Türk Telekom 6G研发实验室的支持，项目编号为5249902。本工作还得到ITU BAP项目支持，项目编号为MAB-2024-45724，标题为"能量采集无线传感器网络中的吞吐量最大化和公平调度"。
?mer Melih Gül（SIEEE'17, MIEEE'21, SMIEEE'24）于2012年、2014年和2020年分别获得了土耳其中东技术大学（METU）电气与电子工程系的学士、硕士和博士学位，并在该系担任研究助理。他的研究领域包括人工智能/机器学习应用、无线安全、网络、调度、物联网、无人机、机器人和区块链。他共同撰写了60余篇论文和6部书籍。O.M. Gul