基于能量收集协作自由空间光通信系统的深度强化学习中继选择

《Electronics》：Deep Reinforcement Learning-Based Relay Selection for Energy-Harvesting Cooperative FSO Systems

　　

协作通信是提升自由空间光（FSO）系统可靠性与容量的一种前景广阔的技术，其通过引入涉及中继的多条FSO链路来克服环境挑战。研究人员考虑了一种具备能量收集能力的协作解码转发（DF）系统，中继配备有限容量的可充电电池，从光信源收集能量并存储以供后续转发信息。该协作系统中的中继选择过程被建模为马尔可夫决策过程（MDP）。为在能量约束下提升长期系统容量，研究人员提出了一种基于深度强化学习（DRL）的中继选择算法，具体采用深度Q网络（DQN），利用电池感知奖励函数引导中继选择决策，同时考虑中继当前电池电量。研究人员通过仿真评估算法收敛性、不同中继数下的性能、对能量可用性的适应性及跨天气鲁棒性。仿真结果表明，所提DQN算法优于表格Q学习、电池感知贪心（BA-Greedy）与随机选路等基线方法。

研究背景与动机：在5G/6G及物联网场景下，协作中继可克服FSO中的大气湍流、对准误差与视距约束，但传统中继依赖固定供能，在大规模或偏远部署中不可持续；能量收集（如SLIPT）使中继可从入射光中提取能量与数据，然而现有能量收集协作研究多集中于射频（RF）域或FSO单中继，多中继FSO在有限电池容量下的智能中继选择尚属空白。已有RL用于RF中继选择的工作未将FSO信道与电池动态联合建模。为此，研究人员针对多中继DF-FSO系统，将能量约束下的长期容量最大化建模为MDP，采用DRL直接学习连续状态（信道增益+电池电平）到离散动作（选中继或纯收集）的映射。

主要关键技术方法：研究人员构建含信源、信宿与L个DF中继的网络，信道由Beer–Lambert路径损耗、指向误差与Gamma–Gamma大气湍流合成；中继经SLIPT以功率分流比ρ=0.5从光信号直流分量收集能量存入离散化有限电池（B_max能量单位），被选中继消耗E_tx转发、未被选者全时收集。MDP状态为归一化信道增益与电池电平向量，动作为{L个中继,无传输}，奖励函数采用容量项减去指数电池裕度惩罚并对低网均电池给予无传输奖励塑造。求解器为标准DQN：双网络（在线Q与周期同步目标Q）、均匀经验回放、ε-greedy衰减、RMSProp优化，隐藏层512-128-128且ReLU激活；基线为表格Q学习（三桶离散化）、BA-Greedy与随机选路。训练300回合×10次随机种子，评估取20回合均值。

研究结果：

1. 2.
   系统模型：给出网络、Gamma–Gamma信道及式(5)-(8)的光伏收集功率与电池更新规则，确立“选中继转发+非选中继纯收集”的时步动态。
2. 3.
   问题公式化与MDP：以式(9)DF容量为目标，式(10)约束长期平均容量，式(11)定义系统失效概率；式(12)-(14)给出连续状态、离散动作与电池感知塑形奖励，明确训练奖励≠系统目标但引导可行策略。
3. 4.
   所提RL解：Algorithm 1汇总DQN交互-存储-采样-TD目标（式15）、MSE损失（式17）与参数更新（式18），论证用深度函数近似替代表格以应对连续大状态空间。
4. 5.
   评估：5.1节设d_SR=1 km、d_RD=0.5 km及天气相关湍流参数，表1-2列环境与超参。图1显示在B_max∈{4,20,100,180,220,340}各情形DQN奖励高于表格Q且收敛更快；图2表明清空气下L增加时DQN平均容量均胜基线，且B_max=40时增益比B_max=250更显著；图3示低中电量（如30单位）下DQN容量更高而失效概率不升；图4在clear/haze/rain/fog下L=2,4,6时DQN仍最优，雾天因信道与收集功率双降而容量锐减但不改相对优势。结论：DQN在能量受限与劣天气下借“无传输”动作保电、避低电中继，实现比BA-Greedy与表格Q更优的长期容量；大电池时各法趋近，多中继缩小贪心差距但增部署成本，适中L配DRL为容量-成本折中。

讨论与结论翻译：研究人员研究了带能量收集中继的协作FSO中继选择问题，提出基于DQN的算法在有限电池与变信道下管理中继选择。该算法采用电池感知塑形奖励训练，学习兼顾中继能量态的平均容量策略。仿真表明所提DQN策略在不同中继数、可用能量与天气下，平均容量普遍高于随机、BA-Greedy与表格Q学习；在同时恶化接收信号与收集能量的恶劣天气下仍具竞争力。该研究将MDP+DRL引入能量收集多中继FSO，填补了FSO域电池动态感知智能选路空白，为绿色自愈光通信提供可扩展框架。论文发表于《Electronics》。