时变水声协作网络中联合资源分配的深度强化学习方法

《Journal of Marine Science and Engineering》：A Deep Reinforcement Learning Approach for Joint Resource Allocation in Time-Varying Underwater Acoustic Cooperative Networks Liangliang Zeng, Tongxing Zheng, Yifan Wu, Yimeng Ge and Jiahao Gao

　　

水下声学传感器网络（UASNs）已成为海洋探测、战术监视与环境监测中的关键技术。然而，水下声学信道带来严峻挑战，包括高传播时延、有限带宽以及快速时变多径衰落，这些因素会显著降低通信可靠性。协作通信通过中继节点利用空间分集，为缓解上述损伤提供了有前景的解决方案。本文研究了UASNs中中继选择与功率分配的联合优化问题，以最大化系统长期能量效率与吞吐量。由于离散中继节点选择与连续发射功率分配相耦合而形成混合动作空间，并且缺乏实时、完美的信道状态信息（CSI），该问题本质上十分复杂。为应对这些挑战，研究人员提出了一种新型深度混合强化学习（DHRL）框架，并采用参数化深度Q网络（P-DQN）架构。不同于将功率等级离散化或对离散约束进行松弛的传统方法，该方法无缝整合了用于连续功率控制的确定性策略网络与用于离散中继评估的价值网络。此外，研究还引入优先经验回放（PER）机制，通过聚焦罕见但显著的信道转移事件来提升样本效率。论文进一步给出了关于算法复杂度与收敛性质的系统理论分析。大量仿真结果表明，所提出的DHRL算法在系统能量效率方面优于先进的组合Bandit算法与传统深度强化学习基线方法，并且在抵抗信道估计误差方面表现出更强的鲁棒性。

本文发表于《Journal of Marine Science and Engineering》，围绕时变水下声学协作网络中的联合资源分配问题展开，核心关注在不完美信道状态信息条件下，如何同时实现高效中继选择与精细功率控制。研究背景在于，水下声学传感器网络（UASNs）是海洋观测、环境监测、战术侦察以及水下集群协同的重要通信基础设施，但其通信介质不同于陆地无线电频（RF）环境。由于电磁波在海水中衰减极快，远距离水下无线通信几乎只能依赖声波。然而，水下声学（UWA）信道具有传播时延大、可用带宽窄、路径损耗强、多径效应严重且信道随时间变化显著等典型特征，这些因素共同导致链路可靠性下降、吞吐能力受限以及能量消耗升高。尤其对于电池供能且难以维护更换的水下节点而言，如何在有限能量预算下维持网络长期稳定运行，是该领域的关键科学与工程问题。

在这一背景下，协作通信被视为提升UASNs链路可靠性和覆盖范围的重要技术路径。通过引入中继节点，系统能够借助空间分集形成虚拟多输入多输出（MIMO，多输入多输出）增益，从而对抗衰落并改善通信性能。但要真正发挥协作增益，必须联合优化两类高度耦合的资源：其一是中继选择（RS），其二是功率分配（PA）。若选择了不合适的中继，可能导致链路条件劣化，甚至加速关键节点电量耗尽；而若功率分配不合理，则会造成能量浪费或服务质量（QoS，服务质量）下降。由于最优中继依赖于功率配置，而最优功率又取决于所选中继的信道特征，因此该问题天然构成离散选择与连续控制并存的混合动作优化问题。既有凸优化方法通常依赖完美且实时的信道状态信息（CSI），但在水下长时延场景中，反馈到达发射端时往往已过时；多臂Bandit方法虽可在线学习，却难以建模节点剩余能量与未来决策之间的长期时序依赖；传统深度Q网络（DQN）需要将连续功率离散化，容易遭遇维数灾难，而深度确定性策略梯度（DDPG）又难以自然处理离散中继决策。因此，开展兼顾混合动作空间、时变信道和能量约束的统一学习框架研究具有明确必要性。

为解决上述问题，研究人员将联合中继选择—功率分配问题建模为马尔可夫决策过程（MDP，马尔可夫决策过程），提出基于参数化深度Q网络（P-DQN）的深度混合强化学习（DHRL）框架。该框架在状态设计中显式引入历史CSI、各节点归一化剩余能量以及上一时隙被选中继的独热编码，从而同时表征信道时间相关性、能量动态和切换稳定性。动作定义为二元组a_t=(k_t, x_kt)，其中k_t表示离散中继索引，x_kt表示源节点与中继节点的连续功率分配向量。奖励函数以吞吐量与发射功率开销之间的折中效用为基础，并对低剩余电量节点施加惩罚，以避免过度消耗单个中继。该建模方式保留了原问题中离散—连续耦合的本质，而非通过近似解耦简化问题。

方法上，论文构建了分层式P-DQN架构。下层Actor网络为每个候选中继输出对应的连续功率分配方案，上层Critic网络则对各“中继—功率”组合的Q值进行统一评估，并据此选出全局最优动作。该设计避免了传统DQN对功率离散化所带来的精度损失，也克服了纯连续控制算法处理离散动作时的不稳定问题。进一步地，研究引入优先经验回放（PER），依据时序差分误差（TD-error）为样本赋予不同采样优先级，使算法能够更集中地学习对长期性能影响较大的罕见信道变化和节点状态转移，从而提高样本利用效率和收敛速度。论文还对算法复杂度与收敛性进行了理论分析，指出所提方法在动作生成和训练复杂度上随中继数N线性增长，相比穷举搜索与组合Bandit更具可扩展性。

研究人员采用的主要技术方法可概括为以下几类：首先，构建经典水下声学协作网络模型，包含1个源节点、1个目的节点与N个候选中继节点，采用放大转发（AF）协议，并基于Thorp模型刻画路径损耗、基于Rayleigh衰落描述小尺度衰落，同时建立两阶段协作传输、最大比合并（MRC）接收、容量与能耗模型。其次，将联合RS-PA问题形式化为带约束的MDP，并设计融合历史CSI、剩余能量和前次中继选择信息的状态空间。再次，提出由Actor-Critic双网络组成的P-DQN混合强化学习结构，并集成PER机制进行训练。最后，在1000 m×1000 m×200 m三维水下区域内构建仿真场景，设置5个随机中继节点，基于50次独立运行结果与HCMABL、DDPG、离散DQN和随机策略进行对比评估。

以下结合论文结果部分各小标题，对主要发现作凝练总结。

5.1. Simulation Setup
研究构建了一个三维水下协作网络仿真环境，源节点与目的节点位置固定，5个中继节点随机部署于不同深度。系统采用时隙化AF传输协议，载频为25 kHz，带宽为5 kHz，最大发射功率P_max=50 W，节点初始电池容量E_max=1000 J。Actor与Critic网络均采用三隐层结构，并通过Adam优化器训练。评估指标包括平均累计奖励、能量效率、系统吞吐量、CSI误差鲁棒性、剩余能量方差与信道容量。该部分说明了实验环境、参数设定和对比基线，为后续性能验证提供统一条件。

5.2. Results and Discussion
在平均累计奖励收敛行为方面，结果表明DHRL在约400个训练回合后实现稳定收敛，且稳态奖励最高。通过与HCMABL、DDPG和离散DQN比较，研究得出结论：P-DQN结构能够更有效处理混合动作空间，避免Bandit类方法泛化不足以及连续—离散映射导致的策略不稳定问题。

在传输距离增加条件下的能量效率分析中，所有算法均因路径损耗增加而性能下降，但DHRL始终保持领先。该结果通过距离变化下的能效曲线比较得到，说明连续功率输出相较于功率量化方案可更精确匹配链路需求，减少“过分配”或“欠分配”造成的能量浪费。

在系统吞吐量随训练过程演化的比较中，DHRL吞吐量快速提升并稳定在约4.5 kbps，而HCMABL收敛于较低水平。该结果基于训练回合上的吞吐量轨迹得到，表明所提方法在精细功率控制与关键状态学习方面更具优势，因而能够获得更高的长期传输收益。

在面对CSI不确定性的鲁棒性分析中，研究通过改变CSI误差方差σ_e²并考察归一化性能比发现，DHRL在误差增大时性能下降最缓，优于依赖精确CSI的优化基线以及HCMABL。该结论说明，引入历史CSI的状态设计与深度网络的特征提取能力，有助于缓解不完美CSI对决策质量的影响。

在资源分配公平性分析中，研究以中继节点剩余能量方差刻画能耗平衡程度。结果显示，DHRL具有最低的能量方差增长速度。通过对500个时隙内各方法能量方差变化的比较，论文证明，将剩余能量纳入状态并设置低电量惩罚，可有效抑制对优质中继的过度使用，从而延长网络寿命。

在可扩展性方面，研究考察中继节点数量N增加时的平均奖励变化。DHRL的平均奖励随N单调上升，而HCMABL在较大N时趋于饱和，离散DQN则因动作空间膨胀出现性能下降。该结果支持论文关于复杂度线性增长的理论分析，说明所提分层P-DQN结构适用于更大规模UASNs场景。

在最大发射功率约束对平均信道容量影响的分析中，随着P_max从10 W增加至60 W，各算法容量先增后趋于饱和，但DHRL始终获得最高容量。基于不同功率上限下的容量曲线，研究说明联合优化中继选择和源—中继功率有助于在增强有效信噪比与避免无效功率开销之间取得更优平衡。

在瞬时奖励快照分析中，研究比较了DHRL与HCMABL在100个连续时隙中的动态响应。结果显示，DHRL不仅奖励水平更高，且波动更平稳。这一结论来自快衰落环境下即时回报的时间序列观察，表明PER机制能够帮助智能体更及时地利用高TD误差样本更新策略，提升对快速信道变化的适应能力。

综合讨论部分，论文指出，所提DHRL框架之所以优于现有方法，关键在于其从问题结构出发，直接对混合动作空间进行建模，而不是通过功率离散化或离散动作软映射等方式进行近似处理；同时，历史CSI、剩余能量与前序中继信息共同构成了更适合水下环境长期决策的状态表达；PER则增强了算法对稀有但关键事件的学习效率。仿真结果从收敛速度、能量效率、系统吞吐量、鲁棒性、公平性和可扩展性等多个维度共同支持了这一论断。总体而言，论文在方法设计上兼顾了水下声学网络的物理约束与强化学习的决策优势，为复杂时变环境中的联合资源调度提供了具有针对性的解决方案。

研究结论部分可译为：本文针对水下声学协作网络中的联合资源分配问题开展了系统研究。鉴于现有Bandit方法与基于离散化的深度强化学习方法存在局限，研究人员提出了一种基于P-DQN的深度混合强化学习（DHRL）框架。通过显式建模混合动作空间并结合优先经验回放（PER），该智能体能够在动态且含噪的水下环境中学习到兼顾吞吐量与能量消耗的最优策略。仿真结果证实，所提方法在收敛速度、频谱效率与鲁棒性方面均具有优越性。未来工作将把该框架拓展至多智能体场景，以处理多个源—目的节点对之间对中继资源的竞争问题。