无人机使能的集成感知、计算与通信的计算效率优化：一种基于记忆的深度强化学习方法

《Drones》：Computing Efficiency Optimization for UAV-Enabled Integrated Sensing, Computing, and Communication: A Memory-Based Deep Reinforcement Learning Approach Honghao Qi and Muqing Wu

　　

无人驾驶飞行器（UAVs）已成为支持物联网（IoT）应用中集成感知、计算与通信（ISCC）功能的有前景平台。本文研究了一种无人机使能的ISCC网络，其中无人机在接入点（APs）的计算辅助下执行雷达感知和机载边缘计算。鉴于机载能量有限，确保无人机的节能运行对于支持网络性能的长期可持续性至关重要。本文将计算效率定义为在所需感知阈值约束下成功处理的累积计算比特总数与无人机总能耗之比。为了最大化该性能指标，本文联合优化了波束赋形向量、中央处理器（CPU）频率和无人机轨迹。该优化问题被建模为马尔可夫决策过程（MDP），并采用基于记忆机制的深度强化学习（DRL）方法求解。具体来说，研究人员提出了一种基于长短期记忆（LSTM）和双延迟深度确定性策略梯度（TD3）的轨迹设计与资源分配（LTTDRA）算法。LSTM单元被集成到行动者（actor）和评论家（critic）网络中，以有效捕捉动态环境中的时间相关性，从而增强策略稳定性并加速算法收敛。奖励函数被精妙设计，以缓解稀疏惩罚效应，并在具有多重约束的复杂环境中学习高性能策略。研究人员在各种设置和网络场景下进行了大量仿真，结果一致表明所提出方法显著优于基线方案。

**论文解读：面向无人机使能集成感知、计算与通信网络的计算效率优化——基于记忆的深度强化学习方法**

**研究背景与问题**
随着物联网（IoT）应用的快速发展（如车联网、智能农业、资源勘探、设备监控和应急救灾），无线设备数量激增，导致频谱资源日益稀缺。为提供泛在智能和实时服务，下一代无线网络需同时支持高精度感知和超低延迟计算。集成感知、计算与通信（ISCC）范式应运而生，它通过将移动边缘计算（MEC）能力融入传统集成感知与通信（ISAC）框架，实现三重功能设计，提升频谱利用率和计算能力。然而，地面无线通信受限于容量和覆盖范围，难以在恶劣环境下保证高速可靠服务。无人机（UAV）凭借其灵活部署和可靠视距（LoS）通信链路的能力，成为扩展ISCC网络覆盖、增强计算效率的有效平台。

现有研究存在不足：多数传统优化方法依赖凸优化，但实际无人机网络问题非凸且需精确环境参数，难以动态适配；部分工作忽略了无人机能耗，或仅施加能量容量约束而未关注能效。研究人员提出以“计算效率”（成功处理的计算比特数与总能耗之比）为优化目标，联合优化波束赋形向量、CPU频率和无人机轨迹，以解决感知、计算与通信三者的紧密耦合矛盾。该研究发表于《Drones》。

**主要技术方法**
研究人员将非凸优化问题建模为马尔可夫决策过程（MDP），并采用基于记忆的深度强化学习（DRL）框架求解。具体而言，提出LSTM-TD3融合的轨迹设计与资源分配算法（LTTDRA）：
- 在行动者（actor）和评论家（critic）网络中嵌入长短期记忆（LSTM）单元，从历史状态-动作序列中提取时间特征，捕捉动态环境的时间相关性。
- 采用双延迟深度确定性策略梯度（TD3）算法，通过双评论家网络、目标策略平滑和延迟策略更新缓解Q值过估计，提升训练稳定性。
- 精心设计奖励函数，包含正比于计算效率的激励项和针对边界、感知阈值、AP计算过载、能量耗尽等约束的惩罚项，并引入每时隙能量预算惩罚以缓解稀疏奖励问题。
- 仿真参数基于典型UAV-ISCC系统设定（见表1），奖励函数权重经多次实验选定（见表2、表3）。

**研究结果**
**（1）训练性能比较（图4、图5）**
LTTDRA算法在训练过程中收敛速度最快，平均累积奖励和计算效率均优于TD3和DDPG。LTTDRA最终稳定计算效率约7.87×10⁴ Bits/J，比TD3（约6.86×10⁴ Bits/J）提升14.73%，比DDPG（约5.88×10⁴ Bits/J）提升33.82%。这表明LSTM记忆模块有效捕捉了时间相关性，实现更优的决策稳定性和能效。

**（2）历史长度敏感度分析（图6）**
当历史长度l=3时，LTTDRA取得最佳收敛速度和最高奖励；l=5时性能略降，因冗余计算开销；l=1或2时性能严重退化，甚至低于无记忆的TD3基线，说明合适的记忆窗口对发挥LSTM优势至关重要。

**（3）不同场景下的计算效率（图7a-d）**
- 任务时长变化：LTTDRA平均计算效率比TD3、DDPG、随机轨迹算法（RTA）和固定轨迹算法（FTA）分别高16.46%、38.33%、109.40%和235.65%。
- 无人机高度变化：高度增加导致通信和感知性能下降，但LTTDRA始终优于基准。
- AP数量变化：更多AP提供更多卸载机会，LTTDRA平均效率增益分别为15.55%（vs TD3）、34.34%（vs DDPG）、96.17%（vs RTA）、226.09%（vs FTA）。
- ST数量变化：更多感知目标使资源利用更充分，LTTDRA平均效率增益分别为14.29%、36.15%、101.73%、217.88%。

**（4）无人机轨迹对比（图8）**
LTTDRA学得的轨迹更平滑且有目的性，能同时靠近感知目标和AP，兼顾推进能耗与ISCC性能。TD3和DDPG则路径曲折或缺乏长期规划，RTA完全随机，FTA固定遍历，均无法实现高效折中。

**总结与讨论**
研究揭示了无人机使能ISCC网络中感知可靠性与计算效率之间的固有折中：确保高感知可靠性要求无人机靠近感知目标并分配足够功率，而最大化计算效率需最小化推进能耗并建立与AP的强通信链路。LTTDRA通过记忆增强的DRL实现了精细的联合设计，在多种场景下显著优于基线，并展现出鲁棒性和可扩展性。不过，当前模型假设稳态大气环境，未考虑随机风场和恶劣天气的影响。未来方向包括扩展至多无人机协同、三维飞行避障以及真实实验验证。

**结论（翻译）**
本文提出了一种无人机使能的ISCC网络，并解决了该框架下的计算效率优化问题。研究人员建立了一个同时优化无人机轨迹、波束赋形向量和CPU运行频率的框架，旨在满足感知可靠性和系统运行约束的条件下最大化计算效率。从根本上说，无人机使能ISCC网络中感知可靠性与计算效率之间存在折中。保证高感知可靠性通常要求无人机靠近感知目标并分配足够感知功率；然而，最大化计算效率需要最小化推进能耗，并与地面AP建立强通信链路以加速任务卸载。因此，优先考虑感知可靠性会限制无人机轨迹并消耗本可用于数据传输或本地计算的功率，从而约束整体计算效率。平衡这一复杂折中需要精妙的轨迹与多维资源联合设计。为实现这一联合设计，研究人员将所得非凸优化问题建模为MDP。为求解该MDP，研究人员采用基于记忆的DRL框架，提出名为LTTDRA的LSTM-TD3轨迹设计与资源分配算法。LSTM单元被嵌入行动者和评论家网络，以从历史状态-动作序列中提取时间特征，使智能体更有效地捕捉系统动态中的时间依赖性。状态空间和动作空间被精心设计以确保环境动态和智能体行为的有效表征。此外，奖励函数被精妙设计以缓解稀疏惩罚效应，并在具有多重约束的复杂环境中学习高性能策略。仿真结果验证了LTTDRA的有效性，并表明其显著优于所有基线方案。尽管LTTDRA算法表现出良好性能，实际部署仍需承认若干局限性。主要局限在于模型假设稳态大气环境；真实场景中随机风场和恶劣天气可能显著影响推进能耗和信号传播。未来研究将聚焦三个方向：扩展至多无人机协同网络、适配含避障的三维飞行环境、以及开展真实实验验证。