《Advanced Intelligent Systems》：Deep Reinforcement Learning Approaches for Sensor Data Collection by a Swarm of UAVs
编辑推荐：
使用物联网（IoT）设备作为传感平台的应用数量正在不断增加。这些系统灵活性的一个主要障碍是需要与传感设备持续连接，从而将应用限制在存在网络基础设施的场景中。自主无人飞行器（UAVs）可作为数据采集器，飞抵设备位置，通过本地网络连接收集数据，并将这些信息传输至数
使用物联网（IoT）设备作为传感平台的应用数量正在不断增加。这些系统灵活性的一个主要障碍是需要与传感设备持续连接，从而将应用限制在存在网络基础设施的场景中。自主无人飞行器（UAVs）可作为数据采集器，飞抵设备位置，通过本地网络连接收集数据，并将这些信息传输至数据汇聚点。应用受益于最新数据，因此UAV数据收集应追求速度。单个UAV的能力有限，而无人机群（swarm）具有协作优势，可能缩短收集时间。本研究针对协调智能UAV代理（agents）的问题，提出了四种去中心化深度强化学习（Decentralized Deep Reinforcement Learning，DRL）方法。这些方法探讨了非协作与协作解决方案，并提出了提升强化学习（RL）系统可扩展性的途径。模拟场景结果表明，所有提出的算法均能完成数据收集任务。协作算法需要更长的训练时间，但能提供更优的结果。通过训练比数据收集场景变化更通用的算法，可减少训练时间。结果还表明，算法通用性在性能上存在轻微权衡。
**论文解读：基于深度强化学习的无人机群传感器数据收集方法**
**研究背景、问题与动机**
随着物联网（IoT）设备作为传感平台的广泛应用，如何高效收集传感器数据成为关键挑战。传统依赖固定网络基础设施的方式在偏远或大型区域（如森林）中不可行，而人工采集成本高昂且效率低下。无人飞行器（UAVs）作为自主数据采集器，可飞抵传感器位置并通过本地通信收集数据，再传输至数据汇聚点。然而，单个UAV的能力有限，而由多个UAV组成的无人机群（swarm）可通过协同工作缩短采集时间。现有研究多采用启发式或优化方法，但面对高动态、随机性强的场景时表现不足。强化学习（RL）在复杂动态环境中展现出潜力，但如何实现去中心化协作、提升可扩展性并降低训练时间仍是未解问题。本研究旨在提出四种基于去中心化深度强化学习（DRL）的算法，以协调无人机群高效完成传感器数据收集任务，并评估协作与通用性之间的权衡。
**研究内容与结论**
研究人员基于多智能体深度确定性策略梯度（MADDPG）框架，设计了四种去中心化RL算法，并在模拟场景中进行了评估。所有算法均能在单周期数据收集任务中实现超过98%的成功率。协作算法（Collaborative Algorithm）通过引入其他UAV的位置信息和奖惩机制，显著缩短了完成时间，但训练时间远高于非协作算法。灵活传感器数量算法（Flexible Sensor Count Algorithm）通过训练中随机变化传感器数量，实现了模型对传感器数量的通用性，在牺牲少量性能的前提下大幅降低了训练时间。灵活代理数量算法（Flexible Agent Count Algorithm）进一步扩展至代理数量可变，但完成时间显著增加（约比灵活传感器算法高50%）。研究表明，协作具有边际效益递减效应：当代理数量增加时，性能提升不再成比例；过度密集的无人机群反而导致效率下降。此外，训练时间与模型通用性呈负相关：更通用的模型需要更少的训练模型总数，但单个模型训练更复杂。
**主要关键技术方法**
1. **多智能体深度确定性策略梯度（MADDPG）**：采用集中式训练与去中心化执行（CLDE）范式，演员（actor）基于局部观测选择动作，评论家（critic）利用全局状态评估动作价值。
2. **参数共享（Parameter Sharing）**：所有UAV代理共享同一神经网络参数，但通过不同观测产生差异化行为，降低训练复杂度。
3. **观测与奖励设计**：非协作算法仅观测最近未访问传感器的相对坐标；协作算法进一步观测其他UAV的位置并引入标识符，奖励函数结合瞬时正向奖励（访问传感器）与持续惩罚（未访问传感器数量），以激励协作。
4. **通用性训练策略**：灵活传感器数量算法在训练中随机采样传感器数量（12–36个），灵活代理数量算法固定训练代理数但测试时应用于不同数量场景（需确保测试代理数不低于训练数）。
**研究结果**
**5.1 成功率**：所有算法成功率均高于98%。灵活代理数量算法在测试代理数少于训练代理数时成功率骤降（如训练8个代理、测试2个代理时成功率为0%），因此仅报告训练2个代理的模型在全部场景中的表现。
**5.2 完成时间**：协作算法（协作、灵活传感器、灵活代理）的完成时间远低于非协作算法（约降低50%–70%）。非协作算法中，所有UAV因观测相同而路径重叠，导致冗余访问。灵活代理算法完成时间比灵活传感器算法高约50%，但仍优于非协作算法。通过轨迹分析发现，协作算法中代理通过“信任”机制（避免访问其他代理已接近的传感器）实现任务分割。
**5.3 训练时间**：非协作算法仅需约0.7百万步收敛，训练时间最短；协作算法需训练9个模型，单个模型平均71小时，总训练时间最长；灵活传感器算法训练3个模型，总时间约为协作算法的1/3；灵活代理算法仅训练1个模型，总时间最低。训练时间差异主要源于模型复杂度与需训练模型数量。
**讨论与结论**
讨论部分指出，协作算法在完成时间上具有显著优势，但训练成本高昂；通用性算法（灵活传感器、灵活代理）牺牲部分性能换取训练效率。研究结论总结为：
- 协作策略能更快完成任务，但训练时间增加数个数量级。
- 协作具有边际效益递减，代理数量增加时性能提升不线性，需根据成本与需求选择合理数量。
- 算法选择取决于应用需求：若优先完成时间，选协作算法；若硬件受限或场景变化多，选灵活传感器或灵活代理算法。
- 未来工作需解决能量管理、通信故障等问题，并探索降低通信开销与训练成本的方法。
