《Drones》：Soft Actor-Critic-Based Power Optimization Method for UAV Wireless Charging Systems
Zhuoyue Dai,
Yongmin Yang,
Yanting Luo,
Zhilong Lin and
Guanpeng Yang
编辑推荐：
针对无人机充电时降落位置不确定导致功率显著下降的难题，研究人员提出了一种基于Soft Actor-Critic (SAC)强化学习算法的多发射单接收 (MTSR-WPT) 无线充电系统功率优化框架。该研究构建了一个基于可测电流响应的物理信息状态表征，直接调控发射机电压相位，避免了复杂的在线互感辨识。在五发射机系统仿真中，该方法在训练和扩展评估区域分别达到了理论最大功率的约97%和96%。硬件实验验证表明，该方法相比零相位基线平均功率提升了188%，达到了硬件平台实测最大功率的87%，为不确定性条件下的无人机无线充电提供了一种实用、鲁棒的数据驱动解决方案。
无人机的续航能力是其广泛应用的主要瓶颈之一，而无线充电技术为解决此问题提供了可能。然而，在实际应用中，无人机并非每次都能精确降落到预设的充电点上，微小的位置偏差都会极大地影响无线能量传输的效率，导致充电功率骤降，这成为无人机无线充电实用化的一大障碍。为了应对这一挑战，研究人员在《Drones》上发表了一项研究，他们另辟蹊径，不再试图精准“定位”无人机，而是试图让充电系统自身变得“智能”和“自适应”。
传统的解决方案，比如通过协调多个发射线圈来主动塑造磁场，虽然能扩大有效充电区域，但其优化控制通常严重依赖于对系统参数的精确建模和在线识别，例如接收机与各个发射线圈之间随位置变化的互感。随着发射线圈数量的增加，这种参数识别过程会变得异常复杂，且极易受到模型误差和测量噪声的影响，在面对着陆点频繁变化、难以预先精确预测的无人机充电场景时，就显得力不从心。为了超越模型依赖方法的局限，研究人员转向了一种数据驱动的控制范式——强化学习(RL)。这项研究提出了一种基于Soft Actor-Critic (SAC)算法的功率优化方法，旨在让系统学会“看”到可测量的电流信号，就“知道”该如何调整发射电压的相位，以实现最优的功率传输，而无需知道无人机具体落在哪里或者复杂的系统内部参数是多少。
为了开展这项研究，研究人员主要运用了以下几个关键技术方法：首先，对多发射单接收无线功率传输 (MTSR-WPT) 系统进行电路建模，建立了包含互感的系统方程。其次，将功率优化问题转化为强化学习任务，设计了基于归一化负载功率的直接奖励函数，并将可测量的发射机和接收机电流响应构造成一个包含物理信息的“双电流状态”表示，作为智能体的观测输入。最后，在完成仿真训练和评估后，在一个包含五个发射线圈的实体硬件原型上对学习到的策略进行了实验验证。
2. 建模和MTSR-WPT系统分析
研究人员首先建立了n个发射机、单接收机的MTSR-WPT系统的等效电路模型，并基于基尔霍夫电压定律(KVL)推导了系统方程。模型清晰地揭示了系统性能（负载功率）与发射机电压、各线圈间互感（特别是接收机与各发射机间的互感MR,k）的复杂依赖关系。分析指出，传统基于电流幅值优化的方法，其核心前提是准确识别这些与位置相关的互感，而在无人机着陆位置不确定的场景下，这构成了主要的实践限制。
3. 基于SAC的方法
本节详细阐述了所提出的SAC框架。研究将功率优化问题形式化为一个有界幅值、直接相位控制的问题，避免了额外的电压-电流转换。智能体（控制器）的“观察”是一个精心设计的“物理信息双电流状态”，它由系统在零相位命令下的电流响应和在实际应用的相位命令下的电流响应组合而成，从而在不进行显式互感估计的情况下，编码了与位置相关的耦合信息。智能体的“动作”是各个发射机电压源的相位，奖励则直接基于归一化的负载功率计算。通过SAC算法训练，智能体学会了一个从系统实时观测到最优控制动作的映射策略。
4. 仿真结果与分析
通过对一个五发射机系统的仿真，全面评估了所提方法的性能。结果表明，在训练区域内，学习到的策略能达到理论最大功率的约97%；在超出训练范围的扩展评估区域内，性能仍保持在约96%，显示了良好的泛化能力。进一步的鲁棒性研究表明，该方法在适度的测量噪声下表现强劲，并且在模型失配（即实际系统参数与训练模型存在偏差）后，经过简短的微调便能大幅恢复性能，证明了其在实际应用中的适应性和稳健性。
5. 实验验证
为了确认方法的实际可行性，研究在一个物理原型上进行了实验。实验装置包含五个发射线圈和一个接收线圈。将学习到的SAC控制策略部署到该硬件平台上，与简单的零相位控制基准进行对比。实验结果显示，SAC控制器实现了平均188%的功率提升，并达到了在该硬件平台上实测所能达到的最大功率的87%，有力地证实了该方法在真实物理系统中的有效性。
6. 讨论 与 7. 结论
研究人员在讨论部分将所提方法与现有工作进行了对比，强调了其通过数据驱动、直接相位控制来规避复杂在线参数辨识的核心优势。文章的结论指出，这项研究成功提出并验证了一种基于SAC的数据驱动功率优化框架，用于解决无人机无线充电中的位置不确定性问题。该方法通过构建物理信息状态表征，使控制器能够利用可测量的耦合信息，在无需显式互感识别的情况下实现高性能的功率传输。仿真和硬件实验的一致结果支持该方法作为一种实用的、模型无关的替代方案，适用于存在不确定性的MTSR-WPT系统优化场景，为提升无人机等移动设备的无线充电可靠性提供了新的技术路径。
