基于深度强化学习的太阳能电池和锂聚合物电池供电无人飞行器能量管理策略

《Journal of Energy Storage》：Deep reinforcement learning-based energy management strategy for unmanned aerial vehicles powered by solar cells and lithium polymer battery

　　

摘要
提高太阳能利用效率对于减少碳排放和提升由太阳能电池和锂聚合物电池供电的无人机 (UAV) 的操作性能至关重要。本研究提出了一种基于深度强化学习方法 (DRLEMS) 的能量管理策略，以提高太阳能采集和利用效率。其核心在于处理太阳能电池的最大功率点跟踪以及太阳能电池与锂聚合物电池之间的自适应功率分配。专用的混合能源系统拓扑结构旨在协调太阳能电池和锂聚合物电池的运作，从而实现从太阳辐射中高效采集能量并提供连续电源。DRLEMS 采用深度确定性策略梯度算法来控制 DC-DC 变换器的输出电流和电压，并进一步调整工作点。仿真和实验结果表明，DRLEMS 能显著提高太阳能无人机的太阳能利用效率。与集成扰动观察法的状态机策略相比，DRLEMS 分别能将太阳能利用效率提高 8.3% 和 9.1%。本研究为实现太阳能无人机的能效提升和续航延长提供了一条可行途径，从而支持航空领域可再生能源清洁能源的更广泛采用和发展。

引言
随着各国寻求遏制温室气体排放和加强能源安全，对清洁和可再生能源的需求激增。由于其环境效益和可持续性，可再生能源资源引起了广泛关注 [1]。作为碳排放的主要贡献者之一，航空业在实现碳中和目标方面面临前所未有的挑战 [2], [3], [4], [5]。由于其无限的可获得性和零运营排放，太阳能已成为可持续航空的一种有前景的解决方案 [6]。特别是，无人机 (UAV) 技术的快速发展为太阳能飞行系统在各种应用中的使用开辟了新机会 [7]。无人机已成为多个行业不可或缺的工具 [8], [9], [10], [11]。由太阳能电池和锂聚合物电池供电的无人机 (太阳能无人机) 通过持续从阳光中采集能量来提供延长飞行续航能力，相比传统电池供电系统具有显著优势 [12], [13], [14]。这一能力使得传统能源存储系统之前无法实现的长任务时间和持续空中操作成为可能。因此，高效太阳能无人机的发展是迈向可持续航空的关键一步，对于变革无人机行业具有巨大潜力。

凭借其丰富的可用性、环保性和可再生性，太阳能已成为支持无人机绿色发展的有前景技术之一。安装在翼面上的太阳能电池通过光伏效应将阳光高效转化为电能，提供清洁可再生的电源 [15]。与传统锂聚合物电池供电的无人机相比，太阳能电池可以通过持续从阳光中采集能量来显著延长无人机的飞行续航能力 [16]。然而，它们的输出功率高度依赖于天气条件和太阳辐射，这使得在阳光不足或夜间操作期间难以满足无人机的连续电力需求 [17]。此外，太阳能电池的能源转换效率相对较低，因此功率密度和能量密度无法完全满足快速机动飞行的需求 [18]。为了调和太阳能的间歇性与无人机一致电力需求之间的冲突，通常采用将光伏电池与锂聚合物 (Li-Po) 电池相结合的混合架构 [19]。在这种配置中，Li-Po 电池作为响应式能量缓冲器，在太阳辐射不足时迅速补偿功率缺口，并在阳光充足期间存储多余能量。

在太阳能无人机的能源系统中，Li-Po 电池的输出电压很难与太阳能电池保持一致。无人机的机动飞行也会导致需求功率和负载的波动，并且由于负载和母线电压的变化，太阳能电池无法以最大输出功率运行 [20]。为了提高太阳能无人机的任务能力，需要设计高效的能量管理策略，使太阳能电池在其最大功率点运行，从而在此实现最佳能源转换效率 [21]。当太阳能电池在其最大功率点工作时，Li-Po 电池用于在高辐射期间存储多余能量，并在低辐射期间或夜间操作时补充需求功率缺口 [22]。这些能量管理策略不仅确保太阳能电池在最佳条件下运行，从而提高其效率和功率采集，还使能源系统能够提供足够的能量密度和功率密度。最终，它们最终提高了飞行续航能力。不幸的是，太阳能电池的输出特性表现出显著的非线性，特别是关于太阳辐射和温度的变化。无人机的飞行运动也会导致翼面上太阳能电池的辐射波动。这些非线性因素导致相应的最大功率点在不同环境条件下动态移动。因此，对于太阳能无人机来说，确保太阳能电池在其最大功率点运行，同时实现太阳能电池与 Li-Po 电池之间的协调运作，既紧迫又具有重要意义。

近年来，提出了各种最大功率点跟踪方法，以探索使太阳能电池在其最大功率点运行。扰动观察法 (P&O) [23] 和增量电导法 (INC) [24] 是两种广泛使用的传统方法。在 P&O 中，输出功率基于电压和电流值计算。通过扰动太阳能电池的输出电压来探索其工作点。正功率变化表明电压扰动正在向最大功率方向变化。负功率变化表明工作点已偏离最大功率点，随后施加的电压扰动将与之前的相反。P&O 持续跟踪最大功率点，导致工作点在最大功率点附近持续振荡。Zhao 等人 [23] 和 Zhang 等人 [25] 通过将其与其他算法结合以改进 P&O 的性能，提出了改进的 P&O 算法。INC 通过确定功率增量与电压增量的比率来跟踪最大功率点。当工作点在最大功率点左侧时，该比率的斜率为正。当它在右侧时，该比率为负。当工作点达到最大功率点时，该比率的斜率为零。步长的增量决定了该算法的速度。如果步长较大，它可以快速达到最大值点，但大步长可能导致不稳定并在最大功率点附近振荡。Dong 等人 [26] 通过将其与混合全局狼群算法结合改进了 INC 方法。它可以减少振荡并改进在部分阴影条件下对全局最大功率点区域的识别。然而，P&O 和 INC 在跟踪速度和准确性方面存在局限性，特别是在快速变化的环境条件下。此外，这些方法通常需要仔细调整参数，并且在存在噪声或测量误差时可能表现不佳。

为了提高跟踪速度和准确性，开发了基于优化的方法，例如阿基米德优化算法 [27]、布谷鸟搜索算法 [28]、萤火虫算法 [29] 等。最大功率点跟踪问题被建立为数值优化模型，并采用这些优化算法来求解相应的数值优化模型以搜索全局最优解。然而，由于太阳能电池的非线性输出和环境因素的不确定性影响，这个最大功率点跟踪问题通常是非凸和非线性的。这使得在有限的时间范围内找到全局最优解具有挑战性。因此，这些优化算法通常需要大量的计算资源，可能不适合无人机中的实时应用。此外，基于优化的方法需要在每个变量与太阳能电池的输出功率之间建立精确的函数关系。然而，使用有限的变量和函数集合来建模太阳能电池整个动态和不确定的功率调整过程是具有挑战性的。因此，它们严重依赖于精确的数学模型，当实际运行条件偏离假设的理论模型时，其性能可能会显著下降。

随着人工智能的快速发展，基于学习的最大功率点跟踪方法被开发出来以处理太阳能电池的非线性和不确定特性 [30], [31], [32], [33]。这些方法通过调整大量网络参数来获取观测变量与最大功率点之间的映射关系。这可以通过历史数据集或与环境的广泛交互来实现。完成复杂的学习过程后，这些方法可以根据当前状态直接调整太阳能电池的工作点。它们通常不需要精确的数学模型，但它们过于依赖训练参数的设置。这通常导致消耗大量数据或非常长的模型训练时间。基于学习的最大功率点跟踪方法包括各种类型，例如人工神经网络 [34]、迁移学习 [35]、长短期记忆网络 [36]、深度强化学习 [37]、机器学习 [38], [39] 等。最近，强化学习在复杂混合系统的更广泛能源优化中显示出巨大潜力。例如，Lin 等人 [40] 提出了一种基于 Transformer 智能体的分布式强化学习方法，已成功应用于混合动力汽车的能源优化。这些方法在提高最大功率点跟踪的跟踪速度和准确性方面显示出有前景的结果。然而，它们通常只考虑能源系统中只有太阳能电池而没有其他能源形式，这可能会限制它们在太阳能无人机中的适用性。对于太阳能无人机，太阳能电池通常与 Li-Po 电池结合形成混合能源系统。太阳能电池的输出电压需要与 Li-Po 电池匹配。此外，飞行运动导致翼面上太阳能电池接收到的辐射显著波动。太阳能无人机需要更高效的能量管理策略。

针对太阳能无人机的高效能量管理问题，本文提出了一种基于深度强化学习的能量管理策略 (DRLEMS)，以提高太阳能的利用效率。与直接调整变换器占空比以实现跟踪的传统最大功率点跟踪方法不同，采用深度确定性策略梯度 (DDPG) 方法来获取太阳能电池最大功率点的电流和电压，这些用于生成 DC-DC 变换器的控制信号。该 DC-DC 变换器的输入电流和输出电压基于控制信号进行动态调整。它实现了太阳能电池的最大功率点跟踪以及与 Li-Po 电池的电压匹配。在该策略中，Li-Po 电池被用来提供需求功率缺口或存储多余能量。本文的主要贡献总结如下：(1) 设计了由太阳能电池和锂电池组成的混合能源系统拓扑结构。(2) 提出 DDPG 来跟踪无人机混合系统中太阳能电池的最大功率点。(3) 提出了一种用于太阳能无人机的新型能量管理策略，集成了太阳能电池的最大功率点跟踪以及太阳能电池与电池之间的功率分配。(4) 进行了能量管理仿真和实验以验证所提策略的有效性。这项工作是首批在单一 DDPG 框架中统一 MPPT 和自适应功率分配的工作之一，并在动态飞行条件下进行了明确的电压匹配和实验验证。

本文其余部分安排如下。第 2 节提出了系统模型和混合能源系统拓扑结构。第 3 节提出了一种用于太阳能无人机的基于深度强化学习的能量管理策略。第 4 节进行了仿真和实验以验证有效性。

最后，第 5 节总结了本文的结论。

节摘要 方案框架描述

本节概述了针对太阳能无人机的所提出能量管理框架的整体结构。该策略旨在实现太阳能电池的自适应最大功率点跟踪，同时协调太阳能电池与锂聚合物电池之间的功率分配。其主要目标是提高太阳能利用效率并最大化任务续航时间。在该框架中，无人机飞行时的能量消耗由太阳能提供

深度确定性策略梯度算法

在本工作中，选择 DDPG 主要基于我们 prior 研究基础和实现经验，而非对其最优性的理论声称。计划将 DDPG、TD3 和 SAC 之间的全面系统比较作为我们未来工作的核心部分。尽管如此，基于文献综述，由于 DDPG 具有快速收敛速度和相对简单的架构，它已被确定为应用于 MPPT 的 DRL 技术 [41]。DDPG 的架构构建于

能量管理仿真

仿真硬件位于个人计算机内。仿真软件环境是使用 MATLAB/Simulink 2024B 建立的。集成扰动观察法的状态机能量管理策略 (POSMEMS) 被选为比较基准 [15], [25]。在 POSMEMS 中，太阳能电池的最大功率点跟踪通过扰动观察法实现，混合能量系统内的功率分配基于一种状态

能量管理实验

为了进一步验证所提出 DRLEMS 的有效性，建立了实验平台，如图 13 所示。实验平台由实时模拟器、太阳能电池模拟器、锂聚合物电池模拟器、DC-DC 转换器、电子负载、商用最大功率点跟踪器、LAN 网络控制器和 CAN 通信控制器组成。实验过程涉及无人机模型执行四边形飞行任务以模拟能量消耗和

结论

与传统直接扰动占空比的方法不同，所提出的 DRLEMS 利用 DDPG 代理输出最佳电流和电压指令。它不仅提高了太阳能的利用效率，还实现了基于锂聚合物电池 SOC 状态的灵活功率分配。主要结论如下：(1) 为太阳能无人机设计了一种结合太阳能电池和锂聚合物电池的混合能量系统拓扑结构，它能够实现高效的能量收集

CRediT 作者贡献声明

田维永：写作 – 审查与编辑，写作 – 初稿，可视化，验证，项目管理，方法论，调查，资金获取，数据管理，构思。黄和春：方法论，调查。郝华超：方法论，调查。赵雨浩：方法论，调查。

竞争利益声明

作者声明，他们没有已知的竞争财务利益或个人关系，这些利益或关系可能影响本文报告的工作。

致谢

本研究得到了贵州大学特聘岗位（编号 [2024]32）、贵州省基础研究计划自然科学（QN[2025]058）以及贵州省电动智能车辆技术创新中心、黔科合平台 JSCX (2025) 003 的支持。

田维永|黄和春|郝华超|赵雨浩
贵州大学机械工程学院，中国贵阳，550025