深度强化学习引导的生物启发式主动流动控制技术：用于具有扑翼翼形的无人机实现实时干扰抑制 作者：萨达姆·侯赛因（Saddam Hussain）、穆罕默德·梅索迪（Mohammed Messaoudi）、努曼·阿巴西（Nouman Abbasi）和徐大俊（Dajun Xu）

《Actuators》：Deep Reinforcement Learning-Guided Bio-Inspired Active Flow Control of a Flapping-Wing Drone for Real-Time Disturbance Suppression Saddam Hussain, Mohammed Messaoudi, Nouman Abbasi and Dajun Xu

　　摘要
扑翼无人机（FWDs）由于其紧凑的尺寸以及在复杂和不稳定的气流环境中运行，面临着显著的空气动力学和稳定性挑战。对鸟类飞行的研究揭示，猎鹰和其他猛禽会主动调整其隐秘羽毛以减轻阵风并保持稳定飞行。受此机制的启发，本研究提出了一种基于游隼设计的主动流控单元（AFCU），并结合了基于深度确定性策略梯度（DDPG）的深度强化学习（DRL）控制器，用于实时抑制扰动。AFCU使用机械隐秘羽毛（MCFs），在强风条件下激活这些羽毛以分散阵风载荷。创建了一个简化阶的键图模型，该模型捕捉了主翼与基于羽毛的主动流控表面之间的非线性相互作用，并作为DDPG智能体的动态训练环境。通过利用闭环交互，成功学习的策略产生了最佳的执行器力，以减少羽毛位移误差和空气动力学载荷变化。所设计的控制器稳定了内部不稳定的开环AFCU，在阵风速度为12.5至20 m/s的范围内，实现了接近零的稳态误差和不到1.6秒的稳定时间。仿真进一步表明，与传统方法相比，阵风引起的载荷减少了高达50%。这种生物启发设计与基于学习的主动流控的集成，为开发高度适应性和抗阵风能力的扑翼航空系统提供了可行的途径。

1. 引言
对于在大气边界层中运行的无人飞行器（UAVs）来说，保持稳定的姿态尤其具有挑战性，因为该区域的湍流水平通常很高。在这个区域内，无人机经常受到突然且强烈的阵风影响，这些阵风会迅速破坏其方向、位置和空速，因此需要高度弹性的主动阵风抑制系统和先进的控制策略[1,2,3]。
已经广泛研究了多种传统的无人机扰动抑制策略。Ren等人[4]提出了一种基于压力传感器的阵风抑制方法，该方法利用实时流速测量提供标准惯性传感器无法获得的相位提前信息。来自两个翼装传感器的扰动数据被输入到比例积分微分（PID）控制器中，以抵消阵风引起的滚转力矩。他们的仿真表明，结合流场数据可以提高阵风抑制效果，但该方法仅在固定翼无人机上进行了验证，其是否适用于扑翼平台尚未探索。
最近的研究表明，合成喷射执行器可以降低无人机的空气动力阻力并抑制阵风引起的振动，从而提高整体稳定性[5]。同样，涡流发生器也被研究用于在湍流和高速飞行中减少翼载荷和延迟翼尖失速[6]。尽管取得了这些进展，但这些阵风缓解技术主要在固定翼平台上进行了测试，其对扑翼无人机（FWDs）的有效性仍很大程度上未得到探索。另一项研究[7]提出了一种湍流抑制方法，可以减少阵风检测延迟并提高无人机机载控制电子设备的响应能力。通过将先进的信号处理算法应用于MEMS陀螺仪数据，作者在小规模阵风事件中实现了更高的稳定性。
还深入研究了多种生物启发的飞行机器人设计，以应对湍流[8,9,10,11,12]。最近的一项工作[13]提出了一种生物启发的“通过感觉飞行”方案，使扑翼无人机能够通过嵌入在翼部的应变传感器感知空气动力载荷，模仿昆虫的机械感受器。该系统使用强化学习（RL）来解释这些应变信号，从而实时估计姿态和气流，而无需依赖惯性传感器。在3–7 m/s的风扰动条件下进行的仿真和飞行实验展示了可靠和自适应的飞行行为。然而，这种方法尚未在超过7 m/s的更强烈湍流条件下进行评估。
一些先前的研究借鉴了鸟类羽毛的原理，探索了用于改善扑翼无人机阵风抑制的生物启发式羽翼配置。例如，[14]中的研究提出了一种适用于扑翼无人机的生物启发式羽翼设计，旨在缓解湍流气流中的阵风效应。他们的仿真表明，装有羽毛的翅膀比普通翅膀更有效地应对了阵风干扰。
除了主动阵风减弱设计方法外，大量的研究还探讨了通过线性和非线性控制策略来减轻扑翼无人机中的阵风效应[15,16,17,18,19]。提出了一种基于神经网络的混合模式切换控制器[20]，用于FMAVs的三维位置稳定。该方法结合了新颖的垂直坐标系动态公式和基于径向基函数（RBF）的神经网络自适应控制器，使系统能够在不同控制模式之间切换，以避免不安全的飞行条件并提高效率。在模式转换期间调整学习更新，并使用饱和和屏障李雅普诺夫函数来约束侧向速度。通过李雅普诺夫分析证明，闭环系统是半全局一致最终有界的。实验结果验证了所提出策略的可靠性和有效性。
开发了一种基于翼运动的深度强化学习（DRL）控制器，用于在大范围6自由度（6-DOF）扰动下稳定FMAVs。控制策略是在高保真计算流体动力学（CFD）耦合仿真环境中使用Soft Actor–Critic（SAC）算法进行训练的。结果表明，在严重扰动下悬停时能够实现稳健且快速的稳定[21]。
另一项研究提出了一种多层模型预测控制（MPC）方案，提高了扑翼MAVs的控制精度和计算效率。该方法使用一个额外的层来调整翼运动。结果表明，与典型的MPC控制器相比，该方法在面对阵风扰动时具有更快和更精确的跟踪能力[22]。然而，在更强的阵风下，其性能会下降，这突显了进一步提高鲁棒性的必要性。
在[23]中，作者使用LQR控制器来实现 insect 机器人以高达25 cm/s的速度进行轨迹跟踪，但该研究仅考察了轻微扰动，未评估阵风抑制性能。后来，Bhatia等人[24]使用LQR来控制湍流气流中的FWD姿态。研究表明，尽管平台在开环状态下本质上不稳定，但闭环LQR反馈对于在阵风中保持准确的姿态稳定性和持续飞行至关重要。该控制器成功控制了高达3 m/s的阵风干扰。
Zheng等人[25]研究了一种无尾扑翼无人机，该无人机具有三对翼和仿生弹性腿，实现了飞行和地面移动之间的平滑切换。在所提出的系统中，飞行稳定性和机动性主要是通过非对称翼运动和差分扑动控制实现的，而不是通过传统的尾面。通过结合级联PID控制器和SE（3）几何跟踪方法，实现了稳定的悬停和精确的轨迹控制。尽管偏航轴仍然欠驱动，但机器人具备了足够的稳定性和机动性。
尽管许多当前的控制系统在轻微扰动的情况下表现良好，但在强阵风情况下效果较差。这种限制源于阵风抑制通常被视为一个独立的控制问题，而没有结合自适应空气动力学技术。根据最近的一项调查研究[26]，对于在高度非线性和快速变化的气流中运行的扑翼机器人来说，单一控制器设计是不够的，这突显了需要主动空气动力元素或多层控制框架的必要性。这一发现促使研究人员研究了自然飞行者，他们发现鸟类在湍流情况下使用间歇性飞行方法，其中被动展开的隐秘羽毛有助于减弱快速阵风载荷[27]。图1展示了猎鹰在湍流中的飞行，其中隐秘羽毛被调整。图1. 隐秘羽毛的变形（源自[28]）。[29,30]中的作者进一步表明，生物启发的羽翼扑翼无人机和垂直起落飞机在阵风下动态不稳定，需要主动控制系统来实现飞行稳定性和鲁棒性。为了进一步增强这些结果，本研究提出了一种基于游隼设计的主动流控单元（AFCU），该单元配备了机械隐秘羽毛（MCFs），并通过基于深度确定性策略梯度（DDPG）的深度强化学习（DRL）框架进行控制。本研究的主要贡献如下：
- 开发了一种基于游隼设计的AFCU，包括MCFs，并通过简化阶的键图模型捕捉主翼与羽毛流控表面之间的非线性耦合。
- 设计和训练了基于DDPG的DRL控制器，无需预定义的控制律。
- 成功稳定了内部不稳定的开环AFCU，在12.5–20 m/s的阵风范围内实现了接近零的稳态误差和不到1.6秒的稳定时间。
- 通过仿真和文献比较验证了所提出控制框架的适应性和空气动力韧性。

本文的其余部分结构如下：第2节介绍了FWD翼和AFCU的设计与建模。第3节介绍了稳定性研究，第4节描述了基于DDPG的DRL控制器的设计。第5节涵盖了仿真结果，第6节对研究进行了总结。

2. AFCU的设计和键图建模
本研究以Festo开发的Smart Bird[31]作为扑翼垂直起落飞机的原型。所开发的AFCU配置包括16个MCFs，其中8个位于翼面上方，8个位于翼面下方。每个MCF中都包含了襟翼、压电换能器（PZT）、音圈执行器、机械连杆、弹簧和生物启发控制器。图2展示了MCF的配置，图3显示了MCF的操作和能量流动的框图。图2. 机械隐秘羽毛（MCF）。图3. MCF的框图。
由于音圈执行器具有快速响应时间和精确的位移控制能力，因此被广泛用于需要高带宽、平滑线性运动和非常简单的机械结构的应用中。所提出的AFCU架构通过将执行器动态纳入键图公式中，表示了羽毛驱动系统的机电行为。协调羽毛驱动的控制特性和系统的后续阵风抑制性能是本工作的主要关注点。未来AFCU原型的开发将解决具体的执行器尺寸问题，包括质量、功率要求和硬件实现约束。
键图是一种灵活的、基于能量的建模框架，可以统一描述物理系统的功率相互作用和动态行为。因此，它们特别适用于扑翼无人机，因为这些无人机需要准确捕捉执行器、机械连杆和不稳定空气动力应力之间的相互作用。键图还可以轻松转换为状态空间模型，从而直接用于优化、仿真和控制设计工具。此外，由于其模块化设计，研究人员可以在不改变整个系统架构的情况下改进单个子系统。当向现有的FWD设计中添加生物启发元素（如MCFs或柔性机制）时，这种能力特别有用[32]。
键图为AFCU类型的生物启发系统提供了可靠的建模框架，因为它们已在之前的垂直起落飞机和扑翼无人机研究中得到广泛应用和实验验证[33]。如图4所示，建模过程首先构建单个MCF的键图，然后是翼模型，最后将所有子组件集成到安装了所有16个MCF的完整翼的键图表示中。键图中使用的参数来自作者之前的研究[29,30]。通过键图模型获得的单个MCF的方程如下：
(1) (2) (3) (4) (5) (6) (7) (8)
其中q1、q2、q3和q4表示柔性元素的广义位移，p1、p2和p3表示惯性元素的广义动量。由于键图中的134个储能元素，整个系统模型包含134个微分方程。图4. 基于键图的AFCU安装翼模型。使用标准非稳态空气动力学近似来表示键图模型中的空气动力效应源，以改进气流-羽毛相互作用的空气动力学描述[22,32]。每个MCF在阵风下产生的准稳态升力由以下公式确定：
(9) (10) (11)
其中ρ是空气密度，A是羽毛面积，Vg是阵风速度，α是攻角[26,32]。升力系数现在被线性化为：
(12) (13)由于阵风导致的阻力也被建模为（12）。此外，还使用了阵风-结构耦合来表示等效的空气动力扰动力（13）。我们现在使用平衡截断法（Balanced Truncation）通过汉克尔奇异值（Hankel Singular Values）[34]获得结合了活动控制单元（AFCU）的前掠翼（FWD wing）的降阶模型（ROM）。进行这种降阶处理仅仅是为了获得一个在物理上准确的、同时计算上可行的AFCU动态表示。保留的状态对应于主要的能量储存模式，确保降阶系统能够以最小的误差再现完整134状态模型的频率响应和阵风交互行为。总体而言，降阶模型成功保留了系统的主导动态特性。最终的七阶降阶状态向量x = [T]，其中包含了各个羽毛襟翼的广义位移。因此，最终的降阶状态空间可以表示为（14），其中Bd表示阵风的影响，代表风阵风。因此，配备AFCU的前掠翼的降阶状态空间模型如下。

与大多数以控制为导向的空气动力学模型一样，为了保持计算的可行性，采用了几个简化假设。当前公式中没有明确表示高保真效应，如宽带随机阵风、执行器饱和、传感器噪声和细尺度的羽毛耦合。这些因素不会显著影响在bond图模型中捕捉到的主导FSI模式或本研究中评估的闭环行为，但它们可能会影响硬件级别的实现。未来的工作将整合执行器带宽限制和随机阵风模型以进行更高保真度的验证。我们还在这里提到，当前模型使用准稳态公式来表示空气动力。这种方法在以控制为导向的扑翼系统建模中经常被使用，因为它能够捕捉到主导的空气动力趋势，同时保持系统的计算可行性，尽管忽略了一些与扑动飞行相关的非稳态空气动力机制，如前缘涡流演变、尾流相互作用和附加质量效应。本研究的主要目标不是复现扑动空气动力学的全部复杂性，而是评估基于强化学习的控制对于所提出的主动流控架构的可行性，并研究其对抑制阵风的益处。因此，降阶模型保留了对阵风抑制至关重要的主要空气动力-结构相互作用，同时提供了一个计算效率高的训练环境。

3. 开环稳定性
AFCU翼系统的开环极点位于?5.8, ?20, ?0.91, 6.4, ?2.6 和 ?2.6 ± 5.3 j。我们注意到6.4处的极点位于右半平面，这表明配备AFCU的前掠翼系统本质上是不稳定的。另外，还发现当施加阵风扰动时，降阶AFCU模型的开环状态响应会发散。这种行为是由于空气弹性系统的线性化描述造成的，在这种描述中没有主动反馈机制来控制羽毛的运动和作为外部激励的空气动力载荷函数。在没有控制的情况下，空气动力激励可能会导致耦合的航空机械系统中的不稳定结构模式产生无界反应。因此，这种行为反映了未训练系统的内在不稳定性，并激发了设计基于学习的控制器的需求。

4. 基于DDPG的DRL控制器
我们现在为安装了AFCU的翼系统合成了基于DDPG的DRL控制器。DDPG智能体的目标是通过调节作用在羽毛机械连杆上的输入力来学习一种能够抑制阵风引起的扰动的控制策略。这种学习到的策略替代了传统的增益调度或基于模型的控制器，并且能够在不需要在线模型更新或显式扰动估计的情况下自主适应变化的空气动力条件。

4.1 深度确定性策略梯度（DDPG）
本研究中使用的DRL框架基于适用于连续控制的演员-评论家（actor-critic）方法。图5展示了本工作中使用的DDPG框架。该元组将学习过程定义为马尔可夫决策过程（MDP）[35,36]：
M = (S, A, T, r, γ) （15）
其中S和A代表状态空间和动作空间，T(st+1|st, at)是转移概率，r(st, at)是奖励，γ ∈ (0,1)是折扣因子。确定性策略μ(st|θμ)的目标是最大化预期累积回报[35,36]：
图5. 用于AFCU控制的DDPG框架。智能体通过最小化预测的Q值与目标Q值之间的时间差（TD）误差[35,36]来进行训练：
（17）
这里，(μ′, Q′)代表缓慢更新的目标网络。目标参数通过软替换[35,36]进行更新：
（19）
演员网络根据确定性策略梯度方法[35,36]进行更新：
（20）
通过交替更新演员和评论家，策略收敛到最大化长期奖励的最优控制映射。DDPG算法结合了基于价值的Q学习的稳定性和基于梯度的策略优化[35,36]的适应性。
DDPG框架采用演员-评论家结构，同时进行策略评估和改进。演员网络μ(st∣θμ)根据当前羽毛的状态生成连续控制信号，而评论家网络Q(st,at∣θQ)估计与每个动作相关的预期回报。两个网络共享一个共同的状态输入，但具有不同的参数集。每个网络由两个全连接的ReLU激活的隐藏层（64 × 64神经元）组成，并使用软目标网络（μ′,Q′）来增强训练稳定性。这种双网络配置能够实现平稳的策略更新和适合前掠翼阵风抑制的连续控制生成。

4.2 控制目标
主要控制目标是在不同阵风强度下保持有界的控制力和结构安全性，同时实现AFCU的稳定调节。在最大阵风强度达到20米/秒的情况下，DDPG智能体被训练以减少整体状态偏差、抑制超调，并将所有系统状态推向它们的稳态平衡。每个训练周期从一个受扰动的初始条件开始，并使系统暴露于激活AFCU七个动态模式的阶梯式阵风扰动中。控制器的任务是迅速抵消这些阵风效应，并在不使执行器饱和的情况下将系统恢复到稳定状态。有效的扰动抑制和能量高效控制通过所有状态在大约1.7秒内平稳收敛到稳态来衡量，控制力保持在0.8牛顿以下。

4.3 DDPG控制器的训练设置
DDPG环境是根据OpenAI Gym（版本0.26.2）的设计用Python定制构建的，以实现学习智能体与降阶AFCU动态之间的直接交互。该环境支持在线策略（on-policy）和离线策略（off-policy）算法，并与基于PyTorch（版本2.5.1）的DDPG框架接口，用于连续动作学习。这种模块化设置确保了在不同阵风条件下的训练、测试和政策评估的可重复性。
AFCU的降阶模型为强化学习环境提供了计算效率高的动态近似。虽然完整的134状态bond图模型能够准确表示物理系统，但在如此高维的状态空间上训练DDPG智能体会在计算上非常耗时，导致样本效率低下和梯度更新不稳定。DDPG策略不依赖于ROM来进行分析控制器合成；相反，它与之交互以学习闭环行为。七阶ROM保留了所有主导的MCF-翼耦合动态，同时实现了长时间训练范围内的快速、稳定的模拟。

4.4 奖励公式
强化信号旨在平衡状态收敛、控制效率和AFCU动态内的输出振荡。智能体在每个时间步骤后从状态偏差、控制力和输出约束的加权组合中获得一个标量奖励。具体来说，对整体状态能量（‖x‖2）和控制输入（u2）施加二次惩罚，并对输出幅度（∣y∣）施加比例项，以抑制过度振荡。完整的奖励公式表示为（21）。
二次状态能量项‖x‖2隐式地将所有七个状态变量引导到它们的平衡值，从而强制整体系统稳定。此外，控制输入通过环境的连续动作空间被限制在[-0.8, 0.8]牛顿的范围内，从而在训练和评估期间强制执行执行器饱和限制。

4.5 训练超参数
演员-评论家架构在PyTorch中实现，每个网络都有两个全连接的隐藏层，每层有64个神经元。使用Adam优化器对智能体进行训练，以确保稳定的收敛。关键训练参数经过经验调整，以达到学习稳定性和响应性之间的平衡。用于训练基于DDPG的DRL控制器的所有超参数集合在表1中给出。

4.6 计算设置
DDPG智能体接受500个训练周期的训练，每个周期包含300-600个模拟步骤。训练在Python 3.10中使用PyTorch框架在Intel? Core? i7处理器（2.9 GHz）和16 GB RAM上进行。每个周期的平均训练时间大约为3-4秒，奖励曲线的收敛通常在400-450个周期后实现。训练后的演员网络随后用于在不同阵风强度下的闭环评估和状态轨迹可视化。
此外，为了评估在时变扰动下的性能，采用了基于课程的训练方法。智能体首先用阶梯式阵风输入进行训练，然后暴露于正弦波形阵风轮廓。这种从简单扰动到复杂扰动的逐步过渡有助于控制器更有效地处理不同的阵风模式，而不需要改变奖励函数或训练参数。尽管基于DDPG的控制器在模拟中提供了稳定的阵风抑制行为，但仍存在一些限制。训练依赖于一个降阶的七阶线性模型，该模型省略了非线性的羽毛-气流相互作用，可能无法完全表示真实的扑翼空气动力学。DDPG本身对超参数敏感，可能会收敛到次优策略，特别是在奖励噪声较大或稀疏的情况下。此外，训练环境中还包括了执行器饱和动态、传感器噪声和通信延迟等因素。这些因素可能会影响实际性能，因此需要使用更高保真度的模型和硬件在环测试进行进一步开发。

5. 仿真结果和洞察
在完成了基于自定义OpenAI Gym的训练阶段后，提取了学习到的演员策略并用于本节的性能验证。评估包括将最初为15米/秒阵风优化的训练有素的智能体应用于未见过的12.5、17.5和20米/秒的阵风强度。每次测试运行模拟一个阶梯式阵风扰动，并观察状态的响应。控制器的目标是在不到1.7秒的时间内确保所有状态在阵风扰动下平稳收敛到稳态，同时最小化控制力并保持整体系统稳定性。
从这些评估中获得的状态轨迹分别在图6、图7、图8和图9中展示。下面分析了在这些四种不同阵风强度下AFCU系统的整体动态行为，以说明控制器在不同空气动力条件下的适应性和一致性。在最低的12.5米/秒阵风强度下，基于DDPG的控制器表现出高度阻尼的行为，瞬态分量快速衰减，如图6所示。MCFs之间的空气动力耦合减少，使系统能够平稳地稳定下来，振荡最小。图6. 12.5米/秒阵风下DDPG控制的状态响应。图7. 15米/秒阵风下DDPG控制的状态响应。图8. 17.5米/秒阵风下DDPG控制的状态响应。图9. 20米/秒阵风下DDPG控制的状态响应。当暴露在15米/秒的阵风下时，控制器显示出最优和一致的输出（图7）。所有状态变量的瞬态峰值几乎相同，稳定时间保持在大约1.4秒以内。图8显示，在17.5米/秒的较大阵风下，DDPG智能体继续创建稳定的轨迹，但稳定时间略有延长。在中等强度下，振荡很小，但这些振荡很快被抑制，因为学习到的反馈动作弥补了增加的空气动力负荷。如图9所示，即使在极端阵风强度20米/秒下，系统仍然显示出稳定的响应和完全恢复到稳态。起初瞬态偏差更明显，但控制器迅速恢复到平衡状态，没有发散或超调放大。
通过对所有阵风情况的比较分析，DDPG智能体在所有扰动水平上都保持了类似的稳定模式。状态响应的定性特征不会随着阵风强度的变化而改变，尽管瞬态幅度和稳定时间会变化。与将学习限制在特定案例的动力学中不同，这种一致性证明了训练有素的策略已经成功地发现了空气动力扰动与纠正控制动作之间的映射关系。通过这种方式，控制器实现了鲁棒性和泛化能力，这对于在实际飞行情况下可靠地减轻阵风影响至关重要。图10展示了DDPG代理在四种阵风情景下的相应控制输入响应，结果表明控制输入行为保持平稳、稳定且能源效率高。即使在极端的20米/秒阵风下，控制力在短暂过渡后也能迅速收敛，并保持在±0.8牛顿的执行器限制范围内。总体而言，图10中的比较证实了奖励机制有效地调节了能源的使用效率。因此，二次控制成本项和严格的动作空间约束共同确保了控制力的平稳且有限的变化，从而验证了学习到的策略在阵风强度变化时既保持了效率又保证了执行器的安全性。

表2总结了结果，表明DDPG控制器在大约1.6秒内成功稳定了所有状态，并且稳态误差可以忽略不计。升时间的小幅变化反映了相邻羽毛之间的动态耦合。

这里讨论了在15米/秒阵风下训练有素的基于DDPG的AFCU控制器的误差特性。图11中的归一化羽毛位移误差直方图显示，超过85%的样本误差都在20%的范围内，表明能够精确跟踪所需的羽毛偏转。右偏的分布反映了仅在阵风开始时出现的瞬态偏差，并且随后迅速减小。图12中的平均状态误差的时间演变显示出一个平滑的指数衰减过程，位移误差在大约1.6秒内从100%降至5%以下。这些结果证实了所提出的基于DDPG的AFCU控制器在持续阵风条件下实现了稳定的收敛和局部羽毛协调，将羽毛级别的误差保持在可接受的空气动力容忍度（≤20%）之内。

图13展示了DDPG代理在不同阵风强度下的阶跃响应和控制力。我们注意到，控制器表现出快速的上升和几乎相同的稳定行为，稳定时间小于1.6秒。在更高阵风下的可忽略不计的升时间反映了代理通过训练学到的预见性控制能力，允许近乎瞬时地补偿阵风影响。相比之下，未经训练的AFCU翼系统本质上是不稳定的，因为其开环阶跃响应是发散的。训练有素的策略成功地稳定了这个之前不稳定的系统，保持了AFCU动力学的可控性。DDPG控制阶跃图的详细信息总结在表3中。

为了进一步评估在时变干扰下的鲁棒性，训练有素的控制器在幅度为10米/秒和15米/秒的正弦波阵风输入下进行了评估。图14的结果表明，控制器保持了稳定且有界的响应，力谱也是一致的。这证明了学习到的策略能够在非阶跃型干扰之外泛化，并且在更现实的、连续变化的阵风条件下仍然有效。

模型还进一步模拟了两种不同阵风强度（15米/秒和10米/秒）对两个代表性羽毛（MCF 1和MCF 3）的影响。图15展示了由声音线圈执行器 responding to 应用阵风扰动产生的这些MCF翼片的空气动力。图16展示了这些翼片的相应速度剖面。观察到力和速度响应在不同阵风强度下都保持有界且一致。具体来说，力值被限制在大约0.53牛顿左右，而羽毛速度保持在执行器可行的范围内（低于30米/秒）。这些值处于中小型扑翼系统在的中等到高强度阵风条件下的典型范围内。这进一步支持了所提出的降阶模型在控制导向分析中的物理有效性。

图17展示了在15米/秒阵风下FWD翼的垂直位移，比较了没有AFCU的基线配置和使用基于DDPG的深度强化学习策略控制的AFCU装备翼的情况。模拟显示，AFCU中MCF的激活成功地减少了50%的阵风影响。开发的基于DDPG的代理还提高了稳定速度、控制效率和鲁棒性。这验证了当前配备基于DDPG的DRL控制器的AFCU在处理阵风时的有效性。

表4中的对比研究进一步支持了所提出的基于DDPG的控制器的有效性。该方法在阵风强度达到20米/秒时仍能保持稳定的性能，这是本研究观察到的最大干扰水平，而早期研究显示的阵风容忍度仅限于7米/秒。

应当注意的是，本研究中进行的验证主要集中在创建的仿真环境中的基于模型的分析上。这种基于物理学的空气动力学表示方法用于评估DRL控制器。降阶模型是从AFCU系统的完整阶债券图公式发展而来的。尽管早期生物启发式航空系统的控制开发经常使用这种基于模型的验证，但实验或高保真CFD验证将提供更多关于实际性能的见解。此外，与之前发表的扑翼研究进行比较的目的不是为了直接进行实验验证，而是为了提供关于阵风抑制系统预期动态行为的定性背景。引用的研究仅用于证明与早期生物启发式飞行系统实验研究中的趋势一致，而当前工作是在基于模型的简化仿真环境中评估所建议的AFCU控制框架。为了与实验平台进行彻底的定量比较，还需要进行硬件实现和专门的风洞测试，这仍然是未来研究的一个重要领域。

6. 结论

本研究提出了一种受游隼启发的主动流控单元（AFCU），配备了机械可缩放羽毛（MCFs）和基于深度确定性策略梯度（DDPG）的深度强化学习（DRL）控制器，用于扑翼无人机（FWDs）中的主动阵风抑制。降阶债券图模型有效地捕捉了主翼和羽毛表面之间的非线性耦合，为闭环DDPG训练奠定了基础。训练有素的DDPG代理成功稳定了内部不稳定的开环AFCU，实现了接近零的稳态误差、有界的状态轨迹以及在12.5到20米/秒范围内的平滑控制力。结果控制器表现出快速的收敛，稳定时间少于1.6秒，确保了在中等和严重阵风条件下的稳定空气动力学稳定性和鲁棒性。此外，基于课程的训练结果表明，在不同的正弦波阵风输入下，控制器表现出稳定且有界的响应，表明学习到的控制器具有更好的鲁棒性。此外，空气动力力和翼片速度响应保持在物理上现实且执行器可行的范围内，进一步支持了所提出方法的实际相关性。仿真结果还显示，与传统方法相比，阵风减少了多达50%。这些结果表明，所提出的生物启发式AFCU设计结合基于DDPG的DRL控制器框架可以自主学习最优控制策略，无需预定义的控制律，实现自适应的阵风抑制、能源高效的驱动以及比使用传统最优或鲁棒控制器的传统阵风缓解方法更高的空气动力韧性。

在未来的研究中，将扩展所提出的控制框架，包括使用CFD仿真进行空气动力学验证，以更好地理解MCFs与随机阵风流的相互作用。此外，还将进行硬件在环实验，以在实际扑翼原型上测试训练有素的控制器，并研究执行器响应、通信延迟和功率限制。最后，我们计划探索迁移学习，以便将训练模型应用于其他类型的FWDs，并解决在实际飞行测试中可能出现的模型不确定性和参数变化问题。这些步骤将使所提出的AFCU更接近于在真实世界航空环境中的实际应用。