《Engineering Applications of Artificial Intelligence》：Transformer-based fault-tolerant control for fixed-wing aerial vehicles using offline reinforcement learning
编辑推荐：
本研究提出了一种基于Transformer的固定翼无人机（UAV）容错控制方法，旨在实时适应由结构损伤或执行器故障引起的动态变化。与依赖经典控制理论且在动力学剧烈变化下表现不佳的传统飞行控制系统（FCSs）不同，研究人员的方法利用Transformer的上下文
本研究提出了一种基于Transformer的固定翼无人机（UAV）容错控制方法，旨在实时适应由结构损伤或执行器故障引起的动态变化。与依赖经典控制理论且在动力学剧烈变化下表现不佳的传统飞行控制系统（FCSs）不同，研究人员的方法利用Transformer的上下文学习（in-context learning）和注意力机制（attention mechanisms），直接将外环参考值（高度、航向和空速）映射为控制指令，从而绕过了内环控制器和故障检测层。通过采用教师-学生知识蒸馏（teacher-student knowledge distillation）框架，所提出的方法通过从具有完全可观性的特权专家智能体（privileged expert agent）转移知识，训练一个具有部分观测的学生智能体，从而在多种故障场景下实现鲁棒性能。实验结果表明，研究人员提出的基于Transformer的控制器优于行业标准FCS和先进的强化学习（RL）方法，在标称条件和极端故障情况下保持高跟踪精度和可靠的飞行行为，突显了其增强无人机运行安全性和可靠性的潜力。
**论文解读：基于Transformer的固定翼飞行器容错控制**
**研究背景与问题**
固定翼无人机（Unmanned Aerial Vehicles, UAVs）在复杂任务（如搜索救援、医疗运输）中广泛应用，其运行安全性和可靠性因系统故障而备受关注。传统飞行控制系统（Flight Control Systems, FCSs）多采用级联比例-积分-微分（Proportional-Integral-Derivative, PID）控制器，虽简单可靠，但在结构损伤或执行器故障导致动力学剧烈变化时，难以维持性能，甚至引发控制发散和灾难性故障。现有容错控制方法依赖故障检测与诊断（Fault Detection and Diagnosis, FDD）或在线参数调整，但计算复杂且处理高度非线性动态环境困难。强化学习（Reinforcement Learning, RL）虽能处理高维非线性动力学，但容错控制需建模为部分可观马尔可夫决策过程（Partially Observable Markov Decision Process, POMDP），导致RL算法学习困难。此外，大多数研究集中于多旋翼执行器故障或固定翼内环姿态控制，缺乏对外环参考值（高度、航向、空速）的直接跟踪。因此，研究人员提出一种基于Transformer的容错控制方法，旨在绕开内环控制器和故障检测模块，直接映射外环参考值为控制指令，并利用在线上下文学习适应动态变化。
**研究内容与结论**
研究人员设计了一种教师-学生知识蒸馏（Knowledge Distillation, KD）框架：首先训练一个具有完全可观性的特权智能体（privileged agent），通过在线RL（DreamerV3算法）结合域随机化（Domain Randomization, DR）应对多种动力学变化；随后将教师策略的知识蒸馏到一个基于决策Transformer（Decision Transformer, DT）的学生策略中，学生仅依赖部分观测（部分可观POMDP）即可实现鲁棒控制。DT模型通过自注意力机制（self-attention）和上下文窗口（context window）自动检测并适应故障，无需显式故障识别或在线参数调整。训练中还引入李雅普诺夫启发式正则化（Lyapunov-inspired regularization）以鼓励稳定行为。实验在JSBSim高保真6自由度飞行动力学模型上进行，评估了7种故障场景（如舵面卡死、副翼失效、半翼损伤等），并与行业标准FCS、RL+DR、基本RL及FCS+增益调度（Gain Scheduling, GS）对比。结果表明，DT方法在所有场景中均获得最佳平均回合回报和最低坠毁率，尤其在半翼损伤等极端故障下，其跟踪精度和恢复能力显著优于对比方法。注意力图分析显示，DT在故障后会将注意力权重集中于故障发生后的时间步，从而在上下文环境中调整控制行为。李雅普诺夫函数分析表明，正则化后的DT在故障后表现出更低的能量指标，提示更稳定的行为。论文发表在《Engineering Applications of Artificial Intelligence》。
**关键技术方法**（不超过250字）
研究人员主要采用以下技术方法：
1. **在线RL训练特权教师**：使用DreamerV3算法（一种基于模型的RL方法）训练特权智能体，该智能体可访问完整的物理参数（如稳定性导数、重心坐标、重量），并通过域随机化（DR）在训练中改变这些参数，模拟多种故障和损伤。
2. **知识蒸馏**：将特权教师生成的专家轨迹（包含部分观测和动作）存储为离线数据集，用于训练学生策略。
3. **决策Transformer（DT）**：学生策略采用因果解码器Transformer架构，约0.8M参数，输入序列为回溯到目标（return-to-go）、观测和过去动作，输出预测动作。通过最小化均方误差（MSE）进行监督学习。
4. **李雅普诺夫启发式正则化**：学习一个神经李雅普诺夫函数（Neural Lyapunov function），从教师轨迹中利用Koopman算子理论构造目标，并加入减少损失项，在DT训练中作为软约束，鼓励稳定轨迹。
5. **实验环境**：在JSBSim高保真6自由度飞行模拟器中进行，包含传感器噪声和风扰动。样本来源为模拟生成的轨迹，无真实队列。
**研究结果**
**5.1 测试场景与实现细节**
研究人员设计了7种代表性故障场景：卡死方向舵、副翼效能降低、饱和升降舵、起落架展开、重心偏移、水平尾翼损伤、半翼损伤。每种故障通过改变有效输入或稳定性/控制导数（如式(1)-(6)）实现。训练时使用域随机化（DR）对物理参数进行随机化，测试时则采用特定结构化故障模式（部分参数超出训练范围，如起落架展开的附加阻力系数）。评估使用100个回合，记录回合回报和坠毁率。
**5.2 对比研究**
通过比较DT与五种基线（特权教师、RL+DR、基本RL、行业FCS、FCS+RL增益调度）在各场景下的表现，发现：
- **DT与特权教师对比**：DT在部分可观条件下达到与教师相当甚至更优的回合回报，且跟踪误差（平均绝对误差，MAE）和故障恢复时间几乎一致，证明知识蒸馏有效。
- **DT与基线对比**：DT在所有场景中均获得最佳平均回合回报和最低或零坠毁率。例如，在半翼损伤场景中，DT平均回报?318.68（标准偏差20.46），而FCS为?1167.78（标准偏差338.98），95%置信区间不重叠。DT的注意图显示，故障后注意力权重集中在故障发生后的时间步，表明其通过上下文学习适应动态变化。
- **学生架构对比**：DT在跟踪误差上显著优于LSTM和时序卷积网络（TCN），尤其在故障场景中（如半翼损伤下，高度误差DT为176.9 ft，LSTM为1265.3 ft，TCN为1823.6 ft）。
**5.3 经验稳定性分析**
通过比较有无李雅普诺夫正则化的DT，在标称和故障场景中评估神经李雅普诺夫函数V
θ(s)的演化。结果表明：标称条件下两种模型均表现出V
θ下降；故障后，正则化后的DT在设定点变化后V
θ下降更明显，提示更稳定的行为，但瞬态方差略大，反映性能与稳定性之间的权衡。
**总结讨论部分**
讨论部分指出，传统非线性容错方法（如模糊逻辑、滑模控制）因计算复杂而难以实际部署，而级联PID虽简单但无法适应动力学大幅变化。研究人员的方法将计算负担转移到离线训练，DT模型仅约0.8M参数，内存占用数兆字节，类似规模的模型已在ARM Cortex M等微控制器上通过量化部署（如8位量化），表明其具备嵌入式实时可行性。该控制器不进行显式故障诊断，而是通过隐式上下文适应，未来的工作将包括硬件在环实验和真实飞行测试。此外，所提出的教师-学生DT框架可推广至其他机器人平台（如多旋翼、腿足机器人），只需调整观测空间和物理参数。
**研究结论翻译**
研究人员提出了一种基于Transformer的固定翼无人机容错飞行控制框架，该框架绕过了经典内环控制器，降低了系统故障适应的复杂性。通过将教师-学生知识蒸馏与离线RL训练的DT相结合，研究证明部分可观性可以得到缓解，因为学生从短历史状态中学习鲁棒策略，无需显式故障检测或在线权重调整。实验表明，所提出的控制器在标称和故障场景中均表现出优越性能。与行业标准PID基FCS及其他先进RL智能体相比，Transformer策略在跟踪精度和坠毁率方面均有提升，即使在严重气动扰动（如机翼和尾翼损伤）下也是如此。通过注意力机制，DT将焦点重新分配到故障后的观测，从而在上下文环境中调整控制动作。该设计还避免了实时参数化或增益调度更新，为传统容错方法提供了一种简化的替代方案。通过将李雅普诺夫启发式代理纳入离线训练目标，DT被偏向于沿轨迹经验性降低能量度量指标的动作。虽然这不能提供正式稳定性保证，但实验表明，它有助于在严重损伤场景中实现更稳定的故障后行为和更强的鲁棒性。未来工作将聚焦于硬件在环和真实飞行实验，以验证这些模拟结果。总的来说，这项工作为利用现代深度学习控制器实现容错的自适应无人机运行迈出了一步，为更安全、更多功能的空中机器人系统铺平了道路。
