基于MATD3的固定翼无人机自主轨迹跟踪：多智能体强化学习控制框架的鲁棒性评估与对比研究

《Drones》：Multi-Agent Deep Reinforcement Learning Control of the TAT Nasnas Mk.1 UAV: 6-DOF Modeling and Autonomous Trajectory Tracking

　　本文提出了一种多智能体强化学习（MARL）框架，用于实现TAT Nasnas Mk.1固定翼无人机（UAV）的自主轨迹跟踪，该框架基于在MATLAB/Simulink中实现的非线性六自由度（6-DOF）模型。控制架构采用两个协作智能体分别负责纵向和横向航向飞行控制，在集中训练与分散执行（CTDE）范式下，使用多智能体双延迟深度确定性策略梯度（MATD3）算法进行训练。共享的多目标奖励函数在轨迹跟踪精度、姿态调节、控制能耗和飞行包线安全性之间进行平衡。该框架与比例-积分-微分（PID）、非线性反步法以及单智能体双延迟深度确定性策略梯度（TD3）控制器在五条代表性轨迹上进行了对比评估：带航向变化的直线跟踪、割草机式勘察、螺旋搜索、八字形跟踪和螺旋爬升。鲁棒性在±10%参数不确定性和外部风扰动条件下进行了评估。在结果表中报告的标称场景中，所提出的MARL控制器实现了0.52–1.10米的三维位置跟踪均方根误差（RMSE），相较于单智能体TD3降低了约35–39%，相较于传统控制器降低了57–78%，具体取决于场景和基准。在评估该指标的四个场景中，耦合抑制值为64–70%。在参数不确定性条件下，位置RMSE的报告增幅为12%，而基准控制器为20–45%。在风扰动条件下，增幅为15%，报告恢复时间为1.5秒。这些结果来自一个空气动力学和惯性参数部分估算模型的仿真研究；在得出可操作性结论之前，仍需进行硬件在环和飞行验证。