《Machine Learning with Applications》：Application of the W-shaped process for a Reinforcement Learning use case on drone navigation
编辑推荐：
机器学习（Machine Learning, ML）因其能够解决无法显式编程的任务（包括模式识别、目标检测和自主控制）而引起了安全系统领域的关注。为确保ML在航空电子系统中的安全集成，欧洲联盟航空安全局（European Union Aviation Saf
机器学习（Machine Learning, ML）因其能够解决无法显式编程的任务（包括模式识别、目标检测和自主控制）而引起了安全系统领域的关注。为确保ML在航空电子系统中的安全集成，欧洲联盟航空安全局（European Union Aviation Safety Agency, EASA）提出了W形开发流程。然而，该流程聚焦于监督学习（Supervised Learning, SL），将强化学习（Reinforcement Learning, RL）排除在外，而RL尤其适用于决策问题。本文对W形流程在包含RL组件的系统中的适用性进行了实践分析。为支撑这一分析，研究人员将W形流程应用于一个受实时嵌入式平台安全要求约束的无人机导航与碰撞避免系统。本文证明，与学习相关的流程必须加以调整以支持RL的交互特性，而与实现相关的流程则与ML技术无关，因而与RL兼容。本文还提出了具体的适配方案，包括基于场景的数据管理、对数据质量要求的重新解读，以及在训练前对智能体-环境接口进行明确定义。
**论文解读**
**研究背景与问题提出**
机器学习在模式识别、目标检测和自主控制等难以显式编程的任务中展现出显著优势，其应用已扩展至航空航天、汽车和航空电子等安全关键系统。然而，这些领域的软件开发通常遵循V模型流程（V-model），该模型假定软件行为是代码内部结构的直接产物，因而不适用于以训练数据驱动行为的ML组件。为填补这一空白，EASA与Daedalean公司在CoDANN报告中提出了W形开发流程，作为V模型向ML的扩展，旨在通过学习保证（Learning Assurance）来确保ML组件的泛化性和鲁棒性。EUROCAE和SAE正在制定的ED-324/ARP6983标准也与W形流程保持一致，使其成为当前安全ML开发流程中最成熟的参考框架。然而，W形流程主要针对监督学习设计，其假设行为学习依赖于带有标签（labels）的数据集，而RL通过与环境交互并以奖励信号（reward signal）而非标签来评估动作，更适合决策控制问题。EASA计划到2028年才发布关于RL的指南，因此，分析W形流程对RL的适用性并预判相关挑战具有重要的前瞻意义。
**研究内容与意义**
本文的主要目标是探索将W形开发流程应用于安全关键系统中RL组件开发的可行性并识别其面临的挑战。为此，研究人员将W形流程完整地应用于一个无人机导航与碰撞避免用例：一架防御无人机（defender drone）需遵循预定义轨迹飞行的同时避免与一架攻击无人机（attacker drone）发生碰撞，防御无人机由包含神经网络的RL组件控制。仿真环境采用AirSim，RL组件最终部署在硬件板上，以在与实时安全系统约束更相关的执行平台上完成验证与确认。本文的贡献在于：（1）首次将EASA的W形开发流程应用于基于RL的系统；（2）识别出与ML技术无关因而兼容RL的阶段；（3）识别出当前W形流程与RL之间的不兼容之处；（4）提出具体的适配方案；（5）通过完整的无人机导航避障用例开发与实时嵌入式平台部署验证研究结果。
**关键技术与方法**
仿真环境基于Microsoft AirSim搭建，防御与攻击无人机均以200 ms为控制周期运行。RL算法选用Soft Actor-Critic（SAC），策略网络和价值网络均配置4个隐藏层、每层512个神经元及ReLU激活函数。训练采用Stable Baselines库（基于PyTorch）并适配Gymnasium接口，训练步数设为400 000步。部署硬件为Zynq Ultrascale+ MPSoC ZCU104板卡，搭载XtratuM虚拟机监控器实现时空分区隔离；策略网络通过MATLAB自动代码生成器转换为兼容MISRA-C的C语言代码。WCET上界采用OTAWA静态分析工具估算。
**研究结果**
*训练配置与神经网络架构*：研究人员选择SAC算法，并基于实验对比了Proximal Policy Optimization（PPO），发现PPO偏好最大化正向奖励而对碰撞距离惩罚不敏感，SAC则以最小化惩罚为主，在100轮评估中表现更优。训练配置包括：每幕最大时长60 s，总步数分400 000步和1 000 000步两种，回放缓冲区容量1 000 000条，批次大小128，学习率0.001，折扣因子0.99。共训练了四类防御者：D1.1（对攻击者A1训练，400 000步）、D1.2（对A1训练，1 000 000步）、D2（对A2训练，400 000步）、D3（对A3训练，400 000步）。
*学习验证*：在随机化高度条件下，对每位防御者以11个不同随机种子、每种子100幕进行测试。RL智能体D1.1取得最佳性能：对攻击者A1平均成功率80.55%±4.75%，对A2为74.55%±3.56%，对A3为79.18%±4.77%。D1.2（延长训练至1 000 000步）成功率显著下降（对A1为66.91%，对A2为27.09%，对A3为30.82%），bootstrap检验p值均远低于0.01，表明过度训练导致对A1的过拟合。D2和D3的表现均劣于D1.1，所有成对比较的p值在1.0×10
-7至1.9×10
-6之间，差异具有统计显著性。
*嵌入式实现与验证*：策略网络从Python转换为MISRA-C兼容的C代码后部署于实时系统。与原始Python模型的数值对比显示，RMSE保持在10
-6量级，最大绝对误差约为1.1×10
-4（在±7 m·s
-1的动作空间内），表明转换精度损失可忽略。实时实现测试所得成功率（对A1为79.1%、对A2为81.4%、对A3为79.6%）均落在原模型99%置信区间内。WCET静态分析结果为C
RL=38 ms，系统响应时间最大实测值R
RL≈71.18 ms，低于100 ms截止期限，满足时序要求。
*需求验证与可追溯性*：REQ-1（轨迹跟随）和REQ-2（碰撞避免）通过学习验证阶段的成功率得到验证；REQ-3和REQ-4（时序需求）通过WCET分析和响应时间测量验证；REQ-5（资源使用有界）通过静态内存分配和WCET上界验证；REQ-6（时空隔离）由XtratuM分区机制保障；REQ-7（运行中不得动态变更）通过固化训练权重、禁止在线学习得到满足。
**讨论与结论**
本文揭示了W形流程当前以监督学习为中心、无法直接适用于RL的三类核心不兼容：（1）数据管理与训练相分离的假设不成立——RL的数据是在训练过程中通过环境交互同步生成的；（2）RL的交互特性要求在训练前明确定义智能体-环境接口（状态空间、动作空间和奖励函数）；（3）面向数据集整体的数据质量要求（如依赖性、代表性和完备性）在RL中无法以同样方式在训练前验证。针对上述不兼容，研究人员提出了以场景（scenarios）代替预定义数据集的适配策略，将ODD作为场景生成的核心驱动因素，并在数据管理流程中增加了训练前定义智能体-环境接口的步骤。研究还确认，W形流程中从模型实现到AI/ML组件需求验证的开发保证（Development Assurance）阶段与具体ML技术无关，因而可直接兼容RL。研究结论为：W形开发流程可扩展至RL，但需对学习保证相关流程进行针对性调整。未来工作应进一步形式化所提出的适配方法，将用例扩展至真实飞行测试以弥合仿真与现实的差距（sim-to-real gap），并考虑更具挑战性的攻击者行为（包括基于学习的策略）以评估更复杂交互下流程的鲁棒性。
