面向无人机集群空战的脑-躯干认知协同分层决策框架

《Frontiers in Neurorobotics》:A cognitive synergetic hierarchical framework for UAV swarm combat via speculative inference and role-decoupled reinforcement learning

【字体: 大 中 小 】 时间:2026年05月19日 来源:Frontiers in Neurorobotics 2.8

编辑推荐:

  研究人员提出了一种面向无人机(UAV)集群空战的“脑-躯干(Brain-Torso)”认知协同分层决策框架,以解决当前多智能体强化学习(MARL)在高动态物理环境中存在的“认知鸿沟”问题——即MARL擅长快速动作生成但缺乏高层战术直觉,而大语言模型(LLM)虽

  
研究人员提出了一种面向无人机(UAV)集群空战的“脑-躯干(Brain-Torso)”认知协同分层决策框架,以解决当前多智能体强化学习(MARL)在高动态物理环境中存在的“认知鸿沟”问题——即MARL擅长快速动作生成但缺乏高层战术直觉,而大语言模型(LLM)虽具备推理能力却常产生违背空气动力学约束的“幻觉”指令。该框架通过推测解码(Speculative Decoding)维持战略层(Brain)的高频响应,并利用意图嵌入(Intent Embeddings)将高层语义锚定在低层执行层(Torso)的物理现实中。研究基于部分可观测马尔可夫博弈(POMG)构建异构集群动力学模型,结合能量机动性(E-M)理论与关系型图(RPG)表征战场拓扑,设计了双频控制回路(战略层5Hz,执行层50Hz)。实验表明,该架构在交换比(ER)、胜率(WR)及特定能量(Es)保持等关键指标上均显著优于现有基线算法,并能在通信延迟与干扰下维持战术一致性。
研究背景与意义
当前无人机集群自主空战面临的核心挑战在于战略推理与物理执行的时空失配。传统端到端强化学习易陷入局部最优与短视行为,缺乏对复杂战术博弈的深度理解;而单纯依赖大语言模型进行决策则因忽视飞行器6自由度(6-DOF)动力学约束而产生非物理指令。此外,现有方法难以在资源受限的边缘设备上实现低延迟的实时推理。为此,研究人员设计了一种分层认知架构,旨在桥接高层战术逻辑与底层飞控极限,发表于《Frontiers in Neurorobotics》。该研究通过解耦“冷认知”(战略规划)与“热认知”(反应控制),实现了70B级大模型推理能力与毫秒级飞控响应的协同,为复杂对抗环境下的集群自主决策提供了可解释、高鲁棒性的解决方案。
关键技术方法
研究采用解耦的双阶段训练流程:战略层(Brain)基于DeepSeek-R1(70B)与蒸馏版DeepSeek-R1-Distill-Qwen-7B构建,通过推测解码与逻辑压缩机制实现云-边协同推理;战术层(Torso)采用改进的多智能体近端策略优化(MAPPO)算法,集成图注意力网络(GAT)处理动态关系型图(RPG)特征,并设计混合策略头(Beta分布用于连续控制面,伯努利分布用于离散发射指令)以适配异构动作空间。仿真环境基于JSBSim飞行动力学引擎构建,严格遵循F-16非线性气动数据与AFTTP 3-3战术规则,涵盖1v1近距格斗至6v6大规模对抗场景,并引入高斯通信延迟与电子干扰以模拟真实战场摩擦。
研究结果
3 问题建模
研究人员将空战形式化为部分可观测马尔可夫博弈(POMG),定义无人机状态为12维向量(含位置、速度、姿态与角速度),并构建关系型图(RPG)编码节点属性(角色、油量、弹药、雷达状态)与边特征(距离、方位角、天线指向角、高度差及其变化率)。通过量化算子将连续物理量映射为离散战术标签(如能量梯度、攻击包线、指向精度),为多目标奖励函数提供物理依据。
4 方法论
4.1 认知协同分层架构
提出“脑-躯干”四层结构:环境输入层、战略推理层(Brain)、指令解析层与战术执行层(Torso)。战略层采用“总师-助手”部署模式,70B模型负责基地远程复盘与规划,7B模型在NVIDIA Orin边缘端实时推理;执行层基于带角色解耦的MAPPO,通过集中训练分散执行(CTDE)框架解决非平稳性问题。
4.2 态势语义映射
设计动态特征编码与战术量化算子,将原始物理向量转化为符号化战术描述,并通过槽填充算法生成因果叙事提示词,引导大语言模型聚焦于能量机动性(E-M)理论约束下的逻辑推理。
4.3 结构化提示模板与指令生成
构建包含系统角色锚定、环境状态序列化、动态警告注入的四模块提示架构,强制模型输出包含推理轨迹与结构化命令块([ACTION]、[STYLE])的双重结果,确保解析层可确定性提取意图。
4.4 指令解析与映射
采用正则表达式与安全过滤器将文本指令转化为机器可读的策略簇索引与任务嵌入向量,通过零阶保持(ZOH)缓冲器解决战略层(5Hz)与执行层(50Hz)的频率失配,防止控制震颤。
4.5 战略推理层实时引擎
提出两阶段逻辑压缩算法(句子级语义掩码与令牌级模板映射)将思维链(CoT)压缩为紧凑的<操作,方向,紧迫度>三元组,并结合推测解码实现云-边异构推理加速,在保证70B级逻辑深度的同时将延迟降低至520ms。
4.6 战术执行层集群强化学习与协调
设计角色解耦的异质策略网络与序贯意图传播(SIP)机制,通过图注意力网络(GAT)聚合邻域信息,并引入KL散度正则化项强制侦察、攻击等角色分化,避免行为同质化。
4.7 理论分析
证明了系统在推理延迟与通信复杂度下的实时稳定性充分条件,并从单调改进角度验证了异构PPO优化的收敛性下界,确保角色差异化约束不会阻碍策略向最优解收敛。
5 实验验证
在JSBSim平台上的对比实验表明,该框架在2v2与6v6场景中分别取得0.88与0.79的胜率(WR),交换比(ER)达4.12与3.45,显著优于HAPPO、MAT及专用空战RL算法。消融实验证实移除战略大脑会导致胜率下降43%,移除推测解码则因高延迟引发控制失稳。鲁棒性测试显示,在200±50ms抖动延迟、链路通断(Flapping)及高误码率噪声下,系统仍能维持0.65以上的胜率。
6 结论与讨论
研究人员通过脑-躯干分层架构成功弥合了战术推理与物理执行的跨模态时隙鸿沟。推测解码作为按需计算平衡器,使系统在大多数常规飞行中依赖7B模型的快速响应,仅在关键战术转折点调用70B模型的深度逻辑。序贯意图传播(SIP)与KL散度正则化促使集群自发形成互补角色分工,提升了协同效率。研究同时指出,在真实物理部署中需考虑多跳传输累积延迟,建议通过局部拓扑分组限制序贯链规模。该框架为无人机集群在拒止环境下的自主作战提供了兼具认知深度与执行可靠性的新范式。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号