《Biomimetics》：NSM-CBAM Planner: A Brain-Inspired Autonomous Collision Avoidance Decision-Making Method for UAVs
编辑推荐：
自主避障是实现无人机（UAV）在复杂未知环境中成功执行测量任务的关键技术之一。现有避障方法通常忽略历史信息在空间和时间维度上的差异，难以有效记忆关键历史状态。为解决这些问题，受高阶生物启发的脉冲神经元与注意力机制启发，研究人员提出了一种神经形态脉冲记忆规划器（
自主避障是实现无人机（UAV）在复杂未知环境中成功执行测量任务的关键技术之一。现有避障方法通常忽略历史信息在空间和时间维度上的差异，难以有效记忆关键历史状态。为解决这些问题，受高阶生物启发的脉冲神经元与注意力机制启发，研究人员提出了一种神经形态脉冲记忆规划器（NSM-CBAM）。该框架基于演员-评论家结构，由脉冲记忆卷积块注意力模块（CBAM）演员网络（SMCAN）和传统全连接深度评论家网络（DCN）组成。通过在SMCAN中引入脉冲记忆CBAM，历史信息在空间和时间通道中被自适应地调用，从而实现对历史记忆的高效利用以及对冗余历史信息的消除。此外，采用软重置泄漏积分点火（SR-LIF）神经元来模拟膜电位的动态变化，并利用脉冲编码器和解码器实现连续状态与脉冲序列之间的转换。在Gazebo/ROS仿真环境中的实验结果表明，与其他已知方法相比，NSM-CBAM在两个未见过的评估环境中均取得了最高的避障性能，碰撞避免成功率分别达到94%和92.5%。这证明了所提框架在模拟室外环境中进行自主避障的有效性和鲁棒性，同时也为未来更复杂环境下无人机自主避障提供了一种具有潜在计算效率的、有前景的生物启发范式。
一、研究背景与现存问题
无人机（UAV）航测是一种新型测绘手段，能够灵活进入人员难以到达的区域，广泛应用于环境监测、城市规划、林业等领域。然而，在复杂未知的室外环境中，无人机面临高度不确定性，对自主避障决策能力提出了严苛要求。传统避障方法如A*算法、动态窗口法（DWA）、人工势场法（APF）及其改进算法，通常依赖先验环境模型或人工设计规则，在结构化场景中表现尚可，但在部分可观测环境中泛化能力有限，易陷入局部极小值，且无法通过经验学习提升性能，缺乏适应性与鲁棒性。
深度强化学习（DRL）方法如TD3、DDPG、PPO等已被应用于无人机避障，但大多仅依赖当前观测或马尔可夫状态，未能显式保留和利用历史信息，导致在部分可观测复杂环境中状态估计不稳定，避障决策次优。为此，研究者提出了记忆增强型DRL方法，例如将循环神经网络（RNN）或注意力机制融入DRL，如MATD3+LSTM、PPO+LSTM、AG-DQN等。但这些方法通常将记忆作为固定循环层嵌入，在空间和时间维度上对历史信息进行统一处理，无法自适应选择关键历史状态，且循环记忆模块增加了计算和参数开销，不利于资源受限的无人机平台。
脉冲神经网络（SNN）模仿生物脉冲信号处理方式，具备事件驱动、低功耗的时空计算特性，已开始与DRL结合用于自主导航与避障。然而，现有SNN+DRL方法仍缺乏自适应记忆选择机制，例如张等人的水下机器人避障研究中，其演员网络为全连接结构，缺乏显式记忆或注意力模块，历史信息在各时间步被统一处理。尽管有些研究将SNN与长短期记忆网络（LSTM）结合，但仍未在空间和时间维度上显式聚焦于任务关键的历史状态。注意力机制能够在空间和时间维度上动态分配权重，选择性强调关键历史状态，因此将基于注意力的记忆机制融入SNN+DRL是提升历史信息利用率的可行方向。
二、研究内容与结论
针对上述问题，研究人员提出了一种名为神经形态脉冲记忆规划器（NSM-CBAM）的无人机自主避障方法。该模型基于演员-评论家结构，包含脉冲记忆CBAM演员网络（SMCAN）和传统全连接深度评论家网络（DCN）。在SMCAN中嵌入了脉冲记忆CBAM模块，该模块结合了脉冲卷积LSTM（ConvLSTM）的时序建模能力与脉冲CBAM注意力机制，能够从时间和空间通道自适应地调用历史信息，实现对关键历史状态的高效利用与冗余信息的消除。核心神经元采用软重置泄漏积分点火（SR-LIF）单元，相较于硬重置机制，保留了超出阈值的膜电位部分，提供了更平滑的膜电位动态和更好的时间连续性。通过脉冲编码器将归一化后的连续状态编码为泊松分布的脉冲序列输入SMCAN，再通过脉冲解码器将输出的脉冲序列转换为可执行的无人机动作指令，映射为速度控制命令。
训练采用课程学习方法，从简单到复杂逐步推进，在四个不同难度的训练环境中进行，并设置两个未见过的评估环境测试泛化能力。训练过程中，每次交互产生的状态转移元组存入经验回放缓冲区，随机采样后通过时序差分（TD）损失和Q损失联合更新SMCAN与DCN的参数，并采用软更新机制稳定目标网络的参数更新。由于SNN不可微的特性，采用时空反向传播（STBP）算法和矩形窗函数作为伪梯度进行策略梯度反向传播。
三、研究结果
训练过程性能分析：在时间步长T=5的条件下，研究人员对比了四种方法（DDPG、SDDPG、Spiking-LSTM、NSM-CBAM）在四个训练环境中的平均奖励曲线。随着环境难度增加，所有方法的收敛所需训练步数均上升，但除NSM-CBAM外，其他三种方法在训练后期均出现明显波动，其中DDPG波动最为剧烈，表明其未能学习到稳定的避障策略。当T增大至10和15时，较长的传播时间改善了Spiking-LSTM和SDDPG的稳定性，但其波动仍大于NSM-CBAM。训练时间对比显示，DDPG耗时最短，SDDPG快于NSM-CBAM和Spiking-LSTM，但SDDPG在未知评估环境中成功率较低。综合考虑性能与计算成本，最终选择T=5作为平衡点。
消融实验：为验证脉冲记忆CBAM模块的有效性，研究人员设置了基线（SDDPG无记忆结构）、Spiking-LSTM（加入脉冲LSTM）、Spiking Channel LSTM（仅加通道注意力）、Spiking Spatial LSTM（仅加空间注意力）四组对照。结果显示，完整NSM-CBAM在两个评估环境中分别比基线提升了5%和5.5%的成功率，优于其他三种配置，说明单独添加记忆结构或注意力机制不足以充分捕捉复杂环境中的关键历史信息。同时，软重置神经元机制比硬重置机制获得了更高的成功率。
评估过程性能分析：在两个评估环境中，NSM-CBAM的避障成功率分别达到94%和92.5%，高于DDPG（81.5%、79.5%）、TD3（85.5%、83%）、PPO（87%、84.5%）、SDDPG（89%、87%）和Spiking-LSTM（91.5%、90%）。在平均路径长度和平均导航时间方面，NSM-CBAM也表现出竞争性，实现了高效轨迹规划。轨迹分布图显示，DDPG在障碍物尖角处碰撞最多，而NSM-CBAM通过整合历史和注意力信息，在碰撞热力图中显著减少了高风险区域的碰撞次数。理论能耗估算表明，NSM-CBAM的计算能耗仅为相同架构人工神经网络（ANN）的约10.2%，体现了脉冲策略网络的计算能效优势。
四、讨论与结论
尽管NSM-CBAM在模拟静态环境中取得了良好效果，但其在动态场景中的性能尚未评估。动态障碍物引入时变状态转换，可能需要不同的状态表示、奖励设计和训练课程。脉冲记忆CBAM和注意力机制旨在捕获时间依赖关系并聚焦关键历史状态，可能对动态情境有益，但这仍有待验证。
研究结论：本文提出了一种带有脉冲注意力机制的NSM-CBAM框架，用于无人机在复杂未知环境中的自主避障。该框架基于演员-评论家结构，由SMCAN和DCN组成。在SMCAN中引入脉冲记忆CBAM，以提取空间和时间通道中的关键历史状态，有效提高了历史记忆的利用效率，同时抑制了冗余信息。采用SR-LIF神经元模拟生物神经元的膜电位动态变化，设计了脉冲编码器和解码器实现连续状态信息与脉冲序列之间的转换。训练实验分析了不同训练环境和不同时间步长T下的收敛性和所需时间。消融实验和对比实验进一步验证了脉冲记忆CBAM的有效性，增强了避障性能。NSM-CBAM在两个未知评估环境中分别达到了94%和92.5%的最高避障成功率，并且使用了更少的导航时间和更短的路径距离。研究表明，所提框架能有效增强无人机对关键历史状态的记忆和利用，提升了智能化水平和执行效率。未来工作将从两个方面展开：一是将研究场景从静态障碍物扩展至动态障碍物，以更好地模拟真实世界条件；二是计划将所提框架部署到Loihi等神经形态硬件芯片上，利用其事件驱动和低能耗特性，构建高效、节能且生物启发的自主避障系统，支持无人机在自然环境中的长期自主运行。
