《Applied Sciences》：PV-STAM: Velocity-Aware Attention for Mapless Deep Reinforcement Learning Navigation in Dynamic Environments
编辑推荐：
在动态室内环境中，基于单帧二维激光雷达（2D LiDAR）的无地图深度强化学习（Deep Reinforcement Learning, DRL）导航面临困难，因为单帧扫描仅报告障碍物的位置而无法反映其是否正在接近。研究人员引入了位置-速度时空注意力模块（Po
在动态室内环境中，基于单帧二维激光雷达（2D LiDAR）的无地图深度强化学习（Deep Reinforcement Learning, DRL）导航面临困难，因为单帧扫描仅报告障碍物的位置而无法反映其是否正在接近。研究人员引入了位置-速度时空注意力模块（Positional-Velocity Spatio-Temporal Attention Module, PV-STAM），这是一个紧凑的感知模块（包含19,968个可训练参数，不足网络容量的3%），该模块将逐扇区扫描差分通道与双头自注意力机制以及384→48的压缩瓶颈相结合。策略采用软演员-评论家算法（Soft Actor-Critic, SAC），通过具有双向降级机制的七阶段渐进式课程进行训练，场景从静态目标搜索逐步扩展到15个以0.18 m/s速度同时移动的障碍物，并在最后阶段应用硬件校准训练模式（Hardware-Calibrated Training Mode, HCTM）。在三个零样本基准场景中，对七种配置各进行了300个回合的评估（涵盖三个随机种子），并通过在TurtleBot3 Waffle Pi平台上的两个匹配走廊场景中进行的130次有效物理试验验证了关键控制变体。仿真评估与物理评估给出了不同的排序结果，这一分离现象是本文的主要发现。在仿真中，SAC-PV-STAM、SAC-R-PV-STAM和SAC-MLP-FS在三个基准中的两个上相互差距在4.6个百分点以内，无法区分；而在硬件上，它们之间出现了显著差异。SAC-R-PV-STAM在20次静态试验中19次到达目标，在20次含移动障碍物的试验中全部到达目标，40次试验中无阈值违规，相比之下SAC-MLP-FS（分层p = 0.00068）和SAC-PV-STAM（分层p = 1.1 × 10?7）表现较差。一个非循环变体在正前方地面畅通时陷入停滞——在122.3秒停滞期的最后91.3秒内共2746个采样点中，SAC-PV-STAM未发出任何超过0.005 m/s的前向速度指令，而此时激光雷达报告正前方距离为3.50米——并且在实验前预设的一个预测，即引入移动障碍物将消除停滞，得到了证实（超时次数从9/10降至0/20，p = 7 × 10?7）。研究人员进一步报告了扫描差分污染分析，显示硬件上自旋转期间的虚假尖峰高达仿真中的12.0倍；报告了将Huber评论家损失与评论家网络宽度的效应分离的宽度匹配比较；还报告了一个循环长短期记忆网络（LSTM）基线，该基线在所有三个基准上仍显著较差且跨种子不稳定。
**论文解读：PV-STAM——面向动态环境无地图深度强化学习导航的速度感知注意力方法**
**一、研究背景与问题**
室内移动机器人在现实环境中很少面对完全静止的世界。行人走动、家具移动、其他机器人穿行，使得机器人前方的空间布局与片刻之前观测到的布局可能截然不同。传统基于同步定位与建图（Simultaneous Localization and Mapping, SLAM）的规划器在地图保持固定时表现良好，但当障碍物移动速度快于建图管线的刷新速度时，地图信息变得过时，导航质量随之下降。无地图深度强化学习（Deep Reinforcement Learning, DRL）方法摒弃了显式地图：机器人直接从原始激光雷达（LiDAR）扫描和目标信号中学习动作策略，能够泛化到训练中未见的空间布局。
然而，单帧二维激光雷达扫描仅提供距离信息，无法反映运动状态——它报告障碍物在何处，却不报告障碍物是否正在接近。当多个障碍物同时移动时，策略必须仅依靠邻近程度来分配避障资源。现有方法通过帧堆叠为网络提供短期历史以间接推断运动，或者采用门控循环单元（GRU）和长短期记忆网络（LSTM）等循环网络捕捉更长的时间依赖，但代价是引入基于序列的经验回放和预热期（burn-in）机制。2025年的一篇综述明确指出，仿真到真实（sim-to-real）迁移是动态环境DRL导航领域的主要开放问题。本文正是在这一背景下，致力于探索一种显式提供运动信息、同时控制计算成本的新方案。
**二、研究内容与意义**
研究人员提出了位置-速度时空注意力模块（Positional-Velocity Spatio-Temporal Attention Module, PV-STAM）——一个仅含19,968个可训练参数（不足网络总容量的3%）的紧凑感知模块。该模块的核心创新在于将逐扇区扫描差分通道（scan-difference channel）作为显式输入，该通道通过连续两帧24扇区激光雷达扫描的逐元素减法计算，无需扫描配准、无需光流计算、也无需维护循环状态，即可直接向策略提供每个扇区内障碍物距离变化的运动信息。在包含多个障碍物的场景中，不同扇区的避障紧迫性不同，因此引入双头多头自注意力机制，在24个激光雷达扇区上联合加权邻近程度和径向闭合速率（radial closing rate），以较低计算成本实现选择性关注。
为支持在递增障碍物密度和速度下的稳定训练，研究人员设计了七阶段渐进式课程学习（progressive curriculum），搭配基于滚动回合成功率（Episode Success Rate, ESR）的晋级阈值和双向降级机制，使智能体从无障碍物的静态目标搜索逐步过渡到同时应对15个以0.18 m/s移动的圆柱形障碍物。在最后阶段引入硬件校准训练模式（Hardware-Calibrated Training Mode, HCTM），施加固定的65 ms执行延迟和高斯速度噪声（σ = 0.02 m/s），以部分弥合仿真与真实硬件之间的差距。所有策略采用软演员-评论家算法（Soft Actor-Critic, SAC）进行训练。
本研究最核心的发现是仿真评估与物理评估之间的分离现象（dissociation）。在三个零样本仿真基准场景中各300回合的评估中，三个具有时序信息的变体——SAC-PV-STAM、SAC-R-PV-STAM（循环编码器+扫描差分通道）和SAC-MLP-FS（三层帧堆叠）——在三个基准中的两个上相互差距在4.6个百分点以内，统计上不可区分。然而，在基于TurtleBot3 Waffle Pi平台的130次有效物理试验中，这些变体出现了显著分化：SAC-R-PV-STAM取得了标准化成功率97.5%（静态场景19/20，移动障碍物场景20/20，40次试验零阈值违规），SAC-MLP-FS为65.0%，而SAC-PV-STAM仅为32.5%。这一分离现象表明，在完全同步观测条件下等效的架构，在传感器速率仅为控制速率六分之一的稀疏异步观测条件下产生了显著差异，对当前以仿真为主要评估手段的DRL导航研究具有重要方法论启示。
**三、主要关键技术方法**
（1）逐扇区扫描差分通道：通过对连续两帧24扇区激光雷达扫描进行逐元素减法计算Δs
i，直接向策略提供每个扇区的距离变化信息，无需扫描配准或光流计算。（2）PV-STAM注意力架构：每个扇区令牌（sector token）经共享线性投影映射至16维模型空间，叠加可学习位置编码后，通过单次线性投影生成查询、键、值矩阵，在两个注意力头上独立执行缩放点积注意力，输出经拼接、线性变换和384→48压缩瓶颈后生成48维扇区嵌入。（3）七阶段渐进式课程学习：从无障碍物小范围目标搜索逐步扩展至全场地23个目标位置及15个移动障碍物，ESR阈值触发晋级或降级。（4）硬件校准训练模式：在第七阶段施加固定延迟和速度噪声以模拟真实硬件特性。物理试验样本来源于TurtleBot3 Waffle Pi平台，在3.3 m × 7.6 m室内大理石地面走廊中进行，采用两种场景（静态障碍物/含移动障碍物），共130次有效试验，试验有效性经三项事后检查确认。
**四、主要研究结果**
*扫描差分通道的旋转污染分析*：研究人员量化了自旋转对扫描差分通道的污染效应。在仿真中，低旋转区间（|ω| ≤ 0.1 rad/s）每个时间步的虚假尖峰均值为1.99，高旋转区间（|ω| > 1.0 rad/s）为4.51，比值为2.27；在物理平台上，对应均值分别为0.149和1.791，比值为12.0，表明旋转污染在硬件上更为严重。
*仿真基准评估*：在三个零样本基准场景上，SAC-PV-STAM、SAC-R-PV-STAM和SAC-MLP-FS在基准A和基准B上处于同一水平（差距≤4.6个百分点），SAC-MLP-FS在基准C上领先。SAC-MLP、SAC-LSTM和两个SAC-PV-STAM-H配置在所有三个基准上与领先组有显著差距。
*循环基线分析*：SAC-LSTM基线在基于ESR阈值的课程下无法超越第四阶段（该阶段尚无任何障碍物），因此在固定环境步数预算下训练。该基线在三个基准上分别达到65.7%、37.7%和37.7%，在所有基准上均显著低于SAC-R-PV-STAM。该基线跨种子不稳定（最终训练成功率11%至26%），且在基准A上有19.3%的超时率，表现为类似停滞的行为模式。
*Huber评论家损失与宽度匹配分析*：SAC-PV-STAM-H在评论家损失函数（Huber损失，δ = 10）和评论家宽度（384 vs. 256）两个维度上不同于SAC-PV-STAM。宽度匹配比较表明，将评论家宽度降至基线水平后，在基准A上成功率提升15.0个百分点，但在基准B和C上分别下降24.0和27.7个百分点，说明额外评论家容量的效应依赖于环境。
*角速度消融实验*：从导航状态向量中移除角速度ω后，智能体需要1440回合才能退出第一阶段（完整模型仅需175回合），且未能在4000训练回合内进入第五阶段，证实角速度信息对于远场和角落目标导航是不可或缺的。
*物理试验中的停滞失效模式*：非循环变体（SAC-PV-STAM）在静态走廊场景中出现特征性停滞：机器人在距起点约2.75 m处停止，在122.3秒停滞期的最后91.3秒内全部2746个控制采样中前向速度指令精确为零，而此时激光雷达报告正前方3.50 m畅通。研究人员在实验前预设了一个可检验的预测——由于在静止场景中三帧堆叠的时序分量不携带有效信息，引入移动障碍物应能消除停滞。实验确认，在移动障碍物条件下，超时次数从9/10降至0/20（p = 7 × 10
?7），前向运动指令比例增长约五倍，但该策略在同一条件下出现了45%的阈值违规率，为全研究最高。
*时序信息与循环状态的差异化贡献*：两项结果分离了两种组件的角色：观测中的时序信息（无论来自帧堆叠还是显式扫描差分通道）决定策略是否停滞；循环状态决定由此产生的避障运动是否保持在走廊范围内。两者单独均不足以确保可靠导航。
*走廊微调实验*：将收敛后的开放场地策略在走廊几何结构中进行50,000步微调后，成功率从48.0%下降至36.5%，阈值违规率从50.0%上升至63.5%，说明顺序微调需要策略覆盖已收敛的行为后才能习得新行为。
**五、讨论与结论**
本研究的主要方法论启示在于：仿真评估与物理评估的排序不一致提示，用于区分时序架构的仿真基准应显式建模传感器速率和延迟，而非以控制速率采样观测。扫描差分通道以极低的参数代价（19,968参数，不足最小变体总参数的3%）提供了无需配准的运动信息，但其存在三个经验性局限：受自旋转污染（硬件上污染程度约为仿真的五倍）、在场景静止时不携带信息（即非循环变体停滞的条件）、以及在传感器速率仅为控制速率六分之一的平台上所依据的差分值在多数决策时刻已过时。此外，单独使用该通道并不能产生安全的避障行为——在没有循环状态的情况下，策略虽停止停滞却以45%的违规率为代价。
研究结论如下：在三个零样本基准场景上，SAC-PV-STAM、SAC-R-PV-STAM和SAC-MLP-FS在三个基准中的两个上不可区分；在130次物理试验中，三者以分层p值0.00068和1.1 × 10
?7出现显著分离。非循环变体中的停滞失效模式被识别并通过受控操作验证。时序信息和循环状态贡献不同：前者决定是否停滞，后者决定避障是否安全。宽度匹配比较显示Huber评论家损失的效应依赖于环境。SAC-LSTM基线在所有基准上仍显著较差且跨种子不稳定。在本平台和单种子评估条件下，SAC-R-PV-STAM是唯一可靠导航的变体（静态场景19/20成功，移动障碍物场景20/20成功，40次试验零阈值违规）。未来工作方向包括：基于轮式里程计的自运动补偿扫描差分、多场景交错课程学习、速率匹配部署以及更广泛的物理评估。
