基于迁移学习的方法，用于在自主机器人导航中泛化强化学习（利用激光雷达技术）：跨平台适应与障碍物规避

《IEEE Aerospace and Electronic Systems Magazine》：A Transfer Learning Approach for Generalizing Reinforcement Learning in Autonomous Robot Navigation Using LiDAR: Cross-Platform Adaptation and Obstacle Avoidance

　　摘要：在动态环境中，跨机器人部署深度强化学习（DRL）导航仍然充满挑战，因为不同机器人平台在形态、运动约束和激光雷达传感器几何结构上存在差异。本文提出了一种基于迁移学习的（TL）框架，用于激光雷达辅助的自主导航。该框架通过传感器空间对齐来减少源目标观测不匹配，并通过保留策略的微调来稳定目标适应过程。为了提高动态环境中的安全性，将基于轻量级元胞自动机（CA）的预测器整合到强化学习目标中，作为短视期的、考虑风险的形状调整机制。该框架通过多阶段实验协议进行了验证。首先，在定制的动态环境中预训练源策略；其次，在DynaBARN平台上对三种异构目标机器人（四足机器人、全轮机器人和差动驱动机器人）进行了跨平台迁移测试；最后，在Easy、Medium和Hard三种难度级别的DynaBARN设置中，将所提出的方法与PPO+TL、DQN+TL、DWA和TEB进行了比较，并进行了统计验证。在DynaBARN中的三种目标机器人上，所提出的方法取得了81.0%-83.1%的成功率、5.4%-7.2%的碰撞率以及35.6-39.7秒的到达目标时间，表现出最佳的均值性能。在难度级别基准测试中，单因素方差分析表明各指标之间存在显著组间差异，且所提出的方法在保持最佳均值结果的同时，性能下降幅度较小。在物理四足机器人上，迁移后的策略在受控但非相同的障碍物交互和真实感测/执行不确定性条件下，实现了90.0%的成功率和10.0%的碰撞率。这些结果表明，结合传感器空间对齐、策略保留和短期运动风险调整可以提高激光雷达导航的鲁棒性和实际部署能力。

第一节 引言：自主导航在移动机器人领域仍然是一个基本问题，尤其是在机器人必须在动态、不确定且部分结构化的环境中操作时 [1]、[2]、[3]、[4]。深度强化学习（DRL）的最新进展使得可以直接从传感器观测数据中学习导航策略，从而减少了对手工制定行为的依赖和依赖于显式地图的规划流程 [5]、[6]、[7]。在移动机器人导航中，基于激光雷达的DRL受到了特别关注，因为激光雷达提供的紧凑几何信息非常适合局部障碍物避让和目标导向运动 [8]、[9]、[10]、[11]。然而，大多数学习到的策略仍然紧密依赖于训练时使用的机器人形态和传感器配置。当一个在某个机器人上训练出的策略需要部署到另一个具有不同运动约束和激光雷达特性的机器人上时，就会出现主要挑战。即使传感器模式相同，视野范围、角分辨率、安装位置和可行的控制命令的差异也会显著改变观测-动作关系 [12]、[13]。因此，在一个平台上学习的策略通常无法直接泛化到另一个平台上，这限制了基于DRL的导航在异构机器人舰队和仿真到实际部署场景中的实际应用 [14]、[15]。另一个限制是，许多DRL系统中的障碍物避让主要是反应性的。在这种设置下，机器人仅在当前观测到移动障碍物后才会做出响应，而没有明确考虑近期的运动。这通常会导致延迟的避让行为、低效的绕行或当障碍物运动密集或模糊时的碰撞 [16]、[17]、[18]、[19]。这些挑战表明，一个实用的导航框架应满足四个要求：它应该减少源目标观测不匹配、保留预训练期间学到的有用行为、促进主动而非纯粹反应性的障碍物避让，并且不仅在仿真中得到验证，还要在标准化的目标领域基准和实际部署条件下得到验证。为了解决这些问题，本文提出了一种基于激光雷达的迁移学习框架，用于跨异构机器人平台的自主导航。该框架结合了传感器空间对齐来减少源目标观测不匹配，通过保留策略的微调来稳定目标适应，并采用基于轻量级元胞自动机（CA）的风险调整机制来鼓励主动避让移动障碍物。通过在DynaBARN中的跨平台迁移测试、额外的难度级别基准测试以及物理四足机器人上的实际部署，对所提出的方法进行了评估。

本文的主要贡献如下：一种基于激光雷达导航的迁移学习框架，能够实现跨异构机器人形态的适应；通过传感器空间对齐减少观测不匹配，并通过保留策略的微调来稳定适应，允许在四足机器人、全轮机器人和差动驱动机器人上重用源策略而无需重新训练；将基于轻量级CA的预测模块整合到强化学习目标中，以提供短期的、考虑风险的形状调整；通过惩罚使机器人移向近期被占用区域的动作，该方法比纯粹的反应式导航方案更具有预见性和安全性；包括在DynaBARN中的跨平台迁移测试、在不同难度级别上的鲁棒性评估、统计显著性测试以及在带有感测和执行不确定性的物理四足机器人上的实际部署。

第二节 相关工作和研究空白
A. 基于激光雷达的DRL导航在固定形态中的应用
现有的基于激光雷达的DRL导航方法在无地图的局部导航中表现优异，但其可移植性仍然有限，因为学习到的策略通常与原始传感器几何形状和机器人动力学紧密耦合 [5]、[6]、[20]、[21]。最近的研究通过改进DRL架构（如基于注意力的群组导航和鲁棒的Q网络变体）提高了在拥挤或动态环境中的鲁棒性 [11]、[22]、[23]。然而，这些研究主要提高了固定机器人形态下的导航鲁棒性，并未明确解决在不同激光雷达几何形状和运动约束的机器人之间策略重用的问题。

B. 迁移学习和仿真到实际环境中的导航
迁移学习和仿真到实际环境中的适应已被探索用于降低机器人的重新训练成本，但之前的研究通常考虑相对狭窄的迁移场景，例如相似的机器人结构、相似的感测条件或最小的平台变化 [14]、[15]。因此，它们没有完全解决在激光雷达观测不匹配的环境中跨平台策略重用和安全导航的联合挑战。换句话说，挑战不仅在于迁移策略，还在于在不同形态下迁移策略的同时保持安全性和效率。

C. 基于规划器的和动态导航基准
同时，传统的局部规划器（如动态窗口方法（DWA）和定时弹性带（TEB）仍然是重要的基准，因为它们可以在不同平台上移植，并依赖于显式的几何推理而非学习到的传感器-动作映射 [24]、[25]、[26]、[27]。最近的扩展还将动态障碍物预测纳入了基于规划器的框架 [28]。然而，这些方法不重用从其他平台学到的经验，在高度动态的环境中性能可能会下降，因为短期交互模式变得至关重要 [23]。最近在动态场景理解方面的进展也表明，在有多个移动实体的环境中，短期预测和注意干扰物建模非常重要。例如，FMTrack [29] 和目标干扰物感知的无人机跟踪 [30] 展示了如何通过鲁棒的 motion-aware 特征关联来提高动态场景中的决策可靠性。尽管这些研究关注的是跟踪而不是基于激光雷达的机器人导航，但它们支持将预测性运动感知纳入所提出框架的更广泛动机。

D. 研究空白
总体而言，现有研究通常只解决以下一个或两个挑战：跨平台迁移、异构激光雷达对齐和主动避让动态障碍物。因此，仍然存在的一个空白是一个统一的基于激光雷达的导航框架，它可以（i）减少跨异构机器人平台的源目标观测不匹配，（ii）在适应过程中保留有用的源策略行为，以及（iii）为动态环境结合短期运动风险感知。

第三节 材料与方法
为了开发一个有效且可适应的机器人导航系统，我们提出了一种综合方法论，整合了强化学习（RL）、迁移学习（TL）和元胞自动机（CA）。所提出的架构旨在通过调整基于激光雷达的表示并适应不同形态下的底层策略模型，将导航知识从机器人A传输到机器人B。此外，CA模块还预测障碍物运动，并将其纳入导航目标中，以鼓励主动避让障碍物。这种组合实现了跨平台策略适应，同时在动态环境中提高了安全性和导航效率。整体流程和架构如图1所示。

图1. 使用激光雷达和CA的跨平台自主机器人导航的TL架构。

A. TL框架概述
本研究提出了一个TL框架，用于在异构机器人平台上泛化RL导航策略。目标是将在一个源机器人（机器人A）上训练出的策略传输到一个具有不同形态和感测配置的目标机器人（机器人B）上，同时确保在动态环境中的安全导航。该框架解决了两个主要挑战：跨平台适应：根据不同的激光雷达配置和运动约束调整学习到的策略；动态障碍物避让：结合CA预测器，基于短期占用预测来实现主动避让。

TL流程包括以下步骤：
步骤1：源策略训练（机器人A）–我们在机器人A上训练一个RL导航策略。在我们的设置中，机器人A是一个在空中控制的代理，受平面运动抽象的约束（例如，平面速度和偏航率命令），使其动作/控制接口与地面机器人兼容。
步骤2：迁移初始化（机器人B）–通过将机器人B的激光雷达观测对齐到源输入格式，将训练好的源策略传输到机器人B（例如，四足机器人、全轮机器人或差动驱动机器人），从而在目标平台上评估源策略。
步骤3：微调和适应–我们在机器人B上微调传输来的策略，以适应其动力学和观测分布。适应过程受到约束，以保留有用的源策略行为，同时提高目标任务的性能。
步骤4：基于CA的障碍物预测集成–将CA预测器与学习目标结合，通过奖励 shaping 来惩罚那些可能导致进入预测为未来会被占用的单元的动作。

B. TL过程的数学形式化
本小节正式化了从源机器人到具有不同物理和传感器配置的目标机器人的RL策略迁移过程。目标是在不从头开始重新训练的情况下，重用源策略中编码的知识，同时允许目标机器人适应其自身的动力学和激光雷达几何形状。
1) 问题设置
我们将源机器人上的导航建模为一个马尔可夫决策过程（MDP）Ms=(Ss,A,Ps,rs,γ),(1)
源\begin{equation*} M_{s} = (S_{s}, A, P_{s}, r_{s}, \gamma), \tag {1}\end{equation*} 其中 Ss 表示源状态空间（例如，基于激光雷达的观测和机器人运动/目标特征），A 是动作空间，Ps 是转移核，rs 是奖励函数，γ∈(0,1) 是折扣因子。在源机器人上的训练产生一个随机策略 πs(a∣s;θs)，由 θs 参数化，通过最大化PPO目标来学习。
目标机器人由另一个MDP描述 Mt=(St,A,Pt,rt,γ),(2) \begin{equation*} M_{t} = (S_{t}, A, P_{t}, r_{t}, \gamma), \tag {2}\end{equation*} 它共享相同的动作空间A，以使迁移成为可能，尽管由于激光雷达配置（例如，安装位置、视野范围、角分辨率）和机器人形态的不同，St≠Ss。在这项工作中，A 对应于一个通用的平面导航命令（例如，线性和角速度），可以通过各自的低级控制器在所有平台上执行。为了提供更全面的迁移学习形式化，我们扩展的TL目标是：给定一个训练有素的源策略 πs(?;θs)，学习一个目标策略 πt(?;θt)，该策略（i）通过传感器对齐操作符Φ(?) 将异构激光雷达观测正式映射到一个共享的状态空间，（ii）通过Kullback–Leibler（KL）策略一致性损失来保留有用的源行为，以防止灾难性遗忘，（iii）通过基于CA的预测风险 shaping 奖励来适应目标机器人的特定动力学，同时惩罚近期的碰撞。

2) 源策略优化
我们使用PPO来训练源导航策略。让 πθ(at∣ssrct) 表示在时间步t时给定源状态ssrct的输出动作的随机策略，其中θ 表示策略参数。这个阶段的目标是获得一个强大的源策略，作为传输到目标平台的初始化。
源策略参数 θ?s 是通过最大化PPO剪裁替代目标 θ?s=argmaxθ?Et[LPPOs(θ)] \begin{equation*} \theta _{s}^{*} = \arg \max _{\theta }\ \mathbb {E}_{t}\!\left [{ L^{\mathrm {PPO}}_{s}(\theta) }\right], \tag {3}\end{equation*} 得到的，其中 Et[?] 表示在行为（旧）策略 πθold 下收集的时间步中的经验期望。PPO目标定义为 LPPO(θ)=Et[min(ρt(θ)A^t,clip?(ρt(θ))A^t)], \begin{equation*} L^{\mathrm {PPO}}(\theta) = \mathbb {E}_{t}\!\left [{ \min \!\Big (\rho _{t}(\theta)\hat {A}_{t},\; \mathrm {clip}_{\epsilon }(\rho _{t}(\theta))\hat {A}_{t} \Big) }\right], \tag {4}\end{equation*} 其中 A^t 是优势估计，? 是剪裁参数。概率比率为 $\rho_{t}(\theta)=\frac {\pi _{\theta }(a_{t} \mid s^{\mathrm {src}}_{t})}{\pi _{\theta _{\mathrm {old}}}(a_{t} \mid s^{\mathrm {src}}_{t})}$，(5) 查看源代码。其中，剪切操作符定义为 $\mathrm {clip}_{\epsilon }(x):= \min \!\big (\max (x,{\,}1-\epsilon),{\,}1+\epsilon \big)$。(6) 查看源代码。剪切比率可以限制过大的策略更新，并提高训练稳定性。直接在不同的机器人上部署 $\theta^{*}$ 通常是无效的，因为观察分布的变化和平台动力学的差异。因此，下一小节将介绍一个 LiDAR 传感器空间对齐操作符，它将异构的目标观察转换为与源兼容的表示形式，以实现可靠的迁移。

3) LiDAR 的传感器空间对齐
跨机器人迁移的一个关键挑战是观察几何的不匹配：来自不同机器人的 LiDAR 扫描可能编码了相似的场景信息，但在索引、视野范围、角分辨率和噪声特性上存在差异。为了减少这一领域差距，我们引入了一个对齐操作符 $\Phi: Stgt\rightarrow Ssrc$，它通过 $\tilde {s}_{t} = \Phi \!\left ({ s_{t}^{\mathrm {tgt}}}\right)$ 将目标观察 $stgt \in Stgt$ 映射到与源兼容的观察 $s_{t} \in Ssrc$。(7) 查看源代码。这种对齐至关重要，因为它将原始的目标观察转换为与源策略预期的输入分布匹配的规范表示，从而缓解了由于传感器分辨率不同而导致的领域差距。在实践中，$\Phi(?)$ 可以通过角度重采样到源波束网格、范围剪切/归一化以及（可选的）投影到固定大小的表示（如局部占用图）来实现。对齐后，可以在目标观察上评估源策略，表现为 $a_{t}^{(s)} \sim \pi _{s}(\cdot \mid \tilde {s}_{t}; \theta _{s}^{*})$，(8) 查看源代码，这使得即使在原始 LiDAR 观察在不同机器人上也不影响源策略在目标平台上的作用。

4) 带有策略保留的迁移目标
仅使用目标奖励 $rt$ 直接在目标机器人上微调源策略参数 $\theta^{*}$ 可能导致源行为的灾难性遗忘。这在跨异构运动学迁移时尤为麻烦；例如，当将策略从一个全轮驱动的源机器人适应到一个非全轮驱动的目标机器人（如差动驱动机器人）时，仅依赖任务奖励通常会迫使网络迅速覆盖其权重，从而无意中破坏了在预训练期间获得的通用障碍物避免逻辑。为了缓解这个问题，我们使用一个综合迁移损失来优化目标参数 $\theta_{t}$，即 $L_{\text {transfer}}(\theta _{t}) = {\mathcal {L}}_{\text {RL}}(\theta _{t}) + \lambda _{\text {cons}}{\,}{\mathcal {L}}_{\text {cons}}(\theta _{t}) + \lambda _{\text {feat}}{\,}{\mathcal {L}}_{\text {feat}}(\theta _{t})$，(9) 查看源代码，其中 $\lambda_{\text {cons}} \geq 0$ 和 $\lambda_{\text {feat}} \geq 0$ 控制各个项之间的权衡。首先，$L_{\text {RL}}(\theta _{t})$ 是在目标机器人上的任务驱动目标，定义为负 PPO 替代目标，因此最小化损失相当于最大化 PPO 目标，即 $L_{\text {RL}}(\theta _{t}) = -\mathbb {E}_{t}\!\left [{ \mathcal {L}^{\text {PPO}}_{\text {tgt}}(\theta _{t}) }\right]$，(10) 查看源代码，其中 $Et[?]$ 表示在目标机器人上收集的时间步长的经验期望值，$LPPOtgt(?)$ 是标准的 PPO 剪裁替代目标。其次，$L_{\text {cons}}(\theta _{t})$ 是一个策略一致性损失，它鼓励目标策略在对齐的观察上保持与源策略接近，定义为 $L_{\text {cons}}(\theta _{t}) = \mathbb {E}_{s \sim \mathcal {D}_{t}}\!\left [{ D_{\mathrm {KL}}\!\big (p_{s}(\cdot \mid s){\,}\|{\,}p_{t}(\cdot \mid s)\big) }\right]$，(11) 查看源代码，其中 $ps(?\mid s) \triangleq \pi _{s}(\cdot \mid \Phi (s); \theta _{s}^{*})$，$pt(?\mid s) \triangleq \pi _{t}(\cdot \mid s; \theta _{t})$。(12) 查看源代码。这里，$DKL(p\parallel q)$ 表示 Kullback–Leibler (KL) 散度，$\Phi(?)$ 是 LiDAR 传感器空间对齐操作符（见第 III-B3 节），$Dt$ 是在目标机器人上收集的一系列目标观察（例如，一个缓冲区）。在这个术语中，源策略充当固定的教师，而目标策略被优化以在对齐的输入上与之匹配。通过 $L_{\text {cons}}$ 将目标策略的空间推理与源策略的输出锚定，代理可以安全地学习新的运动映射，而不会丢弃其基础的导航能力。第三，当策略网络包含将观察映射到潜在特征的编码器时，我们可选地添加一个特征空间对齐损失 $L_{\text {feat}}$。定义 $L_{\text {feat}}(\theta _{t}) = \mathbb {E}_{s \sim \mathcal {D}_{t}}\!\left [{ \left \|{ f_{t}(s;\theta _{t}) - f_{s}(\Phi (s);\theta _{s}^{*}) }\right \|_{2}^{2} }\right]$，(13) 查看源代码，这鼓励目标编码器在观察对齐后产生类似源的潜在表示。我们通过梯度下降在综合损失上更新目标参数，即 $\theta_{t} \leftarrow \theta _{t} - \eta \nabla {\mathcal {L}}_{\text {transfer}}(\theta _{t})$，(14) 查看源代码，其中 $\eta$ 是学习率。在实践中，$L_{\text {RL}}$ 是从目标机器人上收集的基于策略的展开中计算的，而 $L_{\text {cons}}$ 和 $L_{\text {feat}}$ 是从 $Dt$ 中抽取的样本计算得出的。

5) 新颖性的讨论
与传统强化学习（RL）迁移相比，我们的框架引入了两个为基于 LiDAR 的跨平台导航量身定制的基本设计选择：传感器感知的观察对齐与简单的映射：传统方法通常直接将目标观察输入到源网络中，当传感器硬件不同时会导致几何失真。为了解决这个问题，我们使用对齐操作符 $\Phi_r(?)$（41）显式地对齐 LiDAR 数据。这个操作符在策略评估之前将异构的目标扫描映射到一个统一的规范空间，清晰地解决了视野范围、角分辨率和波束索引的差异。KL-规范化的策略保留与无约束的微调：在新机器人上的直接微调通常会导致“灾难性遗忘”，即代理为了满足新的运动约束而覆盖其先前学习的障碍物避免逻辑。为了避免这种情况，我们引入了一个 Kullback-Leibler（KL）策略一致性项 $L_{\text {cons}}$（11）。通过将对齐后的观察将预训练的源策略视为固定的教师，这个术语迫使目标策略在适应新的运动动力学的同时保留安全的动态避免行为。通过将感知对齐与行为保留解耦，这种双部分策略实现了对新物理机器人的快速、样本高效的适应。它在传统微调失败的地方取得了成功，严格保持了在预训练期间建立的短期运动风险意识。

C. 基于细胞自动机（CA）的障碍物预测
本小节描述了一个预测模块，它在 RL 代理选择动作之前预测动态障碍物的短期运动。目标是提供一个前瞻性信号，使导航变得主动而不是仅仅对瞬时的 LiDAR 测量做出反应。具体来说，我们使用离散的 CA 模型在从 LiDAR 数据派生的 2D 局部网格上传播障碍物占用情况，并将结果预测纳入 RL 奖励中，以阻止导致未来碰撞的动作。我们采用 CA 而不是基于学习的运动预测器，因为它是轻量级的，并且自然地与网格表示（例如，局部占用图）兼容。这种选择使得在资源受限的机载硬件上实现实时预测成为可能，同时保持了主 RL 策略的推理吞吐量。

1) 局部工作空间的离散化
我们考虑一个以机器人为中心的局部工作空间 $W \subseteq R^{2}$。在每个控制步骤 $t$，LiDAR 扫描被转换为一个二进制占用网格 $G_{t} \in \{0,1\}^{H \times W}$，(15) 查看源代码，其中 $H$ 和 $W$ 分别表示网格的高度和宽度（以单元格计）。对于每个单元格 $(i,j)$，$G_{t}(i,j)=1$ 表示时间 $t$ 的占用空间，而 $G_{t}(i,j)=0$ 表示空闲空间。网格分辨率 $\Delta$（以单元格计）被选择为典型的人行道或机器人大小的障碍物跨越多个单元格，从而能够可靠地捕捉局部运动模式。局部网格的物理覆盖范围是 $H\Delta \times W\Delta$（米）。让 $z_{t}$ 表示时间 $t$ 的极坐标 LiDAR 范围测量值。从 LiDAR 范围到网格单元格的映射是确定性的，表示为 $G_{t} = \Psi (z_{t})$，(16) 查看源代码，其中 $\Psi(?)$ 使用已知的波束角度进行极坐标到笛卡尔坐标的投影，并将结果点光栅化到以机器人为中心的网格上。在实现的系统中，原始的 3D LiDAR 数据被垂直过滤，以仅在高度区间 $z \in [0.1,3.0]$ 米内保留点，然后再投影到局部占用图上。局部占用网格使用 $H=200$ 和 $W=200$ 个单元格，空间分辨率为 $\Delta=0.05$ 米/单元格，对应于机器人周围的物理覆盖范围为 10.0×10.0 米。在以下小节中，我们使用 $Xt:=G_{t}$ 和 $x_{t,i,j:=G_{t}(i,j)$ 来表示 CA 占用状态。

2) CA 状态和邻域
每个网格单元格 $(i,j)$ 被建模为一个具有二进制占用状态的 CA 单元格 $x_{t,i,j} \in \{0,1\}$，$\forall i,j$，(17) 查看源代码，其中 $x_{t,i,j}=1$ 表示时间 $t$ 时单元格被障碍物占据，$x_{t,i,j}=0$ 表示空闲空间。为了捕捉短期运动模式，我们将每个被占用的单元格与一个离散的运动标签 $v_{t,i,j} \in V$ 关联起来，$V$ 表示网格上的一步位移。我们使用 8-连接的（Moore）运动集，其中包含一个静止选项：$V={(0,0)} \cup \{(δ_{i},δ_{j}):δ_{i},δ_{j} \in \{-1,0,1},\ (δ_{i},δ_{j} \neq (0,0)\}$。(18) 查看源代码。这产生了一个方向性的 CA，而不仅仅是简单的二进制占用更新。使用 Moore 邻域来定义每个单元格的局部上下文：$N_{i,j} = \{(p,q):|p-i|\leq 1, \ |q-j|\leq 1,\ (p,q)\neq (i,j)\}$，(19) 查看源代码，这允许模型捕捉 8-连接的运动模式以及附近障碍物之间的局部交互。

3) CA 更新规则
CA 通过迭代更新占用状态及其相关的运动标签来预测障碍物的运动。为了支持主动导航，我们生成短期 CA 展开，并随后将预测的占用情况转换为 RL 奖励中的惩罚项。一次 CA 更新包括：(i) 移动障碍物的传播，(ii) 静态障碍物的持续性，以及 (iii) 从局部模式重新估计运动标签。CA 状态更新如下进行：传播项：对于一个有非零位移标签 $v_{t,i,j}=(δ_{i},δ_{j})$ 的被占用单元格，下一步预测的占用单元格为 $(i^,j^)=(i+δ_{i},j+δ_{j})$。(20) 查看源代码。因此，如果 $(i^,j^)$ 在网格范围内，我们设置 $x^{t+1}_{i,j}^=1$ 如果 $x_{t,i,j}=1$ 且 $v_{t,i,j}\neq (0,0)$。(21) 查看源代码。静态障碍物的持续性：对于位移为零的单元格，基于置信度分数允许障碍物持续存在：$x^{t+1}_{i,j} = \begin{cases} 1, & \text {if}~ x_{i,j}^{t}=1,\ v_{i,j}^{t}=(0,0), \\\ 0, & \text {otherwise} \end{cases}$，其中 $q_{i,j}\in[0,1]$ 表示持续性置信度，$\tau$ 是一个阈值。运动标签更新：运动标签可以从相邻的被占用单元格重新估计。我们计算每个候选位移的支持：$n_{i,j}^{t}(\delta_{i},\delta_{j}) \triangleq \sum _{(p,q)\in N_{i,j}} \mathbf {1}\!\left [{ x_{p,q}^{t}=1 \wedge v_{p,q}^{t}=(δ_{i},\delta _{j}) }\right]$，(23) 查看源代码，并通过加权多数投票更新标签：$v_{t+1}_{i,j} = \arg \max _{(\delta_{i},\delta _{j})\in \mathcal {V}} \ \omega (\delta_{i},\delta _{j})$，其中 $V$ 是候选位移集，$N_{i,j}$ 是 Moore 邻域（第 III-C2 节），$1[?]$ 是指示函数，$\omega(?)$ 是一个可选的偏好权重（例如，$\omega≡1$ 表示均匀投票）。将这些放在一起，一次同步的 CA 更新可以表示为 $(X^{t+1},V^{t+1}) = {\mathcal {F}}_{\mathrm {CA}}(X^{t},V^{t})$，(25) 查看源代码，其中 $Xt=[xt,i,j]$ 和 $Vt=[vt,i,j]$。除了二进制占用展开外，我们还维护了一个置信度地图 $Qt=[q_{t,i,j] \in[0,1]H×W$，用于量化 CA 预测的可靠性。我们在当前步骤初始化 $q_{t,i,j}=xt_i,j$ 并随时间衰减置信度。对于一个移动的被占用单元格 $(i,j)$，如果 $v_{t,i,j}=(δ_{i},δ_{j})≠(0,0)$ 且 $(i^,j^)=(i+δ_{i},j+δ_{j})$，我们更新 $q^{t+1}_{i,j}^=\max(q^{t+1}_{i,j}, \rho q_{i,j})$，(26) 查看源代码，如果在其范围内。设 c(?) 将连续位置映射到相应的网格单元索引 (i,j)，并设 x^t+ki,j∈{0,1} 表示时间 t+k 时单元 (i,j) 的元胞自动机 (CA) 预测的占用情况。我们定义了一个碰撞风险指标 χt+k(at) 为：

$$
\chi_{t+k}(a_{t}) = \begin{cases}
1, & \text{如果} \hat{x}^{t+k}_c(\hat{p}_{t+k|t}(a_{t}) = 1, \\
0, & \text{否则},
\end{cases}
$$

对于 k=1,…,K。然后定义了 CA 意识到的惩罚函数为：

$$
P_{\mathrm{CA}}(t, a_{t}) = \sum_{k=1}^{K} \omega_{k} \chi_{t+k}(a_{t}},
$$

其中 ωk 为接近未来的碰撞赋予更高的权重（例如，ω1>ω2>?）。这种二进制表述可以通过将 χt+k(at) 替换为预测的占用置信度 qt+k(p^t+k|t(at)) 来扩展为置信度加权的惩罚，如第三节-C3 和 (32) 中所述。时间 t 的 shaping 奖励变为：

$$
r_{t} = r_{t}^{\text{task}} - \alpha_{\mathrm{CA}} P_{\mathrm{CA}}{t, a_{t}},
$$

其中 αCA>0 用于缩放基于 CA 的风险惩罚的贡献，rtaskt 表示基线导航任务奖励。目标策略最初使用源参数初始化，即 θt←θs，然后通过优化 (9) 中的转移目标进行更新，得到 θ?t。在这项工作中，我们使用以下公式：

$$
r_{t}^{\text{task}} = w_{g} \Delta d_{g}^{t} - w_{c} \mathbf{1}[\text{collision}_{t}] - w_{t} - w_{u} \lVert a_{t} \rVert_{2},
$$

其中 Δdtg=dt?1g?dtg 是目标进度项，1[collisiont] 是碰撞的指示器，wt 是每步时间惩罚，最后一项惩罚过度的控制努力。权重 wg,wc,wt,wu>0 是通过实验获得的。这种 shaping 阻止机器人进入在短时间范围内预测会被占用的单元，即使在该时间点障碍物尚未直接观察到。

5) 不确定性加权扩展

第三节-C3 中的 CA 更新除了二进制占用展开外，还维护了一个置信度展开 Qt+k=[qt+ki,j]∈[0,1]H×W，用于量化预测占用的可靠性。这是有用的，因为来自激光雷达 (LiDAR) 观测的 CA 更新可能会产生噪声并导致不确定的预测；置信度值通过 (26)–(27) 中的更新自然衰减。使用相同的连续位置到单元映射 c(?)，我们定义连续位置 p∈R2 的置信度为 qt+k(p)?qt+kc(p)。然后 CA 意识到的惩罚表示为：

$$
P_{\mathrm{CA}}(t, a_{t}) = \sum_{k=1}^{K} \omega_{k} q^{t+k}\!\big(\hat{p}_{t+k|t}(a_{t})\big),
$$

其中 p^t+k|t(at) 表示在时间 t 应用 at 之后的预测机器人位置，ωk 为近期风险赋予更高的权重。这种不确定性加权的表述产生了一个对风险敏感的 shaping 项：与高预测占用置信度的单元相交的轨迹会受到比通过低置信度区域更大的惩罚。与纯粹的即时碰撞惩罚相比，提出的项具有前瞻性、网格一致性，并且明确地通过预测置信度进行了调制，非常适合动态环境中的激光雷达导航。

CA 模块适用于短时间范围内的运动预测，在障碍物运动在几个连续步骤内局部平滑或大致连续时最可靠。因为更新规则基于短时间范围内的局部运动连续性来传播占用情况，当障碍物以高度不规则的方式移动时，例如突然的人体方向变化、突然停止或违反局部传播假设的快速加速，性能可能会下降。

D. 基于激光雷达的感知和状态构建

每个机器人提供的激光雷达扫描可能具有不同的角分辨率、视野 (FoV) 和有效范围。为了实现跨平台传输，我们通过 (i) 重采样到共同的角网格和 (ii) 将范围剪切/标准化到共享区间，将每个扫描标准化为固定维度的表示。当机器人的视野 (FoV) 比目标视野宽时，对称地删除多余的激光束；当它较窄时，通过插值填补缺失的激光束。这种预处理无论原始传感器配置如何，都能产生一致的激光雷达向量，使得 TL 程序成为可能。第三节-B 和第三节-C 中的 TL 框架假设策略在结构化的、与机器人无关的观测上进行操作。由于激光雷达是这项工作的主要传感模式，感知阶段将原始的、不规则的扫描转换为 (i) 对策略学习和传输足够稳定的状态表示，(ii) 在对齐操作符下机器人之间可比较的状态表示，以及 (iii) 与之前描述的单元自动机预测层兼容。

1) 激光雷达信号标准化

配备激光雷达的机器人可能仍然产生具有不同特性的扫描，包括激光束的数量、角视野 (FoV)、感知范围限制和安装姿态。为了减少这种变异性，我们将每个扫描重新采样到固定的角网格上，并将范围值规范化到一致的尺度。设 ρt(θ) 表示时间 t 时角度的原始激光雷达范围测量值。我们定义了一个目标视野 [θmin,θmax] 和角分辨率 Δθ，并设置固定数量的激光束为 B=?(θmax?θmin)/Δθ?+1。重采样的扫描由以下公式给出：

$$
z_{t}[k] = \mathrm{interp}_{\mathrm{lin}}\!\left(\rho_{t},\ \theta_{min}+kΔθ\right),
$$

其中 k∈{0,1,…,B?1}，interplin(?) 表示原始激光雷达激光束上的线性角插值。具体来说，如果目标角度 θk=θmin+kΔθ 位于两个相邻的原始激光束角度之间，则重采样的范围计算为这两个相邻原始测量值的距离加权平均值。无效或缺失的范围被设置为 dmax。然后我们使用可靠的感知区间 [dmin,dmax] 将范围剪切和标准化到 [0,1]：

$$
\tilde{z}_{t}[k] = \frac{\mathrm{clip}\!\big(z_{t}[k],{d_{\min},{d_{\max}}\big) - d_{\min}}{d_{\max}-d_{\min}},
$$

其中 clip(x,a,b)=min(max(x,a),b)。选择这个有效距离区间是基于传感器硬件限制和本地导航需求的。下限 dmin 明确选择是为了过滤掉机器人底盘的反射和近场盲点。上限 dmax 的设立是为了定义一个可靠的本地感知范围，超出这个范围，激光雷达激光束的扩散和环境噪声通常会降低占用网格的空间精度。在实现的系统中，所有实验的可靠感知区间固定为 [dmin,dmax]=[0.5,10.0] 米。这种预处理为策略网络提供了固定长度、尺度一致性的激光雷达向量，并减少了对于特定机器人激光雷达配置的过拟合。

2) 投影到本地占用图

为了与 CA 预测层兼容，标准化的 1D 扫描被投影到 2D 本地占用图上。在投影之前，原始的 3D 激光雷达数据被过滤以仅保留垂直区间 z∈[0.1,3.0] 米内的点。此外，激光雷达观测在完整的 360° 水平视野内进行处理。每个激光束 k 在角度 θk=θmin+kΔθ 下的范围 z~t[k] 被转换到机器人框架中的笛卡尔坐标 (xk,yk)=(dkcosθk, dksinθk)，其中 dk=dmin+z~t[k](dmax?dmin)。然后，结果点被离散化（光栅化）到第三节-C1 中定义的本地网格上，形成二进制占用图：

$$
G_{t} = \Psi \!\big(\tilde{z}_{t}\big).
$$

使用相同的离散化方法进行感知和 CA 预测，确保了空间一致性，并避免了策略观察到的内容与 CA 预测内容之间的错位。

3) 状态向量组合

策略不仅仅依赖激光雷达。为了提高目标导向导航的稳定性，我们用目标相对信息、机器人运动和一个可选的基于 CA 的风险特征来增强观测。时间 t 的状态构造为：

$$
s_{t} = \big[\tilde{z}_{t} \;\Vert\; g_{t} \;\Vert\; u_{t} \;\Vert\; \xi_{t}\big],
$$

其中 ∥ 表示连接，z~t∈[0,1]B 是具有固定数量激光束 B 的规范化激光雷达向量。目标项 gt 使用距离到目标的 dtg 和方向到目标的 ?tg 对目标进行编码：

$$
g_{t} = \big[\hat{d}_{g}^{t},\; \sin(\phi_{g}^{t}),\; \cos(\phi_{g}^{t})\big],
$$

其中 d^tg=clip(dtg,0,dmaxg)/dmaxg 用于规范化距离，(sin,cos) 编码避免了角度的不连续性。运动项 ut 包含当前的线性和角速度，规范化为：

$$
u_{t} = \big[\hat{v}_{t},\; \hat{\omega}_{t} \big] = \big[\hat{v}_{t}^{\mathrm{lin}}/v^{\max}, \; \omega_{t}/\omega^{\max}\big],
$$

最后，ξt 是一个可选的基于 CA 的风险特征，总结了机器人前方的短期占用预测（例如，在前向走廊内）。在置信度加权的表述中，ξt 可以定义为走廊内 k=1,…,K 的最大预测占用置信度，产生一个 [0,1] 范围内的标量，当 CA 预测到近期障碍物时增加。这种紧凑的状态表示适用于 PPO，同时结合了目标信息和预测风险提示。

4) 机器人到机器人的观测对齐

为了支持跨平台传输，感知模块将每个机器人的原始激光雷达观测映射到共享的规范激光束空间。设规范角网格为 θk=θmin+kΔθ,k=0,1,…,B?1，其中 [θmin,θmax] 和 Δθ 在所有机器人上是固定的。对于机器人 r，设时间 t 的原始激光雷达扫描由激光束角度 ?(r)j 和范围 ρ(r)t[j] 表示。对于每个规范角度 θk，通过两个相邻原始激光束之间的线性插值获得对齐范围，这两个相邻激光束的角度夹在 θk 之间。具体来说，如果 ?(r)j≤θk≤?(r)j+1，则：

$$
z_{t}[k] = \frac{\phi^{(r)}_{j+1}-\theta_{k}}{\phi^{(r)}_{j+1}-\phi^{(r)}_{j}}\rho^{(r)}_{t}[j] + \frac{\theta_{k}-\phi^{(r)}_{j}}{\phi^{(r)}_{j+1}-\phi^{(r)}_{j}}\rho^{(r)}_{t}[j+1].
$$

如果 θk 在机器人 r 的传感器视野之外，则激光束被设置为 dmax 并在后续的屏蔽步骤中被视为不可靠的。然后将对齐后的扫描剪切到 [dmin,dmax] 并规范化到 [0,1]，得到：

$$
\Phi_{r}\!\big(\mathrm{LiDAR}^{(r)}_{t}\big) = \tilde{z}_{t} \;\in [0,1]^{B},
$$

其中输出维度 B 在所有机器人之间是相同的。这种原始传感器级别的对齐确保了异构的激光雷达观测被映射到相同的观测空间，这对于目标适应期间的策略一致性损失是有必要的。

5) 噪声和缺失扫描处理

真实的激光雷达扫描可能由于镜面反射、快速运动或在可靠感知区间外的测量而包含缺失或无效的返回。为了防止策略将这些伪影解释为自由空间，我们维护了一个二进制可靠性掩码 mt∈{0,1}B，其中 mt[k]=1 表示激光束 k 在角度重采样后是有效的。设 zt[k] 表示剪切和标准化之前的重采样范围值。我们定义 mt[k]=1[dmin≤zt[k]≤dmax ∧ isfinite(zt[k])，其中 1[?] 是指示函数。因此，具有非有限值或在 [dmin,dmax] 之外的范围的激光束被视为不可靠的。在观测传递给策略之前，使用局部中位数过滤器替换不可靠的激光束：

$$
\bar{z}_{t}[k] = \begin{cases}
\tilde{z}_{t}[k], & \text{如果} m_{t}[k]=1, \\
\mathrm{median}\!\big(\tilde{z}_{t}[\mathcal{W}(k)]\big), & \text{如果} m_{t}[k]=0,
\end{cases}
$$

其中 W(k)={max(0,k?2),…,min(B?1,k+2)} 表示激光束 k 周围的夹紧的 5 束邻域。这种替换抑制了孤立的数据丢失，同时保留了附近障碍物的局部几何结构。过滤后的扫描 zˉt 然后被用作策略的激光雷达输入，并作为下游占用图构建的基础。相同的预处理配置，包括重采样网格、剪切区间和局部中位数替换，在所有目标平台上一致应用。

6) 与 RL 策略的接口

在上述预处理之后，策略接收到的观测具有 (i) 固定维度，这是标准演员-评论家网络所需的；(ii) 空间一致性，因为 2D 占用图和 1D 激光雷达扫描描述了相同的本地工作空间；(iii) 平台独立性，因为激光雷达硬件的变化被对齐操作符 Φr(?) 吸收；以及 (iv) 预测意识，因为可以注入基于 CA 的风险特征而不改变策略架构。因此，第三节-B 中的目标适应可以专注于动态和奖励差异，而不是重新学习如何解释传感器测量。

第四节. 实验设置

本节描述了用于评估所提出的 TL 框架的多机器人导航的实验协议。我们报告了机器人平台、仿真环境、训练和传输程序、评估指标和实现细节。所提出的方法与标准 RL 基线 (PPO+TL 和 DQN+TL) 在仿真中进行比较，并在真实世界试验中进行了验证。

A. 预训练的来源环境

源策略预训练是在一个平面 60×60 米的工作空间中使用 NVIDIA Isaac Sim 进行的，该空间包含密集的静态和动态障碍物，如图 2 所示。在这个源环境中，基础代理被训练从随机起点导航到对侧的目标区域，同时处理原始的 3D 激光雷达观测数据。为了在初始阶段培养出稳健的避障行为，40%的动态障碍物通过确定性的正弦运动模型（振幅A=2.0米，频率f=0.2赫兹）进行动画处理，达到峰值速度约为2.51米/秒。因此，在源环境中，移动的障碍物在本文考虑的短预测范围内遵循周期性的正弦运动模型。训练环节受到严格监管，有60秒的时间限制，并且当发生碰撞或成功达到0.5米的目标半径时，训练就会终止。这种设置确保了源策略在跨平台转移之前具备了无地图导航的强大基线能力。图2显示了用于源预训练实验的具有相对起始点和目标区域的模拟工作空间。

B. DynaBARN目标领域基准
为了解决在标准化开放数据集上进行验证的迫切需求，并严格评估超出自定义预训练环境的转移性能，我们采用了DynaBARN作为目标领域的基准[31]。与自定义的特殊场景不同，DynaBARN提供了一个广泛认可的标准化评估协议，该协议系统地改变了障碍物的运动难度（轨迹顺序、速度和变化）和障碍物密度，分为预定义的三个级别（容易、中等、困难）。

这个基准有两个核心评估目的：首先，评估在统一动态设置下三种不同机器人类型（四足、全轮、差速驱动）的跨平台泛化能力；其次，使用受到严格限制的差速驱动机器人执行难度分级的统计基准测试，直接将提出的框架与经典局部规划器（DWA、TEB）和强化学习基线（PPO+TL、DQN+TL）进行比较，在逐渐增加的难度条件下进行测试。通过对10个随机种子（每个种子30个训练回合）进行评估，提供了进行严格ANOVA测试所需的统计可靠性。

C. 训练和转移协议
在源预训练阶段之后，基础策略被系统地转移到目标机器人平台上。策略架构使用了一个共享的多层感知器（MLP）特征提取器，其隐藏维度为[256, 256, 128]，分别输入到演员和评论家头中。在源预训练期间，通过网络使用Proximal Policy Optimization（PPO）进行优化，初始学习率为3×10^-4，折扣因子γ=0.99，裁剪比率为?=0.2，共进行了500万步时间。

为了防止在目标适应过程中灾难性地忘记泛化的避障行为，最初的两个256单元特征提取层被冻结。只有最后的128单元层和演员-评论家头使用(9)中定义的复合转移损失进行微调。转移协议使用了降低的学习率1×10^-4，并在50万步的时间表中执行。一致性权重λcons和特征对齐权重λfeat分别 empirical 设置为0.5和0.1。在这个适应阶段，基于CA的风险塑造模块与环境积极耦合（αCA=0.8），确保目标机器人成功映射了它们特定的运动约束，并将LiDAR观测结果与主动的安全操作对齐。

D. 实施和真实世界实验设置
为了验证模拟到真实的转移能力以及提出的框架对未建模的物理动态（如传感器噪声和执行器滑移）的鲁棒性，使用了一个实体的四足机器人进行了真实世界实验。从硬件和实现的角度来看，机器人配备了3D LiDAR传感器，提供360°的视野以进行实时环境感知。所有的计算工作负载，包括传感器空间对齐、基于CA的障碍物预测和DRL策略推理，都直接在机载边缘计算单元上执行。软件架构完全使用机器人操作系统（ROS）集成，确保控制循环频率为20赫兹，将策略的平面速度命令转换为四足机器人的低级关节动作。为了支持独立验证和未来的重用，本研究中的实现、配置文件、训练工作空间和评估/运行脚本可以在以下链接公开获取：https://github.com/alfarouq-nav/NavCa

对于模拟基准测试，所有三种目标平台都在相同的计算设置、策略架构、对齐的LiDAR输入维度和控制流程下进行了评估。因此，在基准测试设置中，依赖于实现的计算开销最小。渲染/显示的运行速度大约为30 FPS，而日志/模拟步骤的运行速度根据场景复杂性大约为10-20赫兹。

为了严格测试动态障碍物避障能力，将人类行人引入工作空间以模拟移动障碍物。尽管人类受试者被指导在试验中遵循一致的轨迹，但自然的个体差异在行走速度、方向和时机上引入了随机性。这种不可预测性有效地复制了真实世界人机环境的复杂性和非脚本化特性，比确定性模拟回放提出了更严格的挑战。为了在这些高度动态的互动中确保硬件和人类的安全，在ROS节点级别实施了严格的安全约束终止协议，如果碰撞风险超过临界阈值或间隙降至0.3米以下，则会立即停止机器人。

E. 评估指标和计算设置
性能使用成功率（SR）、碰撞率（CR）和到达目标的时间（TTG）来量化，这些指标仅针对成功的运行进行计算。

从实际运行时间的角度来看，提出的模块引入了最小的计算开销。在我们的测试工作站（NVIDIA RTX 3090，带128 GB RAM的CPU）上，LiDAR观测对齐大约需要1.5毫秒在CPU上，策略推理在GPU上执行需要4.0毫秒，基于CA的预测在CPU上仅增加2.0毫秒。总的控制步骤延迟大约为7.5毫秒，使得有效执行率超过了130赫兹。这些运行时间测量表明，该框架在测试的硬件设置下适用于实时机载部署。

第五节 结果和讨论
A. 源环境中的训练行为
首先在源环境中评估了源策略，以验证其在转移之前是否已经充分收敛。训练在Isaac Sim中使用Robot A在密集的动态导航场景中进行，场景中既有静态障碍物也有移动障碍物。每个训练回合在机器人到达目标、与障碍物碰撞或超过60秒时间限制时结束。图3总结了训练过程中的碰撞率、成功率和到达目标时间的学习趋势。与PPO+TL和DQN+TL相比，所提出的方法在整个训练过程中保持了更低的碰撞率，表明在密集的动态互动下行为更加安全。它还显示出更高的成功率，并且上升趋势更加稳定，表明目标达成性能的提高比基线方法更为一致。此外，所提出的方法在成功的训练回合中更快地到达目标，表明安全性的提升伴随着导航效率的提高。图3显示了在密集动态障碍物下的源环境中训练行为：(a) 碰撞率，(b) 成功率，(c) 训练回合中的到达目标时间。

这些结果表明，基于CA的短视距预测项有助于源策略在训练早期更早地避开危险区域。因此，源策略足够稳定，可以作为转移阶段的初始化。以下小节将探讨这种行为在适应异构目标机器人后是否仍然有效。

B. 在DynaBARN中的跨平台转移结果
图4和表1总结了三种目标机器人的转移结果。Ours+TL在所有机器人上都取得了最佳的整体性能，具有最高的成功率和最低的碰撞率。它还实现了最短的到达目标时间，表明安全性的提升并不是通过过于保守的运动实现的。

在四足机器人上，Ours+TL达到了83.12%的成功率，7.2%的碰撞率和35.6秒的到达目标时间。PPO+TL仍然是最强的基线，但其成功率低了16.9个百分点，碰撞率也显著更高。DQN+TL在所有三个指标上表现最差。在全轮平台上也观察到了相同的趋势，尽管运动特性不同，Ours+TL仍然保持了更低的碰撞率和更快的完成时间。在差速驱动机器人上，Ours+TL再次产生了最佳结果，表明即使横向运动必须投影到更受限的控制空间中，转移目标仍然有效。图5中的代表性轨迹与定量结果一致。适应后，转移的策略在所有三种机器人类型中保持了稳定的目标导向运动，同时避开了密集障碍物区域。这表明所提出的转移策略在不同的运动约束和LiDAR观测特性下的异构实现中仍然有效。

C. 在DynaBARN中跨难度级别的额外基准测试
为了评估第五节B部分中的跨平台比较之外的鲁棒性，我们在DynaBARN中使用差速驱动机器人进行了额外的基准测试。这个设置提供了一个受控的基线，用于将提出的TL框架与基于TL的强化学习基线（PPO+TL和DQN+TL）和传统的局部规划器（DWA和TEB）进行比较。虽然2024-2025年发表的几项最近的跨平台导航研究与更广泛的研究背景[14]、[15]、[32]相关，但并非所有研究都可以在同一DynaBARN基准、基于LiDAR的观测设置和控制接口下进行公平比较。因此，这个基准测试比较集中在可以在统一和可重复的协议下一致评估的基线上。

基准测试涵盖了三个DynaBARN难度级别：容易、中等和困难。更高难度引入了更密集的动态障碍物和更激进的运动模式。性能使用成功率（SR）、碰撞率（CR）和到达目标的时间（TTG）进行测量，TTG仅计算在成功的试验上。对于每种方法，针对10个随机种子中的每一个执行了30个训练回合，报告的值对应于种子的平均值和标准差。图6和表2总结了三个难度级别下的基准测试结果。总体而言，Ours+TL在比较的方法中表现最佳，每个难度级别上都具有最高的成功率和最低的碰撞率。它还在所有设置中实现了最短的到达目标时间。

在容易设置中，Ours+TL达到了86.33%的成功率，2.00%的碰撞率和42.0秒的到达目标时间。DWA和PPO+TL在成功率方面仍然具有竞争力，但它们的碰撞率和穿越时间都较长。DQN+TL和TEB在安全性相关指标上的表现较差。

在中等设置中，性能差距变得更加明显。Ours+TL保持了81.33%的成功率，6.33%的碰撞率和47.0秒的到达目标时间。PPO+TL仍然是最强的基线，但在所有三个指标上仍然落后于Ours+TL。随着障碍物互动的频率增加，DWA、DQN+TL和TEB的表现显著下降。在困难设置中，同样的趋势持续存在。Ours+TL保持了75.33%的成功率，8.00%的碰撞率和52.0秒的到达目标时间，而所有基线的表现都进一步恶化。PPO+TL仍然是最接近的强化学习基线，但其成功率降至56.67%，碰撞率上升至27.67%。DWA和TEB受到的影响更加严重，DQN+TL的安全性表现最弱。这些结果表明，随着动态难度的增加，所提出的方法退化得更加优雅。

为了检验这些差异是否具有统计学意义，我们对每个难度级别上每个指标的种子结果进行了单向ANOVA分析。在容易设置中，CR（F=43.91，p<0.001）、SR（F=18.81，p<0.001）和TTG（F=166.08，p<0.001）观察到了显著差异。在中等设置中也观察到了相同的模式（CR：F=39.89，SR：F=51.01，TTG：F=78.85，所有p<0.001），在困难设置中也是如此（CR：F=46.17，SR：F=95.69，TTG：F=38.04，所有p<0.001）。这些ANOVA结果表明，在报告的协议下存在统计上显著的组级差异。

结合表2中的平均结果，这些额外的基准测试表明，所提出的方法随着动态难度的增加保持了最有利的全局性能趋势。下一小节将通过代表性轨迹来阐明这些定量差异在行为层面是如何产生的。

D. 定性分析和失败案例
为了补充第五节B和C部分的定量结果，本小节研究了DynaBARN中的代表性轨迹和失败案例。考虑了两种情况：一种是共享的“困难”场景，它在相同的动态障碍运动下对比了成功和失败的行为；另一种是共享的“中等”场景，它以犹豫或过度避免的形式展示了所提出方法的一个局限性案例。图7(a)展示了一个共享的“困难”场景，在该场景中，将所提出的方法与基线策略在相同的动态障碍运动下进行比较。所提出的方法通过在与关键障碍发生不可恢复的交互之前提前选择一条绕行路线来实现目标。尽管这条轨迹比最短的几何路径要长，但它与障碍物运动走廊保持了更大的距离，并避免了基线策略中观察到的晚期避让动作。相比之下，PPO+TL遵循了一条更短但风险更高的路线，最终导致了碰撞；而DQN+TL在靠近上部交互区域时表现出不稳定的局部行为，也失败了。这种模式与基于短视期的CA风险项的作用一致，该风险项抑制了将机器人移动到可能在不久的将来被占据的区域的行为。

图7. DynaBARN中的代表性定性轨迹和失败案例。

图8. 在四足机器人上的实际世界定性比较，涉及到静态和移动障碍物。叠加显示了机器人执行的轨迹和短视期展开情况。

图7(a)中的行为有助于解释在定量基准测试中观察到的较低碰撞率和较高的成功率。在相同的障碍物运动下，所提出的策略偏好较低风险走廊，而基线策略则更积极地选择较窄的通道。因此，所提出的方法能够安全地达到目标，而基线策略则失败了。

图7(b)展示了一个共享的“中等”场景中的代表性局限性案例。在这种情况下，所提出的方法仍然能够安全地达到目标，但只有在短暂减速或犹豫之后才选择最终的路线。这表明当多个移动障碍物在可用自由走廊中造成临时模糊性时，策略可能会变得保守。这种行为比碰撞更可取，但也表明有时为了减少碰撞率，可能需要牺牲更直接的机动或稍短的延迟。在同一场景中，PPO+TL和DQN+TL仍然容易失败，这表明所提出的策略更可靠地保持了安全性，但并没有完全消除所有动态交互中的保守行为。

这些轨迹级别的例子表明，定量上的优势主要来自于较早的风险意识绕行，而不是激进的最后一刻避让。同时，犹豫案例突显了一个重要限制：在障碍物运动模糊的情况下，转移的策略可能会选择更长的绕行路线或延迟进入安全走廊。这一限制与基于短视期的CA公式一致，当障碍物运动在一个预测窗口内变得非常不规则或突然变化时，其可靠性会降低。

E. 在实际四足机器人上的转移

最后一个实验评估了转移的策略是否可以在物理四足机器人上执行，而不仅仅是模拟环境中的执行。实际环境中引入了传感器噪声、执行不确定性、地面接触变化以及与训练和目标域适应中使用的障碍物布局不完全相同的障碍物布局。因此，这一小节的目的不是精确重现模拟器环境，而是验证转移的控制器在受控部署条件下是否能够保持安全和目标导向的行为。部署的控制器是通过所提出的TL流程获得的 Target Policy，包括LiDAR空间对齐和策略保持适应。评估遵循一个固定的室内协议，具有预定义的起始和目标位置以及固定的障碍物布局。每次试验在机器人到达目标区域、与障碍物碰撞、超过时间限制或因硬件安全原因必须停止时终止。动态交互通过沿预定义路径的人工引导运动来再现。尽管预定的路径保持一致，但每次试验的确切时间和行走速度自然会有所不同。因此，实际实验应被视为受控但非完全相同的部署验证。每种方法进行了十次试验，并使用了与模拟中相同的指标：CR、SR和TTG，其中TTG仅针对成功的试验进行计算。

表3总结了实际结果。Ours+TL的CR为10.0%，SR为90.0%，TTG为58.12秒，表明转移的控制器在实际的传感器和执行不确定性下仍然功能正常。相比之下，PPO+TL和DQN+TL在所有试验中都失败了，导致CR = 100.0%和SR = 0.0%。由于两种基线策略都没有成功完成运行，因此两种方法的TTG都没有定义。

表3 实际四足机器人上的转移结果

在物理环境中，不期望实现与模拟完全相同的一对一复制。然而，所有方法都在相同的起始-目标配置、障碍物布局和预定的人工引导运动协议下进行了评估。因此，Ours+TL与基线策略之间的定性差异仍然具有意义：所提出的策略保持了朝向目标的安全导向的进展，而PPO+TL和DQN+TL在相同的测试程序下仍然容易失败。结合模拟结果，这些试验表明所提出的转移策略在超出模拟范围的情况下仍然具有实际价值，同时仍然受到物理实验通常的可重复性限制的影响。

第六节 结论

本文提出了一个基于LiDAR的DRL导航的TL框架，用于跨不同机器人平台的导航。通过结合传感器空间对齐来减轻观察差异、策略保持适应和基于CA的预测风险塑造，系统从纯反应式导航过渡到主动安全导航。在跨平台DynaBARN测试和结构化难度层级中的广泛评估显示，与比较的经典规划器和基于转移的RL基线相比，系统在ANOVA下存在显著的群体级差异，并且平均性能始终有利。实际部署进一步验证了系统对实际不确定性的鲁棒性。未来的工作将扩展系统化的基准测试协议，并探索预测模块内的主动不确定性校准。