面向动态通道可用性的时序预测拓扑地图(TPTM)主动机器人导航

《Biomimetic Intelligence and Robotics》:TPTM: Temporal predictive topological maps for proactive robot navigation under dynamic passage availability

【字体: 大 中 小 】 时间:2026年10月24日 来源:Biomimetic Intelligence and Robotics 8.6

编辑推荐:

  动态室内环境中时变通道可用性下的路径规划对移动机器人构成显著挑战,因为传统反应式方法通常缺乏预见性,表现为不必要的等待或频繁重规划。为缓解该局限,研究人员提出一种主动导航框架,利用学习型可通行性预测,融合用于通道可用性判断的多模态感知与用于未来状态推理的拓扑预

  
动态室内环境中时变通道可用性下的路径规划对移动机器人构成显著挑战,因为传统反应式方法通常缺乏预见性,表现为不必要的等待或频繁重规划。为缓解该局限,研究人员提出一种主动导航框架,利用学习型可通行性预测,融合用于通道可用性判断的多模态感知与用于未来状态推理的拓扑预测。具体而言,采用大型语言与视觉助手(Large Language and Vision Assistant,LLaVA)进行细粒度语义感知,生成结构化时序状态数据,以扩展传统传感器的语义能力。随后,这些数据驱动时序预测拓扑图(Temporal Predictive Topological Map,TPTM),其中使用长短期记忆(Long Short-Term Memory,LSTM)网络学习内在模式并预测未来通行概率。随后,这些概率作为预测风险因子被纳入增强A*规划器,联合优化路径长度与阻塞似然,以主动规避门相关阻塞。此外,智能重规划机制提升了不确定性下的鲁棒性。仿真与真实实验表明,所提方法有效缓解了上述缺乏预见性的问题,降低了等待时间与重规划开销,同时提高了导航效率与成功率。
一、研究背景与问题。动态室内环境中门等动态节点的通行状态随时间变化,传统导航系统多采用全局乐观规划与局部反应式避障相结合的混合策略,并通常假设时间平稳性,忽略通行状态的固有变化。初始全局路径生成后,系统容易沿用原路径并依赖局部反馈进行短期避障;当通行性变化时,机器人常出现无效等待或高代价绕行,导致短期决策次优并降低导航效率。与此同时,环境不确定性并非完全随机,自动门常呈周期性或条件依赖的循环运行,因而可从历史观察中学习时序动态,将过去经验转化为预测知识,实现前瞻性与风险感知导航。该研究旨在赋予机器人主动预判环境变化而非仅被动反应的能力,以提升动态通道可用性下的鲁棒性与效率。

二、研究开展、结论与意义。研究人员提出一种融合多模态感知与时序预测的自适应路径规划框架,主要包括:利用大型语言与视觉助手(Large Language and Vision Assistant,LLaVA;视觉语言模型)解析门相关动态节点的细粒度语义状态,将原始视觉流转换为结构化时序数据;利用长短期记忆(Long Short-Term Memory,LSTM;循环神经网络)网络学习动态节点历史状态并预测未来通行概率,构建时序预测拓扑图(Temporal Predictive Topological Map,TPTM;将静态拓扑图扩展为带时变通行概率的图);将预测阻塞概率与预测不确定性纳入增强A*(A-star)规划器代价,并设计自适应执行与预测恢复机制以在线比较等待与重规划代价。仿真与真实实验表明,该方法可缓解反应式规划缺乏预见性的问题,减少等待与重规划开销,提高导航效率、成功率与鲁棒性。其意义在于将高层语义感知、时序预测与风险感知规划连接为一体化流程,使规划由反应式转向前瞻性。

三、关键技术方法(不超过250字)。采用LLaVA-1.5-7B作为感知前端,在800幅人工标注门图像(7:3训练-验证划分)上进行领域自适应指令微调(Domain-Adaptive Instruction Tuning;以任务数据监督适配预训练视觉语言模型),冻结视觉编码器并优化语言模型与多模态投影器,将视觉流解析为结构化时序状态序列。以两层LSTM(64隐藏单元)对动态节点历史状态建模并滚动多步预测通行概率与不确定性,构建TPTM。将阻塞风险与置信边界不确定性纳入增强A*代价,并以阈值剪枝高风险节点。执行阶段通过等待与重规划两动作的期望代价比较实现在线恢复。验证使用四个仿真2D地图、CASAS数据集真实门开/关事件流及TurtleBot2真实办公室实验(Sick TiM551 LiDAR、Kinect V2)。

四、研究结果。5.1 基于LLaVA的动态语义感知(LLaVA-based dynamic semantic perception)。研究人员以800幅人工标注门图像进行领域自适应指令微调,并在来自移动机器人的500幅第一视角平衡基准图像(Open 161、Closed 169、Half-Open 170)上评估。LLaVA感知模块总体准确率达99.80%,宏平均与加权F1均为0.998;Closed状态精确率与召回率均为1.000,唯一误分类为将一幅Half-Open门识别为Open。与未微调基座模型相比,领域自适应指令微调提升了结构化输出可靠性,序列级完全匹配由0.205升至0.865。结论是该模块可为后续时序预测与风险感知规划提供足够准确的前端。

5.2 基于LSTM的时序预测(LSTM-based temporal prediction)。研究人员以10,000步二值序列模拟动态门节点,按时间顺序以前80%训练、后20%测试,并以先前50步滑动窗口预测下一状态;自相关函数(Autocorrelation Function,ACF)显示多滞后显著相关,支持采用LSTM编码历史上下文。预测网络为两层堆叠LSTM、每层64隐藏单元,后接全连接解码层与sigmoid激活,使用Adam优化器(学习率10?3、批大小64)训练50轮,损失为二元交叉熵(Binary Cross-Entropy,BCE)。测试集上均方根误差(Root Mean Square Error,RMSE)为0.031、平均绝对误差(Mean Absolute Error,MAE)为0.021。使用CASAS数据集真实门开/关事件流并按时间顺序保留最后20%测试时,1、5、10、30、60分钟预测时域准确率分别为99.79%、99.34%、98.86%、97.47%、96.10%。可靠性图与对角线紧密对齐(R=0.976),表明概率校准良好;在马尔可夫生成序列上,当过程接近独立同分布行为时准确率下降,说明性能跟随环境内在可预测性而非过拟合单一模式。结论是该LSTM预测器可为动态拓扑节点提供准确、校准且稳健的前瞻信息。

5.3 仿真中整体导航性能的对比分析(Comparative analysis of overall navigation performance in simulations)。研究人员在四个复杂度递增且含动态节点的仿真2D地图上,每图重复50次,比较A*、D* Lite、A*+DWA、A*+MPC、FreMEn与所提方法,指标包括成功率、任务时间、路径长度、重规划次数与平均阻塞次数。所提方法在各图均取得最低任务时间、平均阻塞次数与重规划次数,并取得最佳或并列最佳成功率。Map1与Map2成功率为100%,平均阻塞次数分别降至0.04与0.08,重规划次数分别为0.5与0.8;Map3中所提方法是唯一达到100%成功的方法,平均阻塞次数为0.12,低于FreMEn的0.18与A*+MPC的0.22;最难Map4中成功率达98.0%,平均阻塞次数0.14、重规划1.4,优于FreMEn(96.0%、0.24、2.3)与A*+MPC(94.0%、0.30、2.9)。D* Lite常给出最短几何路径,但其路线穿越更多时间风险通道,导致更多阻塞与重规划;所提方法接受适度绕行以规避高风险时间窗。结论是预测性前瞻在不同地图结构下可减少阻塞与重规划并提升执行效率。

5.4 真实世界实验验证(Real-world experimental validations)。研究人员在杂乱办公室环境中部署TurtleBot2平台,使用Sick TiM551 LiDAR进行SLAM/定位、Kinect V2相机供LLaVA感知,计算在配备NVIDIA RTX 4060 GPU的笔记本电脑上完成。机器人接近分叉处时,较短路线通向动态门;TPTM预测高关闭概率(1?pd(t)=0.95)并主动排除该边。执行轨迹对比显示,基线方法驶向关闭门并引发死锁与恢复,而Predictive-A*沿较长但可靠可通的替代路线避开阻塞。20次重复试验中,A*、FreMEn与所提方法成功率分别为55%(11/20)、80%(16/20)、95%(19/20),平均重规划次数分别为2.7、1.8、1.1,平均时间分别为304 s、252 s、221 s;所提方法相对基线A*将平均导航时间降低27.3%,表明预测开销被避免物理等待的收益抵消。结论是该方法在传感噪声、执行延迟与物理执行不确定性下仍支持前瞻性避阻。

五、讨论与结论。讨论指出,该框架从通道状态具有可学习时序规律的环境中获益最大;未来工作将把预测器扩展到规律性较弱的人类驱动变化,并降低基于VLM的感知计算成本,以支持更大规模部署。研究结论部分翻译如下:本文提出了一种融合多模态感知与时序预测的自适应路径规划框架,以解决门状态动态环境中缺乏预见性的问题。首先,采用视觉语言模型LLaVA将原始视觉流转换为结构化时序状态数据,以实现细粒度语义感知。基于这些数据,利用长短期记忆(LSTM)网络构建时序预测拓扑图(TPTM),使机器人能够从历史节点状态中学习内在模式并预测未来通行概率。此外,将预测风险因子纳入经典A*,使规划器能够通过联合优化路径长度与阻塞概率主动规避潜在风险。实验结果表明,所提方法在门状态导航场景中提升了性能,增强了主动机器人导航的效率与鲁棒性。在最具挑战性的仿真地图中,所提方法达到98.0%的成功率,而FreMEn为96.0%、A*+MPC为94.0%,同时将平均阻塞次数降至0.14。在真实世界研究中,该方法达到95%的成功率,并相对于基线A*将平均导航时间降低27.3%。一个局限在于,该框架从通道状态呈现可学习时序规律的环境中获益最大;未来工作将把预测器扩展到规律性较弱的人类驱动变化,并降低基于VLM的感知计算成本,以支持更大规模部署。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号