基于大语言模型的混合零样本交互式导航:语音与环境双重约束下的路径规划

《Robotics》:Hybrid Zero-Shot Interactive Navigation with LLMs: Path Planning Under Dual Constraints of Speech and Environment

【字体: 大 中 小 】 时间:2026年08月29日 来源:Robotics 3.6

编辑推荐:

  本研究提出了一种新颖的混合交互式导航框架,旨在使移动机器人在未来挑战性协作工作场景中,能够在环境与伴行人类语音的双重约束下运行。通过利用人类的感知能力,该框架显著增强了机器人的避障能力与灵活性。具体而言,研究引入了一种创新性的融合算法,将基于成本地图(cost

  
本研究提出了一种新颖的混合交互式导航框架,旨在使移动机器人在未来挑战性协作工作场景中,能够在环境与伴行人类语音的双重约束下运行。通过利用人类的感知能力,该框架显著增强了机器人的避障能力与灵活性。具体而言,研究引入了一种创新性的融合算法,将基于成本地图(costmap)的传统导航方法与新提出的大语言模型(LLM)辅助语音交互方法相结合,从而实现优势互补的实时人机协同导航。在该框架下,机器人既能依靠空间传感器进行避障,也能遵循人类的语音指令规避难以探测的危险区域。此外,研究创新性地将语音音量作为融合权重,使伴行人类能够通过音量调节自然地引导机器人。为验证所提框架与算法的可行性和性能,研究人员开展了仿真与实机实验,并通过一系列消融研究与对比分析评估了不同配置的优缺点,最终基于实验结果给出了最优配置方案。本研究拓展了导航中实时人机交互的范畴,为未来研究提供了新视角。
# 研究解读:基于大语言模型的混合零样本交互式导航框架

## 一、研究背景与问题

导航一直是移动机器人领域的核心研究方向,赋予机器人在复杂环境中自主到达目标位置的能力。传统基于成本地图(costmap)的导航方法经过多年发展已形成较为成熟的流程,具有强鲁棒性和可解释性,但其高度依赖精确的空间传感器,缺乏语义理解能力。这一局限在动态且以人为中心的环境中尤为突出。尽管已有研究尝试让机器人自主进行环境语义分割,但其泛化能力仍远不及人类水平。因此,引入伴行人类的交互式指导具有重要价值,能够弥补人与机器人在感知能力上的互补不足。

大语言模型(Large Language Models,LLMs)的出现为这一难题带来了新的解决思路。其在图像和自然语言理解方面的能力使机器人能够更自然地进行环境交互。然而,现有研究往往沿袭单一技术路线——要么完全依赖LLM输出导航指令,要么仅依靠传统成本地图方法,鲜有研究实现两种范式的有机结合。鉴于未来工作场景中将频繁出现人机协作,如何在极端情况下将自然语言指令融入导航流程,使机器人能够在语音辅助下规避难以探测的障碍,成为亟待解决的关键问题。

## 二、研究内容与意义

针对上述问题,研究人员提出了一种融合成本地图与LLM路径的混合交互式导航框架。该框架使机器人既能利用空间传感器避障,又能遵循人类语音指令规避传感器难以探测的危险区域。这一工作拓展了导航中实时人机交互的研究范畴,为未来人机协作场景下的智能化导航提供了新视角。该论文发表在《Robotics》期刊上。

## 三、关键技术方法概述

研究提出的混合导航框架主要包括以下核心技术:其一,设计了多种参数化的行动感知成本地图(Action-Aware Costmaps)变体,可根据机器人尺寸和障碍物大小动态调整;其二,采用量化的DeepSeek-R1-Distill-Qwen-7B模型作为核心LLM,通过精心设计的提示词(prompt)使其充当场景选择器,将语音指令映射到预定义指令集;其三,提出基于语音音量估计与归一化的融合权重机制,通过校准说话人平静基线音量与最大音量的偏差,将归一化后的音量映射为融合权重;其四,设计了成本地图融合算法,解决语音低频非周期与激光雷达高频更新之间的不同步问题。实验采用Unitree B2四足机器人平台,仿真与实机环境共用相同的高层导航栈。

## 四、研究结果

### 4.1 仿真环境评估

仿真实验在Gazebo环境中构建封闭房间,地面铺设红色纹理模拟激光雷达难以探测的危险区域。消融实验对比了三种管道:仅激光雷达导航、仅语音导航、混合交互导航。结果显示,仅激光雷达方法无法规避未探测危险区域(路径1穿越危险区);仅语音方法虽能按指令避障,但因缺乏感知能力导致与墙壁等障碍碰撞(路径2);唯有混合框架能够在单次交互下沿最优路径无碰撞到达目标(路径3)。在扩展场景中,研究加入5个随机放置的静态障碍物和1个移动垃圾桶动态障碍,每场景进行100次随机试验,由5位不同操作者以自然语言自由表述指令。结果表明混合框架在静态和动态场景中的成功率均显著优于单一管道。

### 4.2 真实世界评估

实机实验采用与仿真相似的场景设置。共设计6类场景:不同大小危险区域、危险区域旁放置砖块、可穿越软帘、悬崖式危险区域。每种场景下对比无语音指令、大音量语音指令、轻柔语音指令三种情况。结果显示:仅激光雷达管道无法规避难以探测的危险区域;混合框架在大音量指令下更倾向于遵循语音引导,而在轻柔音量下更依赖激光雷达避障策略。实验还验证了LLM能够有效从语音中提取障碍物大小等级(lv)并相应调整成本地图。统计结果表明,LLM响应时间始终低于200ms,端到端总延迟也保持在可接受范围内,保证了实时可行性。

## 五、讨论与结论

讨论部分指出,语音音量作为一种直观的人机交互线索具有启发式意义,但并不能保证操作者的信心或指令的正确性,当前系统通过内容和音量解析指令,尚缺乏对环境的全面态势评估。研究结论表明,所提出的混合交互导航框架有效整合了LiDAR感知与语音指令的优势,在单次交互内即可同时实现高可靠避障与危险区域规避;语音音量权重(η)被证明是一种自然且有效的调节机制;LLM的响应时延在各场景中保持在200ms以下,证实了方法的实时可行性。

未来工作方向包括:将动态障碍场景迁移至实机、系统性研究指令措辞差异对导航性能的影响、融合多模态情境线索以更好消解操作者意图、采用时间滤波或预测成本图维护压缩瞬时伪影、探索视觉语言模型生成动态成本地图,以及将交互范式扩展至多机器人或人机群协作场景。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号