《Robotics》:Soft Prompt Tuning for Multilingual Natural Language Understanding in Human–Robot Interaction with Bidirectional Cross-Attention
编辑推荐:
自然语言理解(Natural Language Understanding, NLU)使人机交互(Human-Robot Interaction, HRI)更加直观。它需要对意图分类和命名实体识别(Named Entity Recognition, NER)进
自然语言理解(Natural Language Understanding, NLU)使人机交互(Human-Robot Interaction, HRI)更加直观。它需要对意图分类和命名实体识别(Named Entity Recognition, NER)进行联合建模。现有方法存在三个关键局限性:在领域特定的HRI数据上对大型多语言预训练模型进行微调会产生高昂的计算开销;意图分类和NER通常被视为独立任务,尽管它们在语义上相互依赖;据研究人员所知,针对印度语言的标注HRI数据集尚属空白,这限制了系统对母语社区的可访问性。本文提出了SoftPromptIndicBERTCRF,一种基于冻结的3340万参数IndicBERT骨干网络的参数高效多语言NLU架构。该架构将50个从任务特定HRI词汇初始化的可学习软提示令牌(soft prompt tokens)前置到输入序列中。一个具有8个注意力头的双向交叉注意力模块(bidirectional cross-attention module)对意图与NER之间的相互依赖关系进行建模。条件随机场(Conditional Random Field, CRF)解码器在实体解码过程中强制执行有效的BIO(Begin–Inside–Outside)标签序列。研究人员为英语、印地语和马拉雅拉姆语构建了自定义HRI数据集,涵盖13个意图类别和7种实体类型。所提出的框架在三种语言中的意图检测准确率达到99.35%,NER F1分数达到98.77%。涉及ASR转录和NLU推理的端到端流水线在三种语言中的平均延迟为0.78至0.92秒,从而验证了其在机器人实时应用中的实用性。
一、研究背景、现存问题与研究意义
随着服务机器人在家庭、医疗和工业环境中的日益普及,对自然、直观的命令接口的需求不断增长。自然语言理解(Natural Language Understanding, NLU)构成了这些接口的认知核心,使机器人能够解析语音命令并将其映射为可执行动作。在人机交互(Human-Robot Interaction, HRI)应用中,两个最关键的NLU组件是意图分类(intent classification)和命名实体识别(Named Entity Recognition, NER)。这两个组件并非独立,例如导航命令期望的实体类型与抓取放置命令完全不同,而多个实体类型的共同存在本身就是复合意图分类的一个强判别信号。因此,它们的联合预测是实现可靠机器人任务执行的基础要求。
然而,现有方法面临三大关键局限。首先,在领域特定的HRI数据上对大型多语言预训练模型进行全量微调计算成本高昂,且在小数据集上容易导致灾难性遗忘,这对本就缺乏标注数据的低资源印度语言尤为关键。其次,意图分类和NER通常被当作独立任务处理,忽略了它们之间的语义相互依赖性。第三,据研究人员所知,针对印度语言的标注HRI数据集尚属空白,这限制了系统对母语社区的可用性。
为解决这些问题,本文提出了一种名为SoftPromptIndicBERTCRF的参数高效多语言NLU架构。该架构通过冻结IndicBERT骨干网络并引入任务特定软提示初始化、双向交叉注意力机制以及条件随机场(Conditional Random Field, CRF)解码器,实现了在英语、印地语和马拉雅拉姆语上的高精度联合意图分类与NER,同时保持了极低的参数量和计算开销,非常适合部署于计算资源受限的边缘机器人平台。此项研究填补了印度语言HRI数据集的空白,并为低资源语言环境下的HRI应用提供了具体可行的实现框架。
二、关键技术方法概述
研究人员采用的主要技术方法包括:
- 1.
参数高效微调策略:冻结3340万参数的IndicBERT多语言预训练模型作为骨干编码器,仅通过训练少量附加参数实现领域适应。
- 2.
任务特定软提示初始化:在输入序列前添加50个可学习的连续向量(软提示),并使用从任务特定HRI词汇中提取的关键词而非随机值来初始化这些提示嵌入,以加速收敛并提升低资源场景下的适应性。
- 3.
双向交叉注意力模块:设计了一个包含8个注意力头的模块,显式建模意图分类(句子级)和NER(令牌级)之间的相互依赖关系。该模块包含两个子模块:令牌感知意图注意力(Token-Aware Intent Attention),让意图表示关注所有令牌以丰富自身;意图感知令牌注意力(Intent-Aware Token Attention),让每个令牌关注全局意图上下文以优化自身表示。
- 4.
CRF解码器:在NER任务中使用条件随机场(CRF)解码器,强制学习有效的BIO(Begin–Inside–Outside)标签序列转换规则,确保实体边界和类型的合法性。
- 5.
多语言HRI数据集构建:研究人员为英语(7320样本)、印地语(6686样本)和马拉雅拉姆语(626样本)手工构建了专门的HRI数据集,覆盖13个意图类别(包括复合意图)和7种实体类型,并通过同义词替换、填充词插入、字符级噪声注入和回译等方法对训练集进行了增强。
三、研究结果
1. 多语言模型在意向和NER性能上的评估
通过与多种基线模型(如mBERT、MuRIL、Joint Seq、SF-ID等)的对比,研究人员发现,所提出的SoftPromptIndicBERTCRF模型在意图准确率和NER F1分数上均达到或接近最优水平。例如,其平均意图准确率为99.35%,平均NER F1为98.77%,性能与拥有2.36亿参数的MuRIL模型相当,但总参数量仅为3880万,其中可训练参数仅占13.78%(约534万),展现了卓越的参数效率。消融实验证实,软提示、领域特定初始化、双向交叉注意力、CRF解码器和NER损失加权等各组件的逐步集成带来了性能的累积提升。在仅含原始非增强话语的留出测试集上,模型仍达到了99.0%的意图准确率和98.2%的NER F1分数,证明了其泛化能力。
2. 双向交叉注意力机制的评估
为评估双向交叉注意力机制的有效性,研究人员将其与四种基线联合建模架构(Joint Seq、Attention、Slot Gate、SF-ID)进行了比较。结果显示,所提出的Cross Attention with CRF模型在所有三种语言和两项任务上均取得了最佳性能,例如在英语上达到99.46%的意图准确率和98.52%的NER F1,在马拉雅拉姆语上更是达到了99.97%的意图准确率和99.35%的NER F1。这证明了显式的双向跨任务注意力能够比单向或迭代耦合方法捕获更丰富的语言依赖关系。
3. 参数高效微调策略的评估
研究人员将所提出的软提示微调方法与全量微调、自适应层微调、LoRA和前缀微调等策略进行了对比。结果表明,虽然全量微调达到了最高的平均性能(意图准确率99.45%,NER F1 99.21%),但其每轮训练时间最长(147.2秒)、GPU内存消耗最高(约3.9GB)、收敛所需轮次最多(24±2轮)。相比之下,所提出的软提示微调方法在仅使用13.78%可训练参数的情况下,取得了99.35%的平均意图准确率和98.77%的平均NER F1,训练时间减少28.5%,GPU内存降至约2.6GB,在参数效率与任务性能之间达到了最佳平衡。
4. 在ROS2仿真中的端到端验证
在Gazebo Classic仿真环境中,研究人员将模型部署到一台配备差分驱动底盘和六自由度机械臂的服务机器人上,使用ROS2 Humble进行控制。通过发出英语、印地语和马拉雅拉姆语的语音命令,系统成功完成了导航、操作和复合任务。例如,对于马拉雅拉姆语命令“拿起这个蓝色杯子放在桌子上”,系统正确识别了复合意图compound_pick_place及其实体(OBJECT: ‘?????’,COLOUR: ‘???’,LOCATION: ‘?????????’),并结合YOLOv8目标检测和MoveIt2运动规划,成功执行了抓取和放置动作。在36项结构化命令试验中,整体任务执行成功率达94.44%,其中导航和操作任务成功率为100%。端到端流水线(包括ASR转录和NLU推理)的平均延迟为英语0.78秒、马拉雅拉姆语0.90秒、印地语0.92秒,验证了其实时应用潜力。
5. 在实体服务机器人上的硬件验证
在物理机器人平台上进行的硬件验证考虑了环境噪音水平(低、中、高)和说话者类型(母语者与非母语者)两个因素。系统展示了从语音输入到机器人动作执行的完整流程,例如成功执行了印地语复合命令“把这个三明治放在架子上”。实验结果进一步证实了该系统在实际运行条件下的鲁棒性和有效性。
四、总结与结论
本文提出了SoftPromptIndicBERTCRF,一种用于多语言人机交互(HRI)的参数高效自然语言理解(NLU)架构。该架构的核心创新在于:(i) 冻结IndicBERT骨干网络,仅通过软提示进行领域适应;(ii) 利用任务特定HRI词汇初始化软提示,实现快速收敛;(iii) 采用双向交叉注意力模块显式建模意图分类与命名实体识别(NER)之间的相互依赖关系;(iv) 使用条件随机场(CRF)解码器强制执行有效的BIO标签序列。通过在英语、印地语和马拉雅拉姆语的自建HRI数据集上进行全面评估,所提出的模型在意图检测上达到了99.35%的准确率,在NER上达到了98.77%的F1分数,同时仅训练了3880万总参数中的13.78%(约534万)。端到端流水线延迟为0.78至0.92秒,满足了实时机器人控制的要求。在ROS2仿真和物理机器人平台上的验证进一步证实了该系统的实际效用。此项工作不仅提供了一个高性能的多语言NLU模型,还为在低资源语言环境下创建人机交互应用提供了具体框架,通过结合参数高效的适应方法和嵌入式机器人上的实际部署,为实现计算能力受限机器人上的多语言HRI模型提供了一条可行路径。