重新思考静态权重:基于语言引导的自适应权重调整方法在3D视觉定位中的应用

《Knowledge-Based Systems》:Rethinking Static Weights: Language-Guided Adaptive Weight Adjustment for 3D Visual Grounding

【字体: 大 中 小 】 时间:2026年02月03日 来源:Knowledge-Based Systems 7.6

编辑推荐:

  3D视觉 grounding任务中提出LAWA框架,通过语义编码增强特征表达,结合动态权重调整模块实现语言引导的视觉编码器参数自适应,在ScanRefer、Sr3D、Nr3D数据集上准确率达86.2%、69.5%、58.4%,参数效率提升显著。

  
王宗顺|李策|冯志强|肖丽梅|王鹏成|平梦梦
兰州工业大学自动化与电气工程学院,中国甘肃省兰州市730050

摘要

3D视觉定位(3DVG)旨在利用自然语言描述在复杂的3D点云场景中准确定位目标对象。然而,当前的方法通常使用具有固定参数的静态视觉编码器来处理无限多样的语言查询。这种静态方法不可避免地导致在后续的视觉-语言融合阶段特征输入的信噪比较低。为了克服这一限制,我们提出了一个语言引导的自适应权重调整(LAWA)框架,该框架通过轻量级的语言引导策略,在早期视觉编码阶段为视觉主干网络赋予了查询感知的动态适应性。具体来说,我们首先使用对象语义增强编码构建了集成类别先验信息的视觉特征。然后,利用来自多模态嵌入的权重系数,我们采用基于低秩适应的动态权重调整(DWA)模块来更新视觉编码器注意力机制中的线性投影层和权重矩阵。这种方法使模型能够更有效地关注与文本描述在语义上对齐的视觉区域。广泛的实验表明,LAWA在ScanRefer数据集上的准确率为86.2%(Acc@0.25),在Sr3D和Nr3D数据集上的准确率分别为69.5%和58.4%,同时保持了优异的参数效率。

引言

作为具身人工智能领域的一项核心能力,3D视觉定位(3DVG)旨在在非结构化的3D环境中建立自然语言指令与物理对象之间的语义对应关系。与基于投影像素阵列的2D对应任务不同,3DVG需要解释稀疏、无序的点云数据以处理复杂的空间和属性查询[1]。这一能力对于从自主机器人导航和家庭服务机器人到沉浸式增强现实交互等下游应用至关重要,在这些应用中,基于人类意图的精确对象定位是任务执行的前提。
尽管最近多模态Transformer[2]、[3]、[4]和图神经网络[5]、[6]、[7]、[8]、[9]取得了进展,但在主流的“检测-匹配”或“端到端融合”范式中仍然存在一个根本性瓶颈:视觉编码器的“表示刚性”。传统框架通常使用静态主干网络来提取场景特征。在这种机制下,视觉编码过程对语言查询是不可知的;无论伴随的文本描述如何,网络参数在推理过程中都保持不变,从而为相同的3D场景生成相同的特征分布。如图1(a)所示,考虑一个包含“椅子”的场景,该椅子可以用不同的属性来描述,例如“椅子靠在冰箱旁边的同一面墙上”。一个预训练的静态编码器提取了一个泛化的特征向量,该向量不加区分地聚合了所有对象属性。因此,当后续的融合模块尝试将这些通用特征与特定的细粒度查询对齐时,由于缺乏区分性信号,它们经常失败,导致在包含多个相似实例(干扰项)的杂乱环境中出现误分类。核心问题是,视觉编码器只有在特征已经被提取之后才知道“要寻找什么”。
为了克服感知与意图之间的不匹配,我们认为在定位任务中,视觉感知不应该是被动的。相反,它应该是一个主动的、基于查询的条件过程。如图1(b)所示,理想的编码器可以动态调整其内部激活状态。对于基于外观的查询,它关注颜色通道;对于基于形状的查询,它关注几何结构。这在最早的编码阶段创建了特定于目标的特征分布。在这项工作中,我们提出了语言引导的自适应权重调整(LAWA)。LAWA将3DVG从静态特征匹配转变为动态参数调制。首先,场景对象语义编码弥补了原始点云中缺乏语义区分性的问题。它通过将分类置信度作为几何属性注入特征空间来实现这一点。其次,我们设计了一个条件嵌入模块,将语言意图与视觉上下文融合起来。这生成了控制权重生成的先验信号。受到低秩适应(LoRA[10]的启发,我们通过动态权重调整(DWA)模块在低维子空间中合成特定于查询的权重偏移。这使得语言输入能够主动重新校准视觉编码器的线性投影层和注意力图。因此,在融合之前,视觉特征空间与用户的语义意图对齐。
我们使用三个基准数据集验证了LAWA的有效性:ScanRefer [11]、Sr3D和Nr3D [12]。我们的方法取得了最先进的性能。在ScanRefer数据集上的准确率为86.2%(Acc@0.25),在Sr3D和Nr3D数据集上的准确率分别为68.9%和58.4%。值得注意的是,LAWA在具有挑战性的“多实例”和“视点依赖”场景中表现稳健,并且优于静态基线。我们的方法仅增加了1.72M的可训练参数,并在不同主干网络之间具有很强的可迁移性。
总结来说,我们的主要贡献如下:
  • •
    我们提出了场景对象语义编码,通过将几何特征与显式的场景对象语义融合来增强视觉编码特征的语义信息。
  • •
    我们提出了LAWA框架,该框架包括一个视觉条件编码器和一个DWA模块。利用低秩矩阵分解,LAWA高效地合成了语言驱动的动态权重调整。这种方法使得视觉编码和注意力机制能够动态调制。
  • •
    广泛的实验表明,LAWA在ScanRefer [11]上的准确率为86.2%(Acc@0.25),在Sr3D和Nr3D [12]上的准确率分别为68.9%和58.4%,显著提高了性能,同时参数开销最小。
  • 相关工作

    相关工作

    3D视觉定位(3DVG)是具身人工智能(AI)和多模态交互中的一个核心任务,旨在在非结构化的3D场景和自然语言指令之间建立深度语义关联。与2D任务[13]、[14]、[15]相比,3D空间中的对象关系表现出复杂的拓扑结构,而自然语言描述通常涉及视点依赖和细粒度的属性引用[16]、[17]、[18]。因此,模型必须具有鲁棒性

    方法

    在本节中,我们介绍了用于3D视觉定位(3DVG)的语言引导的自适应权重调整(LAWA)框架。第3.1节概述了整个架构。第3.2节解释了场景对象语义编码,详细说明了如何使用显式的类别信号来增强几何特征并改进初始表示。接下来,我们在第3.3节详细阐述了动态权重调整(DWA)机制,重点介绍了视觉条件编码器。第3.4节

    实验

    在本节中,我们在三个广泛使用的3D视觉定位基准数据集上评估了我们提出的LAWA框架:ScanRefer [11]、Sr3D和Nr3D [12]。第4.1节介绍了数据集的特点和评估指标。第4.2节详细介绍了实验设置,包括具体的实现细节和超参数配置。第4.3节,我们与其他方法进行了定量比较,并对可视化结果进行了定性分析。

    结论

    本文提出了一个语言引导的自适应权重调整(LAWA)框架。与传统的静态视觉编码不同,LAWA使用语言查询作为先验来动态调节视觉编码器的权重参数和注意力分布。这种机制有效地过滤了语义噪声,并在视觉特征编码的源阶段放大了与目标相关的信号,提供了高信噪比

    CRediT作者贡献声明

    王宗顺:撰写——原始草案、方法论、概念化。李策:撰写——审阅与编辑、监督、方法论、概念化。冯志强:验证、数据整理。肖丽梅:撰写——审阅与编辑、验证。王鹏成:可视化、验证。平梦梦:验证。

    利益冲突声明

    作者声明没有可能影响本研究结果的财务或个人利益冲突。

    致谢

    本论文的工作部分得到了中国国家自然科学基金(项目编号62363025)、甘肃省教育厅教育产业支持计划项目(项目编号2023CYZC-26)、甘肃省文化和旅游厅科学研究项目(项目编号2025KZ003)、青海高原汽车电气化和智能化技术重点实验室(QZDSZ03-202404)以及甘肃省教育创新项目的资助
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号