基于组合视觉语言模型的3D高斯泼溅零样本指代分割方法Agent3DRES

《IEEE Access》：Agent3DRES: A Training-Free Agentic Framework for 3D Referring Expression Segmentation in 3D Gaussian Splatting Scenes

　　

摘要：

3D高斯泼溅（3DGS）已成为具身智能体、增强现实（AR）系统和场景理解流水线的默认3D场景表示，但现有工作缺乏一种无需训练的方式，将自由形式的指代表达——如“窗户旁的椅子”——锚定到此类场景中的正确3D原语。现有工作同样缺乏全监督的通用替代方案：唯一已发表的方法ReferSplat从成对的语言–掩码监督中学习每个高斯的指代特征，而大多数部署环境并不具备此类数据，这使得指代分割在3DGS上缺乏无需训练的立足点。我们提出：如果一个智能体通过对高斯的显式推理来组合冻结的、现成的视觉–语言模型和检测模型，而非学习一个新的端到端映射，能否在零梯度更新的情况下弥合这一差距，并仍然泛化到未见过的场景和表述方式。Agent3DRES的答案是肯定的：因为推理发生在显式的、可检查的场景表示之上，而非重新训练的权重之上，同一系统可以在场景、领域和指代风格之间无更改地迁移。本文组织其余一切内容的核心结论是明确的：用预言机级别的语义标签为候选进行播种——这是一个诊断上限，而非本文所针对的可部署场景——在mIoU上产生了54个百分点的波动（在我们的80场景真值基准GT80上，从1.80%升至56.75%），而我们在此之后构建的每一个消歧策略都运行在该上限之内。在无需特权信息的现实设定下，全量ScanRefer验证集（9508个查询）的mIoU为40.24%。除候选播种之外，我们研究了三种消歧模块，并如实报告了结果：每个模块在方向上都有用，但没有一个能可靠地胜过免费基线。在开放词汇的Ref-LERF诊断集上，Agent3DRES达到了20.9%的平均2D掩码IoU，而重建粒度的上限约为35%；一个遮挡感知的覆盖层使系统能够直接拒绝某个查询……

显示更多