环形-球形查询融合技术在全面的3D密集场景字幕生成中的应用

《Expert Systems with Applications》：Annular-Spherical Query Fusion for Comprehensive 3D Dense Scene Captioning

　　摘要
3D密集字幕生成旨在使模型能够理解输入的3D场景，并生成与不同空间区域相关的文本描述。基于Transformer的最新方法，如Vote2Cap-DETR++，放弃了传统的“检测-然后描述”流程，采用端到端框架，其中使用投票查询来提取位置和上下文特征。然而，原始的投票查询设计在维度多样性方面存在局限性，难以捕获不同空间尺度上的上下文信息。在本文中，我们提出了一种改进的DualVoteQuery模块，该模块将多尺度特征聚合与混合环形-球形特征融合策略相结合。多尺度设计使模型能够捕捉局部几何细节和全局上下文线索，而环形-球形组合增强了空间意识和查询多样性。在ScanRefer和Nr3D数据集上的广泛实验表明，将DualVoteQuery集成到Vote2Cap-DETR++框架中，其性能可与基线方法相当或略优，并且在更强调空间几何推理的Nr3D数据集上取得了显著改进，特别是CIDEr分数有显著提升。这些结果验证了所提出模块在增强3D场景理解和提高文本描述质量方面的有效性。

引言
近年来，3D视觉-语言任务在室内场景理解、机器人感知和人机交互方面取得了显著进展。其中，3D密集字幕生成旨在同时进行3D对象定位和自然语言描述生成，提供更高级别的场景语义理解。然而，由于点云的稀疏性和现实世界环境的复杂性，这项任务仍然具有挑战性。

早期的3D密集字幕生成方法主要采用“检测-然后描述”流程，例如Scan2Cap（Chen等人，2021c）和SpaCap3D（Wang等人，2022）。这些方法首先预测对象提案，然后根据检测结果生成文本描述。尽管在某些基准测试中取得了合理的性能，但检测错误往往会传播到字幕生成阶段，且依赖于大量手工制作的组件，使得系统复杂且难以以端到端的方式进行优化。

为了解决这些问题，Chen等人（2023a）首次提出了一个基于Transformer的端到端3D密集字幕生成框架，其中并行任务头同时执行对象定位和描述生成，消除了传统流程的约束。随后，Chen等人（2024b）进一步引入了分离的[LOC]和[CAP]查询以及迭代的空间细化策略，显著提高了检测和字幕生成的性能。

然而，Vote2Cap-DETR++中的Vote2Query模块仍然存在一些局限性。其特征聚合主要依赖于Set Abstraction（SA）模块内的球形邻域，遵循PointNet++（Qi等人，2017）的传统设计。由于不同尺度下的球形邻域之间存在大量空间重叠，这种聚合策略往往会引入冗余信息并增加额外的计算开销。此外，传统的球形邻域通常采用单一固定尺度，并且是相对于查询中心采样的。在点云分布不均匀的情况下，这种固定尺度策略难以充分描述不同空间位置的几何结构，导致关键信息捕获不足。另外，球形邻域缺乏层次敏感性，因为靠近查询中心的点和远离查询中心的点在聚合过程中的处理方式相同，从而限制了局部结构建模、特征区分度和空间意识（Chen等人，2025）。为了克服这些局限性，本文提出了一个基于Vote2Cap-DETR++的改进Vote2Query模块，旨在生成更高质量的查询特征，并提高3D定位和字幕的准确性。

我们的主要贡献总结如下：
- 环形-球形联合聚合用于多尺度几何建模：我们引入环形区域采样来明确捕获传统球形邻域经常忽略的中等尺度几何上下文，并将其与传统的球形采样融合，以实现更全面的多尺度特征聚合。
- 统一特征融合和校准：我们使用基于注意力的FusionModule以及轻量级Adapter和LayerNorm来有效整合多尺度特征，同时稳定优化过程。
- 双重投票机制：设计了一种双重投票细化策略，利用聚合特征的空间偏移和语义线索来准确进行3D对象定位和字幕生成。

相关工作
在本章中，我们将简要介绍3D视觉-语言任务，重点关注3D密集字幕生成，总结该领域的当前研究进展。然后讨论现有的方法，特别是基于Vote2Query++的方法及其在3D密集字幕生成中的应用。此外，我们还将简要概述PointNet++及其Set Abstraction（SA）模块，探讨它们在点云特征提取中的作用，并指出其局限性。

方法
在Zhu等人（2022）的3D密集字幕生成任务中，输入是一个由N个点????={(????,????)}????=1∈???×(3+??)表示的3D场景，其中????∈?3表示每个点的空间坐标（即几何特征），????∈???表示额外的点属性，包括颜色、法线、高度和多视图特征。模型的目标是预测一组K个边界框-字幕对（???,???）{(?????,?????)∣??=1,?,??}，其中?????表示第i个对象的3D位置，?????表示...

实验
在本节中，我们首先介绍第4.1节中的数据集、评估指标和实现细节。然后在第4.2节中将我们改进的Vote2Cap-DETR++与之前的最先进方法进行比较。随后，在第4.3节中进行消融研究，以评估我们提出的环形-球形查询融合机制的有效性。第4.3节还提供了额外的消融实验。

结论与讨论
尽管在空间语义建模方面取得了进展，但仍存在一些局限性。当前工作主要集中在改进空间几何聚合策略上，而语言建模、跨模态对齐和上下文推理等其他方面尚未联合优化。探索这些方向是未来研究的有希望的方向。在本工作中，我们采用Vote2Cap-DETR++作为基线，并重新设计了其核心Vote Query生成模块。