《Image and Vision Computing》：Exploring 3D point clouds with multimodal large language model (MLLM): A review
编辑推荐：
•对基于大规模语言模型（MLLMs）的3D理解能力的全面概述。•将基于MLLMs的3D理解能力分为对象级和场景级的分类体系。•对应用的任务、数据集、特征提取、对齐策略和硬件要求的对比分析。•识别关键挑战和未来的研究方向。引言大规模语言模型（LLMs）和视觉语言模型（VLMs）的最
- •
对基于大规模语言模型（MLLMs）的3D理解能力的全面概述。
- •
将基于MLLMs的3D理解能力分为对象级和场景级的分类体系。
- •
对应用的任务、数据集、特征提取、对齐策略和硬件要求的对比分析。
- •
识别关键挑战和未来的研究方向。
引言
大规模语言模型（LLMs）和视觉语言模型（VLMs）的最新成就促使研究人员将它们应用于3D视觉领域。近期研究将LLMs与3D视觉技术结合，以提高3D视觉理解任务的表现，例如常识推理、3D视觉问答、密集字幕生成和3D视觉定位。3D-LLM [1] 是最初的尝试，它通过将2D图像投影到3D空间中来引入LLM；随后3D-VisTA [3] 被开发出来，用于创建一个统一的预训练Transformer，以实现3D视觉和文本的对齐。后续研究进一步将3D表示与LLMs的能力相结合。
这些研究面临的主要挑战之一是3D图像与文本对数据集的稀缺性，相比之下，用于训练2D视觉语言模型的2D图像与文本数据集非常丰富；同时，可用于将3D特征映射到LLM空间中的强大预训练3D点云编码器的数量也有限 [4]。为了提取可以与大型语言模型的文本特征对齐的全面3D图像特征，需要采用受CLIP启发的对比学习方法来训练3D编码器 [5]。由于3D图像数据集的限制以及对比模型的计算需求较高，最近的研究如ULIP [6]、ULIP-2 [7] 和OpenShape [8] 通过使用CLIP预先对齐的图像文本特征来预训练3D编码器，从而克服了这一难题。
与此同时，人们也在致力于构建更多的3D文本对数据集，例如3D-LLM数据集 [1]、PointLLM [9]、LEO的数据集 [10]、GPT4Point数据集 [11] 和ShapeLLM数据集 [12]。这些数据集在3D图像数据的类型上有所不同：有些包含多个对象的3D场景，而有些只包含3D对象。这种差异也影响了可以应用的任务类型以及训练方法，例如，3D场景需要识别场景中的对象及其关系，而3D对象则可能需要更细致的对象细节理解。
通过LLMs理解3D点云方面已取得显著进展，新的基准数据集、方法和模型正在不断快速发展。基于此，迫切需要一个涵盖最新方法、数据集和基准的全面概述。
相关调研 最近发表了几项关于多模态3D理解的调研。Ma等人 [13] 对该领域进行了全面概述，涉及3D任务的增强、具身代理、3D生成、多任务学习和3D多模态接口。Lei等人 [14] 也进行了多模态3D场景理解的调研，并根据模态（即3D+2D、3D+语言）和任务对相关论文进行了分类。同样，Ren等人 [15] 根据技术（LLM辅助、LLM代理）和任务对现有工作进行了分类。此外，Zha等人 [16] 将3D-LLM空间推理研究分为三类：基于图像的、基于点云的和混合模态的。另一方面，Thengane等人 [17] 概述了利用基础模型进行3D视觉理解的相关工作。
相比之下，本文旨在基于3D数据的类型对现有研究进行全面回顾，并将它们分为两种不同的方法：(a) 3D场景理解（室内级别），这些研究学习场景中对象之间的关系，需要空间理解；(b) 3D对象理解（对象级别），这些研究关注对象的细节。在本文中，我们对基于多模态LLM的3D理解的最新进展进行了全面文献回顾。最近几个月该领域的快速进展带来了许多新的发展，因此需要更及时的调研来反映这些最新成果。图1展示了从2023年至今的3D-MLLM理解方法的年表概述，包括3D场景理解和3D对象理解。
综述范围 本综述仅关注室内场景和对象的3D点云数据，不包括室外3D点云。此外，我们关注带有文本指令和响应的3D理解和推理任务。我们排除了需要专门模块和专门调研论文的任务，如3D生成、渲染和导航。同时，我们也排除了特定领域应用（如医学成像和遥感），而是专注于提供文献中广泛适用于不同领域的基于MLLM的3D理解方法的全面概述。
贡献 我们的贡献可以概括如下：
•双重分类体系：我们提出了一个两级分类体系，将现有研究分为场景级（室内3D理解）和对象级（细粒度3D对象理解），提供了一个结构化的框架来比较各种方法。
•表示学习分析：我们对比了预训练的3D表示学习编码器，强调了它们的核心架构、预训练样本对的数量以及每个样本的3D点数。
•方法综合：我们全面回顾了现有方法，强调了关键组成部分，如训练策略、特征提取、与大型语言模型（LLMs）的对齐方式以及下游任务的应用。
•标准化评估：我们总结了最新的3D LLM训练数据集、每个任务的基准数据集及其评估指标，为跨研究的一致评估提供了统一的参考依据。
•挑战与未来改进：我们指出了现有方法的挑战，并提出了未来研究需要探索的开放性问题。
论文结构 本文的其余部分安排如下：第2节描述了调研方法论和论文的选择过程。第3节介绍了与3D表示和视觉语言模型相关的重要背景信息。第4节和第5节分别介绍了室内场景级方法和对象级方法，包括它们的任务、基准数据集和训练方法，第6节讨论了图2中概述的挑战。第7节总结了未来工作的研究空白。
章节摘录
方法论
本综述遵循系统评价和元分析的优先报告项（PRISMA）指南来选择相关研究。本节描述了搜索策略、数据库覆盖范围、纳入/排除标准以及用于选择待审查论文的筛选流程。
本文中为背景、定义或上下文目的而讨论的文献——但不属于此结构化搜索的一部分——被单独作为叙述性综述材料处理。
3D表示
当前的3D视觉语言理解研究基于3D表示提取。有不同类型的3D数据表示方法，如图4所示，包括点云、体素、多视图和深度图。其中，点云是最常见的表示方式。
室内场景级别
在本节中，我们将回顾目前的室内场景级方法，重点介绍不同的3D-LLM任务、基准和评估指标、训练策略和数据集、特征提取方法以及3D与LLM的对齐方式。表3从技术细节方面比较了现有模型，有助于全面了解这一新兴领域的多种方法。
对象级别
在本节中，我们将概述现有的对象级方法，介绍它们的主要任务、基准数据集、训练方法和数据集以及特征提取技术。表8根据技术特性比较了现有模型，提供了对该领域发展范围的全面视角。
室内场景级别的挑战：
回顾的论文显示了基于MLLM的3D理解领域的显著进展，然而，2D视觉语言学习与3D视觉语言学习之间存在明显差距。现有方法面临一些可能阻碍其在实际任务和应用中发展的挑战。在本节中，我们将这些挑战作为开放性问题进行强调：
•数据集挑战：3D理解任务的一个关键挑战是可用于训练的数据量
结论
本文深入分析了基于场景级别/对象级别的3D-MLMM理解的最新进展，分析了53项研究，并对几个基准数据集上的最新方法进行了比较评估，同时提供了深刻的见解。主要发现如下，随后是未来的工作：
空间和对齐模块设计。表现最好的模型得益于专门构建的关系或对齐模块，其中一些模型使用了特定的顺序
CRediT作者贡献声明
Sarah Alissa：撰写——审阅与编辑、初稿撰写、可视化、方法论、调查、形式分析、数据整理、概念化。Muhammad Usman：撰写——审阅与编辑、可视化、监督、方法论、形式分析、数据整理、概念化。Fakhri Alam Khan：撰写——审阅与编辑、可视化、监督、方法论、形式分析、数据整理、概念化。
手稿准备过程中生成式AI和AI辅助技术的声明
在准备本工作时，作者使用ChatGPT和Claude来帮助总结文献和改写部分文本以提高清晰度。使用这些工具后，作者根据需要对内容进行了审阅和编辑，并对发表文章的内容负全责。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系，这些关系可能会影响本文所述的工作。
Sarah Alissa|Muhammad Usman|Fakhri Alam Khan
