RAVEN3D：一项旨在将视觉 - 语言推理从二维平面推进至三维世界的基准

《Neurocomputing》：RAVEN3D: A benchmark for advancing vision-language reasoning from flatland to 3D world

　　

摘要

现有的3D数据集不适合用于抽象视觉推理：它们针对的是空间理解而非规则归纳，且其平坦的单视角设计无法区分失败是源于不准确的3D感知还是抽象推理能力不足。这种模糊性掩盖了当前视觉语言模型（VLMs）在3D抽象推理中的根本局限。为此，我们提出了RAVEN3D，一个包含108,000道抽象视觉推理谜题的基准测试，将瑞文渐进矩阵（Raven's Progressive Matrices）扩展到三维空间。RAVEN3D被设计为一个诊断工具，同时实现两项能力：1) 通过多视角渲染进行受控感知扰动，将视觉变化与不变的关系规则解耦，从而能够区分感知失败与推理失败；2) 通过层次化Tier属性和三个任务家族（Single、Double、Triple）系统性地扩展组合复杂度，实现对推理在结构需求增加时如何退化的细粒度诊断。这两个设计原则首次使得能够分别诊断VLMs在3D抽象推理中的失败是源于感知局限还是推理缺陷。我们评估了25个最先进模型与人类基准的表现。结果显示存在显著差距：即使表现最好的VLMs也仅达到人类准确率的不到一半，且经过微调后仍保持这一差距。关键的是，我们的诊断设计表明失败主要归因于推理缺陷而非感知敏感性，凸显了VLMs在抽象3D推理方面的根本局限。

引言

大型视觉语言模型（VLMs）近期取得了显著进展，在视觉问答[1]、表格理解[2]、图表推理[3]和通用多模态知识推理[4]等任务上接近甚至超越人类水平。尽管如此，当前模型的推理能力仍远远落后于人类认知，揭示出其在模拟类人推理能力方面的根本局限[5][6]。特别是，人类仅从少数样本即可习得抽象规则，并将其轻松泛化到新颖情境中[7][8]。这一差距在抽象视觉推理（AVR）中表现得最为明显，后者依赖于类比推理和关系推理——人类抽象与泛化的核心认知机制[9]。然而，现有的AVR基准仍局限于二维单视角设置，VLMs的3D推理能力在很大程度上未被探索。

视觉语言模型近期已成为抽象视觉推理的主导范式，通过大规模多模态预训练在2D RPM基准上展现出有竞争力的性能。LLaVA[10]和InstructBLIP[11]（采用Flamingo式架构[12]）等模型在2D RPM变体上[13][14]展现出显著的少样本和零样本推理能力，暗示了从语言-视觉对齐中涌现的关系抽象能力。然而，这些评估仍主要局限于2D单视角设置，VLMs是否能够泛化到3D抽象推理这一问题在很大程度上仍未解答。此外，尽管将VLMs应用于3D场景的兴趣日益增长[15][16]，现有工作主要关注空间理解和物体级问答（例如CLEVR-Mat[17]），而非RPM式任务所需的组合规则归纳和类比推理。这凸显了一个关键空白：尚不存在用于评估VLMs在视角不变、层次化组合3D推理方面的原则性基准。

因此，VLMs中的3D抽象推理仍未得到充分探索，主要受限于两个关键因素。第一，现有3D数据集不适合抽象视觉推理。它们关注空间理解和物体级问答，而非规则归纳和类比补全（表1）[18][19][20]。其平坦的单视角范式既不需要多视角整合也不需要层次化组合，且有限的规模阻碍了严格评估和微调。针对3D结构的组合和关系推理基准仍然缺失。第二，感知与推理的纠缠破坏了诊断的清晰度。与2D基准不同，由于视角、遮挡和光照变化，同一3D结构可以呈现为无限多种视觉形式[21][22]。如果没有精心设计，模型会倾向于关注表面变化而非不变的结构关系，使得难以判断失败是源于感知敏感性还是真正的推理缺陷。

为解决这两个根本性挑战，我们提出了RAVEN3D——一个大规模、系统化设计的3D抽象视觉推理基准。RAVEN3D由108,000个独特的问题实例组成，通过形式化文法生成，覆盖七个属性维度（数量、颜色、类型、大小、位置、视角、层次）上的五种不同规则类型。每个实例包含一个3D上下文面板和八个候选答案，从随机视角渲染以确保感知多样性。该数据集涵盖三个组合复杂度等级（Single、Double、Triple），实现对推理能力的细粒度诊断。与现有3D推理数据集相比，RAVEN3D的实例数量是后者（例如CLEVR-Mat[17]）的五倍，并系统性地覆盖了针对层次化3D结构的组合、类比和关系推理，填补了当前基准测试领域的一个关键空白（详见表1）。除了规模和覆盖范围之外，RAVEN3D还引入了两项核心创新，如图1所示，使其区别于先前的基准。

与物体位于平坦平面上的2D基准不同，3D场景天然涉及更丰富的结构维度：物体可以堆叠、嵌套、遮挡，并沿深度和高度轴建立关系。RAVEN3D通过两个互补的设计元素捕捉了这一特性。首先，该基准引入一个专门的Tier属性来显式建模垂直堆叠——这是3D组合的一个基本方面，在2D基准中完全不存在。Tier属性控制1至3个离散层级的堆叠层数，其中每一层可以包含具有不同形状、颜色、大小和位置的物体。这一设计需要模型对物体分层、部分遮挡、深度排序和层间空间关系进行推理，这些技能对人类来说轻而易举，但对当前VLMs却具有挑战性。通过系统性地改变堆叠深度，Tier使得能够精确测量模型推理随层次化复杂度增加时的退化程度。其次，形式化文法定义了三个任务家族（Single、Double、Triple），在垂直堆叠之外系统性地扩展组合复杂度。Single配置评估单个实体内部自包含层次化结构的推理；Double配置需要解缠二元空间关系中的并行关系模式；Triple配置呈现最高的组合复杂度，挑战对物体数量、空间排列和多属性交互的推理。Tier属性与任务家族文法的结合提供了系统性地变化组合和层次化复杂度的受控机制，满足了评估3D类比和关系推理的原则性测试平台需求。

为解决感知-推理纠缠问题，RAVEN3D引入了一种受控感知扰动机制，将低级视觉敏感性与真正的推理缺陷解耦。核心思想很简单：如果同一抽象关系规则可以通过视觉差异显著的输入被感知，那么模型在这些输入中保持性能一致性的能力就揭示了其是依赖不变结构推理还是表面模式匹配。我们通过结构化多视角渲染实现这一原则：每个3D组件从随机选择的规范视角集合{FrontView, LeftView, RightView}中的一个渲染，引入遮挡和透视畸变，同时保持底层关系结构不变。这一设计具有两个作用。第一，通过消除模型可能记忆固定的2D投影模式来防止捷径学习。第二，也是更重要的是，它能够实现推理失败的诊断性隔离：比较单视角和多视角条件下的性能可以确定失败是源于感知敏感性（视角变化时性能急剧下降）还是真正的推理缺陷（无论视角如何都持续表现不佳）。这一诊断能力直接解决了感知与推理失败无法区分所带来的模糊性。

RAVEN3D定位于抽象视觉推理与3D空间感知的交叉点。与面向3D重建、物理推理或细粒度几何分析的基准不同，我们的工作专门聚焦于对不变3D结构关系进行组合推理这一认知任务。

综上所述，这些创新使RAVEN3D成为3D抽象推理的诊断性基准，具有三个关键贡献：1) 一个层次化3D组合推理框架，利用专门的Tier属性和三个任务家族，系统性地建模垂直堆叠并扩展组合复杂度，实现细粒度的诊断评估。2) 一种受控多视角机制，通过强制模型跨视角整合信息来解决感知-推理纠缠问题，确保推理基于不变的3D结构关系而非表面2D模式。3) 对25个模型的评估提供了3D抽象推理的系统性分析，揭示了：i) 零样本类比推理中存在显著的人类-VLM差距；ii) 组合推理中的不同失败模式；iii) 构建鲁棒3D视觉推理器的可行洞见。

**2D/3D AVR基准对比**

AVR任务呈现沿视觉属性变化的图像，组织为结构化格式（如矩阵），其中编码了潜在的关系规则。解决此类任务需要从观察到的模式中推断出这些规则，并将其泛化到正确答案上。然而，大多数现有AVR基准局限于狭窄的推理模式和有限的视觉原始元素，这可能引入评估偏差并限制对更一般视觉推理的研究[32]。表1比较了代表性的2D和3D AVR基准。

**动机：结构与感知挑战**

尽管2D AVR基准使得模式归纳的系统研究成为可能，但将其扩展到3D引入了独特的挑战：协调多视角感知、层次化组合以及涉及深度和遮挡的空间动态。现有的3D数据集存在根本性限制：它们过于稀缺且规模不足，无法满足严格评估的需求；狭隘地聚焦于空间推理而忽视类比和组合分析；且未能将感知与推理解耦。

**对比方法**

**最先进VLMs：** 我们的评估涵盖了最先进VLMs，选取的标准是代表当前3D抽象视觉推理在不同架构范式、规模和可用性方面的整体格局。1) 基于API的闭源模型（72B参数）代表了VLM能力的最前沿。包括GPT-5.4[50]、Gemini-2.5-Pro[4]、Claude-Sonnet-4-6[51]和Qwen系列[45][52]（Qwen3-VL-235B-Thinking和Qwen2.5-VL-72B-Instruct）。这些模型在零样本条件下进行评估……

**结论与未来工作**

RAVEN3D提出了一个新颖全面的3D抽象视觉推理基准（108,000个实例），通过三项核心贡献超越了传统的2D范式。首先，我们提出了一个层次化3D组合推理框架，通过专门的Tier属性在三个任务家族（Single、Double、Triple）中系统性地建模垂直堆叠，实现对组合复杂度的细粒度诊断评估。其次，我们设计了一种受控多视角……

**利益冲突声明**

作者声明不存在已知的可能影响本文所述工作的竞争性经济利益或个人关系。

刘福昌，2009年获南京理工大学模式识别与智能系统博士学位。现任杭州师范大学信息科学与技术学院副教授，中国杭州。研究方向包括机器视觉、计算机图形学、大语言模型和AIGC。

刘福昌|王一波|黄宗明|许彦涛|刘文浩|任剑锋|周狄彬