《Pattern Recognition》：A novel multimodal semantic–spatial representation method for embodied perception and spatial reasoning
编辑推荐：
提出基于单张RGB图像与单目深度估计的多模态语义-空间表示方法MSSR-EP，通过对象-关系三元组构建场景结构，设计传递关系学习机制解决逻辑冲突，并整合隐式空间属性，有效支持嵌入式感知与空间推理任务，实验验证无需专用传感器或3D标注即可实现高精度、逻辑一致的空间感知。
Xinyu Zhou|Xinru Tang|Bin Chen
中国电子科技大学智能计算研究所，成都，611731，四川，中国
摘要
具身感知是实现环境理解和决策的基础。多模态表示的质量及其存储范式直接影响下游任务的性能。然而，现有方法通常依赖于专用传感器或大规模标注的3D数据，导致多模态信息建模和存储的成本很高。为了解决这些挑战，我们提出了一种用于具身感知和空间推理的多模态语义-空间表示方法（MSSR-EP）。该方法不是针对显式的三维几何重建，而是对对象之间的度量关系进行建模，从而为具身任务提供足够的空间推理线索。该方法首先将单张RGB图像转换为相应的深度图，并将RGB图像和深度图作为联合输入。它从视觉观察中解析对象-关系三元组，并提取场景中的关键语义交互结构以构建初始的结构化场景表示。然后引入一种传递关系学习机制来解决空间关系中的逻辑冲突并补充缺失的关系信息。在此基础上，深度图进一步作为辅助模态纳入语义结构中。这一过程将隐式的度量级空间属性注入关系建模中，从而形成统一的语义-空间多模态表示，为空间推理和具身感知任务提供有效支持。在多个公共基准测试集以及真实世界收集的数据集上的实验结果表明，该方法能够在不依赖专用传感器或高成本存储基础设施的情况下实现准确且逻辑一致的空间感知。
引言
具身代理在动态和复杂的环境中参与感知、决策和行动[1]，[2]。它们的核心能力依赖于有效的环境理解，这通常基于多模态具身感知和长期空间记忆。多模态表示学习和视觉-语言模型的最新进展显著提高了跨模态感知和推理能力，使具身系统能够更有效地整合视觉、语言和空间信息[3]，[4]。从模式识别和计算机视觉的角度来看，这一挑战可以表述为从多模态感知输入中学习结构化和具有推理能力的场景表示[5]。在这样的表示中，语义信息和空间结构在统一的框架内共同建模。与仅关注局部外观特征的视觉表示相比，明确编码语义关系、空间结构和多模态空间线索的场景表示为推理和决策提供了更稳定和可解释的支持[6]，[7]。因此，学习有效的场景表示已成为视觉场景理解、多模态空间认知和具身智能的核心问题[8]，[9]。
如图1所示，许多关于视觉场景理解和空间表示的研究试图结合三维几何信息或结构化关系建模[10]。基于LiDAR点云或深度传感器的方法通过显式的3D建模实现了高空间精度。然而，这些方法大多依赖于专用硬件和大规模标注的3D数据，这限制了它们在一般环境中的可扩展性[11]，[12]。相比之下，基于视觉的方法通常使用深度神经网络来学习隐式特征表示[13]，[14]。近年来，神经场景表示和神经渲染取得了显著进展。基于高斯表示的3D场景建模方法进一步增强了视觉系统的几何感知和3D重建能力[15]。尽管这些方法在感知任务上取得了显著进展，但空间关系通常以分布式方式编码[16]。因此，它们缺乏显式的结构约束，难以确保关系一致性和可解释性[17]。一些方法进一步引入了符号或基于图的表示来增强其表示能力[18]。然而，它们往往依赖于强监督或手工制定的规则，使得泛化到复杂的真实世界场景变得困难[19]，[20]。总体而言，这些方法展示了视觉场景建模的潜力，同时也揭示了在低监督环境下构建统一和结构化空间表示的基本局限性。
具身人工智能研究强调了空间感知的重要性。这种表示整合了语义理解和几何推理。它们对于代理在真实世界环境中完成复杂任务至关重要[21]，[22]。为了解决上述挑战，本文提出了一种用于具身感知和空间推理的多模态语义-空间表示方法（MSSR-EP）。该方法从单张RGB图像构建统一的语义-空间结构表示。MSSR-EP方法基于结构化关系建模，并描述对象及其交互。这种形式产生了具有传递推理能力的场景描述。在此基础上，引入了一种隐式的空间感知机制，以将必要的隐式三维空间属性丰富到语义结构中。通过结合语义关系推理和空间属性建模，该方法能够在不需要专用传感器或3D注释的情况下实现复杂场景的有效表示和长期记忆。广泛的实验结果表明，我们的方法通过先进的空间表示改进了结构化场景建模和基于空间的字幕生成性能，验证了其在具身感知方面的有效性。本文的主要贡献如下：
- 我们提出了一种用于具身感知和空间推理的多模态语义-空间表示方法（MSSR-EP）。MSSR-EP框架仅依赖RGB图像和深度图作为输入，不需要3D注释或专用传感器。
- 我们设计了一种传递关系学习机制。在弱监督下，它纠正关系冲突并推断缺失的关系，提高了空间表示的完整性和逻辑一致性。
- 我们将单目深度估计作为具身感知中的空间模态，将隐式的3D空间属性注入语义结构中，以构建统一的多模态语义-空间表示，从而增强语义推理的空间连贯性。
章节片段
具身感知和多模态空间表示
在具身感知研究中，多模态空间表示旨在整合来自不同传感模式的线索，以提高代理对环境结构的理解。现有研究主要从多传感器融合、视觉主导的多模态感知和隐式空间表示的角度探讨这个问题。其中一些工作依赖于多传感器输入。这些方法融合RGB、深度或LiDAR数据来显式建模3D几何或语义图，
初步
本节介绍了我们方法涉及的关键预备知识，包括基于变换器的视觉表示、单目深度估计以及使用T5的序列到序列建模。这些组件构成了我们方法的理论基础。
整体架构
如图3所示，我们提出了一种新颖的场景图增强型三元组驱动文本生成（SGTDG）框架，用于高质量图像字幕生成。该框架包括三个模块：初始场景图生成（ISG）模块、传递性先验学习（TPL）模块和优化三元组驱动文本生成（OTD）模块。
数据集
为了评估所提出的MSSR-EP在结构化场景语义建模方面的性能，我们在两个互补的公共基准测试集上进行了实验：Visual Genome（VG）和MSCOCO Caption。这两个数据集支持场景图构建和自然语言字幕生成的评估。
VG是一个代表性的场景图生成基准测试集。它提供了对象和关系的密集注释。VG适用于评估MSSR-EP在对象级关系建模方面的性能。
结论
本文提出了一种面向推理的语义-空间联合表示框架，用于具身智能。与依赖显式3D重建或专用传感器的方法不同，我们的方法从单张RGB图像构建结构化场景表示。通过建模对象-关系三元组、引入传递关系学习机制以及结合单目深度估计，该框架捕捉了语义交互和空间结构。
CRediT作者贡献声明
Xinyu Zhou：撰写 – 审稿与编辑。Xinru Tang：撰写 – 原始草稿、可视化、验证、方法论、数据管理。Bin Chen：监督。
利益冲突声明
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：Xinyu Zhou报告称获得了中国电子科技大学的财务支持。Bin Chen报告称获得了中国电子科技大学的财务支持。Xinyu Zhou报告称获得了中央高校基本研究基金的财务支持。Bin Chen报告称获得了
