一种用于多模态空间表示的新型单视图点云生成模型

《Pattern Recognition》：A novel single-view point cloud generation model for multimodal spatial representation

　　• 提出了一种用于开放城市环境中的具身AI系统的3D空间感知解决方案。
• 解决了实际应用中由于相机漂移和姿态变化导致的性能下降问题。
• 设计了一种具备类似人类注意力的空间感知架构，并实现了多模态融合。
• 在KITTI数据集上，通过增加1190万个参数和30毫秒的延迟，使点云质量提高了40%。

**引言**
具身智能依赖于能够感知、推理并与周围环境交互的系统，其中具身感知是其核心能力[1]。该领域的研究在自动驾驶[2]、多机器人协作资源搜索[3]、城市无人机视觉物体搜索[4]、多任务分配[5]以及增强/虚拟现实等方面取得了快速进展，在这些应用中，多模态空间表示对于导航复杂空间至关重要。然而，由于LiDAR传感器的高成本和数据稀疏性（LiDAR点云的密度通常不到视觉图像的千分之一[6]），大规模部署仍然具有挑战性，这严重限制了几何和语义的丰富性。开放城市环境通过不可预测的动态变化[7]、[8]、移动物体的连续遮挡[9]、[10]、天气引起的传感器退化[11]、[12]以及缺失行人肢体或低矮障碍物等细微细节的稀疏点云[13]、[14]，进一步加剧了这些困难，形成了影响可靠空间表示的感知缺口。为了解决这些问题，现有研究大致可分为三个方向（见图1）。

**点云上采样**：深度学习方法如PU-Net [16]、PU-GAN [17]、Grad-PU [18] 和 LidarGSU [13] 逐步提高了上采样点云的均匀性、真实性和灵活性。然而，这些方法本质上受到原始输入质量的限制，无法恢复真正缺失的几何结构。
**改进的特征提取和多模态融合**：PointNAT [19]、DeepLA-Net [21] 以及结合通道注意力的LiDAR-RGB逐点融合[14] 等方法通过更丰富的特征表示和跨模态融合改进了感知能力[?]。尽管在算法上有效，但它们并未解决稀疏LiDAR数据中缺失几何结构的根本问题。
**点云单视图重建（PC-SVR）**：PC-SVR 直接从单目RGB图像生成点云，主要分为两种范式。生成方法从早期的编码器-解码器网络[15] 到结合NeRF渲染[20] 和去噪概率模型[25] 的扩散方法，能够生成分布广泛的点云，但在几何精度和物理尺度一致性方面存在问题。深度反投影方法遵循从图像到深度再到3D的流程[26]、[27]：Miao等人将MoGe的相对深度与Metric3Dv2的绝对尺度相结合[28]，而Lin等人基于DepthAnything3进行了实际重建[29]。虽然物理上可解释，但反投影方法严重依赖于固定的相机内参——这在实际应用中会因振动和温度变化而失效，导致严重的重建失真。

**具身智能空间感知**：自2025年以来，具身智能和单视图点云生成重塑了空间感知。Ni等人（2025年）提出了ReconDreamer，通过世界模型集成和重建-恢复循环处理单视图4D动态驾驶场景[22]。Zhang等人（2026年）引入了UniPR，实现了端到端的对象级实到仿真重建，从立体图像对中获得了0.109的SPE，但在单目场景中的表现较弱[23]。Lee等人提出了EmbodiedSplat，将Semantic 3DGS嵌入到具身任务中，使用3D Sparse U-Net和内存适配器，将GPU内存使用了67倍，并实现了实时开放词汇感知，尽管仅限于静态室内场景[24]。尽管取得了进展，但在单目泛化、动态鲁棒性和极端材料处理方面仍存在挑战；需要进一步研究几何-语义-动作的协同优化。

为了解决这些挑战，我们提出了一种轻量级的实时单视图点云生成模型（SPG），该模型集成了空间自适应卷积和多模态Transformer。从RGB图像开始，SPG通过深度估计算法生成深度图；结合的RGBD特征由空间自适应主干网络提取，通过多模态Transformer融合，然后由任务头解码以预测像素级校正向量，这些向量被添加到初始反投影的点云中。实验结果表明，这种空间敏感的多模态设计为具身代理在开放城市场景中提供了可靠且鲁棒的三维感知能力。

**本研究的主要贡献如下：**
(1) 类似人类的注意力引导的空间敏感动态卷积模块：一种具有位置自适应学习能力的动态卷积核，模拟人类驾驶员的注意力分配方式，优先处理道路中心和关键目标区域，从而减轻轻量网络中的语义信息损失。
(2) 早期跨模态融合和特征协作学习架构：RGB和深度数据从一开始就被合并为四通道输入，进行联合梯度更新，随后通过多模态Transformer进行细粒度对齐和双模态特征的全局融合。
(3) 适用于部署的轻量级和高效率推理模型：基于MobileNetV2，该模型实现了毫秒级别的推理，同时显著减少了参数数量和计算成本，满足了具身智能平台的实时部署需求。

**实验细节**
为了清晰展示PC-SVR范式的演变，并突出我们工作旨在解决的具体问题，我们在表1中总结了代表性方法及其局限。PC-SVR可以从低成本2D图像生成高质量点云，为实际场景中的点云获取提供了一种成本效益高的解决方案，而这通常需要昂贵的LiDAR系统来实现。深度学习和各种网络范式已成功应用于PC-SVR任务。

**PC-SVR的基本原理**
深度图D(ui,vi)记录了场景中每个像素对应的3D点与相机之间的欧几里得距离，其中ui表示像素的列坐标，vi表示像素的行坐标。给定相机坐标系中的3D点Pi=(Xi,Yi,Zi)T，其在图像平面上的投影像素坐标为：
ui = fx?Xi / Zi + cx·vi
fy?Yi / Zi + cy，其中fx表示x方向的焦距，fy表示y方向的焦距，cx和cy表示其他参数。

**概述**
我们设计的整个模型如图2所示。该模型流程包括四个阶段：
(1) 深度估计算法（VideoDepthAnything）生成相应的深度图；
(2) 主干网络（MobileNetV2）从结合的RGBD和DDD数据中提取基础特征；
(3) 颈部网络（多模态Transformer）集成和细化这些多模态特征；
(4) 点云生成头部回归最终的3D模型。

**实验**
所有实验均在一致的计算机配置上进行。硬件设置为NVIDIA 4090 GPU，配备24 GB VRAM。软件环境使用PyTorch。所有模型训练和测试都在KITTI [42] 和nuscenes [43]（一个具身智能数据集）上进行。训练周期设置为100次，除对应变量外，所有其他配置和环境保持不变。我们采用了Chamfer距离（CD）[15]。

**结论**
本文提出了一种基于深度感知的单视图点云生成框架，用于开放城市环境中的鲁棒空间感知。我们的贡献有三方面：
- 理论上，我们引入了SSConv，这是一种注意力引导的空间敏感动态卷积模块，模拟了类似人类的注意力分配方式，实现了位置自适应学习，减轻了轻量网络中的语义损失，从而优先处理关键道路区域。
- 方法论上，我们设计了早期跨模态融合和特征协作学习架构。

**作者贡献声明**
Zhou Xinyu：撰写 – 审稿与编辑、可视化、验证；
Zhong Muge：撰写 – 原始草稿、方法论研究；
Li Jiameng：项目管理、形式分析、概念化。

**数据的伦理和知情同意**
本文使用的所有数据均符合伦理和知情同意规范。

**资金支持**
本工作得到了国家自然科学基金（授权号62501116和92582204）和中央高校基本科研业务费（授权号ZYGX2025XJ044和ZYGX2025XJ040）的支持。

**未引用参考文献**
[53]

**利益冲突声明**
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：Zhou Xinyu报告获得了电子科技大学的财务支持；Chen Bin报告获得了电子科技大学的财务支持；Zhou Xinyu还获得了中央高校基本科研业务的财务支持。