面向鲁棒语义场景理解的层次化多视图对齐与自适应原型压缩

《Pattern Recognition》：Hierarchical multi-view alignment with adaptive prototype compression for robust semantic scene understanding

　　

• •
  几何、外观和语义被建模为三种异构视图。
• •
  跨视图注意力在全局层面对异构表示进行对齐。
• •
  空间自适应门控保留边界并防止过度平滑。
• •
  原型压缩控制持续演化表示中的冗余。
• •
  该框架实现了卓越的语义精度和重建完整性。

引言

多视图学习整合从不同统计视角描述同一底层实体的观测 [1], [2]。相关的神经映射系统进一步激发了这一观点 [3]。语义神经隐式SLAM是一个特别具有挑战性的实例：几何描述空间结构，外观携带光度细节，语义提供类别抽象，同时所有三种表示随着新帧的处理而演化 [4], [5]。近期的稠密跟踪和语义映射方法也说明了这种演化场景 [6], [7]。这些视图是互补的但不可互换。它们的维度、噪声模式、空间支撑和可靠性各不相同，因此直接拼接或单一的静态融合算子可能传播不可靠的证据，模糊物体边界，并允许冗余语义特征随时间累积 [8], [9]。这个问题在语义隐式SLAM流程中也可见 [10]。本文解决的核心研究问题是，当异构视图仅部分对齐且其分布在在线优化过程中变化时，如何维持语义判别性强且计算紧凑的统一表示。这个问题包含两个角色不同的耦合需求。首先，跨视图交互应减少阻碍语义推理的差异，同时保留有用的模态特定信息。其次，表示应随时间受调控，以免重复观测产生不受控的冗余或特征漂移。将两个需求都视为普通特征融合会掩盖它们的不同角色，并使结果系统难以解释。现有的神经隐式SLAM方法主要优化几何-光度一致性，语义通过直接预测、着色、拼接或浅层协作引入。这些设计可以生成准确的地图，但跨视图对应关系通常隐含在重建损失中。通用的多视图融合方法更明确地在模态间交换信息，但它们通常针对静态样本设计，未处理在线映射中持续变化的特征群体。同样，传统的原型学习压缩静态数据集，但不直接调控演化的场景表示。因此，方法论差距在于在单个语义映射系统中联合设计定向跨视图对齐和在线冗余控制。我们使用层级多视图对齐（HMVA）和自适应原型压缩（APC）来解决这一差距。在全局层面，几何用作查询，语义用作键以建立结构对应关系；产生的亲和权重聚合外观值以细化语义证据。第二次语义-外观交互将细化后的信息传播到外观特征。在局部层面，卷积细化恢复短程判别力，归一化空间门根据位置依赖的可靠性选择视图贡献。APC进一步将语义特征锚定到类别感知的运行原型上并在线更新它们，减少冗余并提高演化语义表示的稳定性。主要贡献总结如下：

• •
  我们将语义神经隐式SLAM表述为演化的多视图表示学习问题，其中几何、外观和语义需要在线协调，同时语义表示保持紧凑和稳定。
• •
  我们提出HMVA，一种层级多视图对齐模块，它使用几何-语义对应关系聚合外观证据，并结合局部结构细化和归一化空间门控，从异构的几何、外观和语义线索中产生更具判别力的语义表示。
• •
  我们提出APC，一种自适应原型压缩机制，它使用类别感知的原型组织在线语义特征并持续更新紧凑锚点，以减少表示冗余并提高时间稳定性。
• •
  我们在Replica和ScanNet上进行了全面实验，包括重建、定位、语义分割、运行时评估、模块消融、跨视图差异分析和原型敏感性研究，证明了所提出框架的有效性和鲁棒性。

章节摘要

神经隐式SLAM作为多视图表示学习

传统的SLAM系统依赖于显式特征提取和几何优化。ORB-SLAM [11]、ORB-SLAM2 [12]、ORB-SLAM3 [13] 和 VINS-Mono [14] 在不同传感器配置下展示了鲁棒的定位能力，但它们严重依赖稀疏的手工特征，这限制了它们在无纹理或退化条件下的鲁棒性 [15], [16]。

近期的神经隐式SLAM方法将映射重新表述为学习的连续表示问题。诸如 iMAP [17] 等方法，

方法

我们提出了一个框架，HMVA和APC通过跨视图对齐和在线表示调控共同支持演化的多视图学习。设几何 $G$、语义 $S$ 和外观 $A$ 表示与同一组采样空间位置相关的异构特征视图。HMVA将它们映射到共享的交互空间，并通过三个阶段减少以语义为中心的差异：全局对应、局部判别和可靠性感知融合。APC随后

数据集。

为了评估所提出的用于语义3D场景理解的层级多视图对齐与自适应原型压缩框架，我们在具有语义标注的合成和真实世界数据集上进行了实验。在我们的公式中，几何结构、视觉外观和语义线索被视为同一场景的三个异构但互补的视图，并在统一的表示空间中联合建模。

对于重建评估，我们使用八个

优势。

本工作将语义神经隐式SLAM表述为演化的多视图表示问题，并分离了两个常被混淆的需求：组织当前步骤的异构证据和调控跨步骤的表示。HMVA使用几何条件对应、局部判别和归一化门控来对齐语义与结构和外观证据。APC使用在线类别感知原型来限制表示增长并跟踪

CRediT作者贡献声明

陆丹琪：写作 – 审阅与编辑，方法论，概念化。徐斌：调查研究。黄昌鑫：监督指导。陈壮壮：写作 – 审阅与编辑。林之良：写作 – 审阅与编辑。杨浩：可视化。刘翔：项目管理，监督指导，写作 – 审阅与编辑。李建强：监督指导。

资金支持

本工作部分由国家杰出青年科学基金（编号：62325307）支持，部分由国家自然科学基金重大科研仪器研制项目（编号：62527809）支持，部分由深圳市重点产业研发计划项目（编号：ZDCY20250901102300001）支持，部分由国家自然科学基金委员会（编号：62373257、62473264、62203134、62403325）支持，部分由广东省自然科学基金

利益冲突声明

作者声明以下财务利益/个人关系，可能被视为潜在利益冲突：李建强报告称，国家自然科学基金国家杰出青年科学基金项目提供了财务支持和论文出版费用。李建强报告称，与国家自然科学基金国家杰出青年科学基金项目有关系，包括：资助拨款。李建强有

陆丹琪是深圳大学人工智能学院的博士研究生。她于2023年获得广东工业大学学士学位。她的研究兴趣包括语义SLAM、神经隐式映射、3D语义场景理解和具身感知。

陆丹琪|徐斌|黄昌鑫|陈壮壮|林之良|杨浩|刘翔|李建强