一种用于建筑空间语义场景补全的高效单分支网络

《Neurocomputing》：An efficient single-branch network for semantic scene completion of building spaces

　　朱笃新|苏金河|黄照红|韩婷|苏佳生|蔡国荣中国厦门市集美大学计算机工程学院，邮编361021摘要语义场景完成（SSC）旨在从稀疏点云中重建完整的3D场景，同时预测其语义标签。然而，现有的SSC方法仍存在两类主要的完成误差。首先，当几何完成模块无法即时理解物体边界处的语义过渡时，往往会优先考虑表面的连续性或平滑性，从而导致不必要的过度填充。其次，在严重遮挡的区域，由于对场景上下文和物体语义的理解不足，往往会导致重建结果不合理或不完整。为了解决这些问题，我们提出了Efficient-SSC这一高效框架，它由三个互补的模块组成。首先，我们引入了结构语义联合（SSJ）模块，该模块通过结构语义注意力机制隐式地融合结构线索与语义特征，从而保持几何一致性，并减少边界清晰区域的冗余填充。其次，层次化区域结构提取（HRSE）模块通过多尺度图卷积捕捉场景布局和结构关系，为场景完成提供语义先验，进而提升完成的完整性。最后，我们设计了感知偏移估计（AOE）模块，该模块通过异构密集化策略共同优化几何结构和语义信息，实现预测性细化，提高细粒度场景细节的精确度。我们的网络采用单分支架构进行语义场景完成。所提出的方法在计算效率上表现优异，并在包括SSC-PC和NYUCAD-PC在内的多种常用基准数据集上取得了良好的性能。例如，在SSC-PC数据集上，与以往的单模态方法相比，它的mIoU和mAcc分别提升了2.54%和1.82%，同时参数数量减少了28%。引言语义场景完成（SSC）是3D场景理解中的基础任务。它的目标是根据部分[6]、[18]、[41]或稀疏[2]、[53]的点云输入，重建建筑物空间的完整3D结构，包括室内房间、立面和结构元素，同时对场景中的语义类别进行分类。这项能力对于自动化建筑检查、基于实测数据的BIM建模以及建筑环境中的智能机器人导航具有重要意义。通过利用场景完成与语义分割之间的互补性[19]、[31]，SSC已成为许多下游应用中的重要组成部分，包括自动驾驶[36]、[45]、[63]以及机器人导航[16]、[22]、[51]。该领域的最新进展[14]、[27]、[42]、[52]通常依赖于体素表示来预测占用情况和语义信息。尽管这种方案取得了优异的性能，但在高体素分辨率下会带来巨大的计算开销，限制了其在细粒度场景完成中的应用。为了解决这一局限，仅使用点云作为输入的SSC方法尤为吸引人，因为点云能够提供简单的几何表示，且无需承担提高场景分辨率所带来的高昂计算成本[56]。近年来，许多基于点云的SSC方法[50]、[56]、[64]采用了双分支架构：一个分支处理点云以完成场景重建，另一个分支处理语义特征以进行分割，然后这两个分支再被紧密融合。PCSSC-Net[64]引入了基于块的上下文编码器以及语义引导的完成编码器，利用语义线索来优化几何结构。CasFusionNet[56]则进一步强化了几何与语义之间的交互，通过密集特征融合提升了完成性能。尽管这些方法已经取得了显著进展，但从稀疏输入中全面理解建筑场景结构并准确提取边界信息仍然是一个关键的技术瓶颈。如图1中的红色框所示，现有方法在处理墙体、楼板及立面等建筑元素的结构性边界时，往往无法即时理解语义过渡[13]、[44]。因此，它们往往会优先考虑几何连续性或表面平滑性，从而导致本应保留明确建筑边界的区域出现不必要的冗余填充。另一个挑战源于遮挡现象，这类现象通常由建筑内部的家具、隔墙或结构障碍物引起，会导致点云数据中的物体呈现为不连续的片段。这使得模型难以捕捉分离区域之间的语义关联和几何连续性。虽然有一些基于学习的完成方法通过将点云划分为局部块并聚合它们来捕捉整体形态，从而取得了一定的进展[26]、[28]、[60]，但在复杂建筑环境中重建严重遮挡的区域仍然具有挑战性，尤其是当遮挡范围较大且仅靠局部线索不足以推断出正确的整体形状时。这一问题如图1中的黄色框所示。如此大面积的缺失区域需要有效的场景布局和结构关系建模，才能为场景完成提供可靠的语义先验。在这项工作中，我们提出了一种高效的单分支框架，旨在改善SSC的效率与性能平衡，该框架被称为Efficient-SSC。Efficient-SSC基于两个核心理念：首先，应更深入地利用空间结构与语义之间的内在联系；其次，应在不增加过多计算成本的情况下提升完成性能。为此，我们将点云和语义特征统一为一种表示形式，然后使用带有多个堆叠协同模块的单分支网络来进行语义场景完成。这种设计减少了双分支交互带来的信息损失，同时也避免了密集跨分支融合所带来的额外计算开销。为了解决上述问题并促进点云中的结构与语义交互，我们在每个模块中设计了三个标准化组件。首先，我们引入了结构语义联合（SSJ）模块，该模块采用跨层级特征交互机制，通过注意力机制隐式地融合结构线索与语义特征。这种设计能够保持几何一致性，避免在边界清晰的区域出现冗余填充。其次，层次化区域结构提取（HRSE）模块构建多尺度图表示，以捕捉场景布局和结构关系，从而为场景完成提供语义先验，提升完成的完整性。第三，我们设计了感知偏移估计（AOE）模块，该模块通过异构密集化策略共同优化几何结构和语义信息，实现预测性校正，提高细粒度场景细节的精确度。如图1所示，Efficient-SSC在性能与效率之间实现了良好的平衡。具体而言，它的参数数量减少了28%，而单步版本Ours-S的推理速度相比CasFusionNet提升了近90%；最强版本Ours-L则牺牲了部分推理速度以换取更高的性能。所有版本在SSC-PC[64]任务上的性能均优于以往的方法。主要贡献如下：•我们提出了Efficient-SSC，这是一种单分支SSC框架，能够在保持高效的同时提升性能。Efficient-SSC通过对点云和语义特征进行统一处理，减少了参数数量并加快了推理速度。•我们设计了结构语义联合（SSJ）、层次化区域结构提取（HRSE）以及感知偏移估计（AOE）模块，以增强结构与语义之间的交互并提升效率。这些轻量级模块在整合结构与语义信息的同时，还能提升场景感知能力，从而显著提高性能。•与以往的单模态SSC方法相比，Efficient-SSC在室内外场景中均表现出良好的性能，同时保持了出色的性能与效率平衡。•我们构建了一个建筑立面完成（BFC）数据集，用于评估遮挡条件下的室外几何场景完成情况，为未来该领域的研究提供了数据基础。本文的其余部分安排如下：第2节回顾相关研究，第3节介绍所提出的方法，第4节汇报实验结果与对比分析，第5节讨论该方法的局限性及意义，第6节对全文进行总结。相关工作语义场景完成。语义场景完成旨在从部分3D场景中推断出语义和几何信息。近年来，基于深度学习的方法大幅提升了SSC的性能。SSCNet[42]是SSC领域的早期研究成果之一，它采用端到端的编码器-解码器网络来实现场景完成。后续的研究[48]、[59]通过将先前的2D语义特征映射到体素分布中，进一步提升了多模态的互补性。此外，SPAwN[7]方法我们提出了Efficient-SSC，这是一种具有隐式特征交互功能的单分支框架，用于语义场景完成。如图2所示，Efficient-SSC的每个模块都由三个主要部分组成：（1）结构语义联合模块，（2）层次化区域结构提取模块，以及（3）感知偏移估计模块。下面将详细介绍这些模块的功能。数据集准备对于点云语义场景完成任务，SSC-PC[64]和NYUCAD-PC[12]主要针对室内环境。除了这些现有数据集之外，我们还引入了一个新的建筑立面数据集，旨在拓展语义场景完成任务在室外建筑场景中的评估范围，从而便于在建筑信息建模和数字孪生构建等实际应用中验证相关方法。SSC-PC：这是一个基于点云的基准数据集，用于讨论Efficient-SSC的性能提升得益于其本质上的表示优势，而不仅仅是参数数量的减少。双分支架构为场景完成和分割任务维护了独立的特征空间，而这些特征空间在逐级递进的过程中会逐渐分化，导致跨分支融合后的结果越来越混乱。相比之下，Efficient-SSC始终保持统一的点云表示形式，使得结构特征与语义特征能够在同一个特征空间内共同演化。t-SNE结论在本文中，我们提出了Efficient-SSC，这是一种新型的单分支框架，它能够在保持较低参数数量的同时捕捉层次化的结构细节。这种设计有助于有效完成大面积的缺失区域，并确保完成边界的精确性。大量的实验表明，Efficient-SSC在精度与效率之间实现了良好的平衡，其在语义指标方面的表现优于常见的单模态方法，同时接近多模态方法的性能水平。CRediT作者贡献说明朱笃新：写作——审阅与编辑、验证、方法论。苏金河：写作——审阅与编辑、项目管理。黄照红：方法论、形式分析。韩婷：验证、概念设计。苏佳生：可视化、研究分析。蔡国荣：项目管理、方法论、资金获取。利益冲突声明作者声明自己没有已知的、可能影响本文研究工作的财务利益或个人关系。致谢本研究部分得到了中国国家自然科学基金项目42371457和42301468的支持；部分得到了中国福建省自然科学基金项目2023J01801、2023J01799和2022J011394的支持；部分得到了中国厦门市自然科学基金项目3502Z20227048和3502Z20227049的支持；还有部分得到了中国厦门市创新项目公开竞争项目的支持，项目编号为3502Z20251012。朱笃新于2022年获得集美大学计算机科学技术系的学士学位，目前他正在该校攻读计算机工程专业的硕士学位。他的研究兴趣包括点云完成、3D重建、图像处理、深度学习理论及其在自动驾驶领域的应用。