《Pattern Recognition》：Enhancing monocular 3D semantic scene graph prediction via cross-modality knowledge distillation
编辑推荐：
提出了一种用于3D语义场景图预测的框架。教师模型利用RGB-D数据引导基于视觉SLAM的学生模型。三种蒸馏策略分别处理类别、关系和模态差异。在3RScan上的实验验证了该方法在多种场景下的有效性。该方法能够在保持丰富语义特征的同时实现单目3D预测。
提出了一种用于3D语义场景图预测的框架。教师模型利用RGB-D数据引导基于视觉SLAM的学生模型。三种蒸馏策略分别处理类别、关系和模态差异。在3RScan上的实验验证了该方法在多种场景下的有效性。该方法能够在保持丰富语义特征的同时实现单目3D预测。
研究背景与问题
语义场景图预测（Semantic Scene Graph Prediction）通过建模场景中物体及其相互关系，为机器人、自动驾驶和增强现实等应用提供高层语义推理能力。早期方法依赖2D图像，虽富含语义信息但缺乏精确空间结构；后续引入3D点云弥补几何局限，但点云语义细节相对稀疏。多模态方法结合图像与点云，兼顾语义丰富性与空间精度，然而大多数现有流程依赖RGB-D输入，需要专用深度传感器、精细重建和大量人工标注，阻碍了大规模实际部署。近期研究尝试通过视觉SLAM（Visual Simultaneous Localization and Mapping）直接从单目或多视图图像重建点云，以降低硬件依赖，但SLAM生成的点云噪声更大、密度不均匀，导致场景图预测性能下降。本研究旨在弥合高质量RGB-D点云与噪声较大的视觉SLAM点云之间的性能差距，提出一种跨模态知识蒸馏（Knowledge Distillation, KD）框架，使基于RGB-D的教师模型将知识迁移至基于视觉SLAM的学生模型，在保持低成本的同时恢复预测性能。
研究内容与结论
研究人员设计了教师-学生双管线架构，教师模型接收RGB-D点云与多视图图像，学生模型接收视觉SLAM点云与多视图图像，两者共享相同骨干网络（ResNet18图像编码器、PointNet点云编码器、MLP边编码器及消息传递GNN）。为应对RGB-D与视觉SLAM之间的模态差异，提出了三个互补的蒸馏模块：图像相似性蒸馏（Image Similarity Distillation, ISD）利用教师与学生图像特征的余弦相似度调节点云特征对齐强度，处理视点与重建差异；图注意力蒸馏（Graph Attention Distillation, GAD）通过蒸馏FAN模块的特征级注意力分布传递关系线索；平衡知识蒸馏（Balanced Knowledge Distillation, BKD）采用类别权重与重归一化策略缓解长尾分布问题。在3RScan数据集（980/110/152训练/验证/测试场景）上的实验表明，该方法在段级和实例级任务中均取得最优结果，段级三元组R@1达40.14，物体分类R@1达65.67，谓词分类R@1达80.58，优于现有方法。消融实验证实三个模块互补有效，尤其在低频类别上显著提升性能。
关键技术方法
研究采用三种主要技术方法：其一，图像相似性蒸馏（ISD），通过冻结的ImageNet预训练编码器计算教师与学生图像特征余弦相似度，以此加权点云特征的L2对齐损失；其二，图注意力蒸馏（GAD），将教师与学生FAN模块最终消息传递层的多头特征级注意力权重按头平均并施加通道级softmax，通过KL散度对齐对应关系的注意力分布；其三，平衡知识蒸馏（BKD），基于类别逆频率定义权重并采用重归一化策略，以温度参数τ控制教师分布平滑度，分别对节点和边施加加权KL散度损失。样本来源于3RScan数据集，教师使用RGB-D传感器精确重建点云，学生使用ORB-SLAM3重建点云并采用自动分割模型生成物体段。
研究结果
定量结果：在3RScan测试集上与2D-only（IMP、VGFM）、3D-only（3DSSG、SGFN）和多模态（VL-SAT、JointSSG）方法对比，所提方法在段级和实例级的大多数指标上取得最高分，包括三元组R@1、物体分类R@1和谓词分类R@1。
类别特定结果：物体类别中，方法在多数类别上表现一致且优异，剩余错误集中在低频类别；谓词类别中，虽低频关系仍易出错，但在"connected to"和"supported by"等稀疏关系上取得顶级召回率，表明模块缓解了长尾类别错误。
消融研究：主消融实验显示，从基线逐步加入BKD、GAD、ISD，三元组R@1从51.67提升至57.01，物体mR@1从64.14提升至70.58，谓词mR@1从51.87提升至62.52，证实模块互补增强预测能力。
分布评估：按频率将类别分为头部、主体和尾部三组，最终模型在物体和谓词的尾部组性能均超过主体组（物体69.39对67.50，谓词60.00对57.97），表明模块主要缓解低频类别错误，但头部组性能在全部模块集成时略有下降，体现为提升少数类别的性能权衡。
组件消融：BKD消融证实类别权重显著提升三元组和物体mR@1；GAD消融显示其优于简单L2对齐；ISD消融表明图像相似度加权优于无权重L2和常数权重，尤其在物体mR@1上提升明显。节点与边蒸馏消融显示同时蒸馏节点和边表示效果最佳。
讨论与结论
讨论部分指出，教师模型在完整RGB-D实例上操作而学生处理过分割的视觉SLAM段，强制所有师生对进行同等强度的特征对齐可能不利，因此ISD以图像相似度作为启发式信号调节对齐强度。GAD明确约束消息传递过程中关系信息的强调方式，BKD通过类别权重放大尾部类别信号。三个模块共同应对RGB-D到视觉SLAM的模态差异，而非现有技术的简单组合。研究结论表明，所提出的跨模态知识蒸馏框架成功弥合了RGB-D教师与视觉SLAM学生之间的性能差距，在降低硬件依赖的同时保留了丰富的3D语义特征，实现了单目3D语义场景图预测，并在3RScan数据集上验证了方法的有效性与鲁棒性。
