PartDistill++：蒸馏多个基础模型用于鲁棒的3D形状部件分割

《Computer Vision and Image Understanding》：PartDistill++: Distilling multiple foundation models for robust 3D shape part segmentation

　　我们提出了一种增强框架 PartDistill++，能够从多个 2D 基础模型中蒸馏知识，用于 3D 形状部件分割。我们开发了一个知识增强模块，仔细提取每个基础模型中教师知识的有益部分，并将语义标签传播到语义无关的 SAM 分割结果上。大量实验表明，PartDistill++ 优于我们之前的工作 PartDistill，在 ShapeNetPart 和 PartNetE 数据集上分别提升了 8.1% 和 9.8% 的 mIoU，并且以显著优势超越了现有方法。

引言

近年来，基础模型（FMs）的进展（Bommasani et al., 2021），特别是视觉-语言模型（VLMs）（Zhang et al., 2024），深刻重塑了计算机视觉领域。这些模型促进了各种下游任务，如图像增强（Wei et al., 2025）、异常检测（Zanella et al., 2024）、领域自适应（Yu et al., 2025）、动作识别（Osman et al., 2024）、指称表达（Ke et al., 2023, Ding et al., 2022）和图像生成（Cheng et al., 2022）。这些应用的成功归功于 VLMs 对视觉-语言关系的广泛知识，这些知识是通过在互联网上易于获取的大规模图像-文本对训练获得的，能够弥补下游任务中真实标注的不足。

受 VLMs 在 2D 视觉中成功的启发，研究人员将其应用扩展到 3D 理解任务，特别是那些 3D 训练数据标注稀疏或缺失的任务。值得注意的是，Zhang et al., 2022b、Zhu et al., 2023、M. Liu et al., 2023、Abdelreheem et al., 2023、Mei et al., 2024 的研究利用 VLMs 进行 3D 形状部件分割，这对各种 3D 视觉应用至关重要，例如机器人操作（Aleotti and Caselli, 2012, ückermann et al., 2013, Aleotti and Caselli, 2011）、形状风格化（Michel et al., 2022）以及增强/虚拟现实（AR/VR）（Xu et al., 2022）。一种常见的范式是将 3D 形状投影为多视角 2D 图像，对图像应用 VLM 获得 2D 预测，然后将这些多视角预测转移到 3D 空间，对最终的 3D 分割进行投票（Zhang et al., 2022b, Zhu et al., 2023, M. Liu et al., 2023, Abdelreheem et al., 2023）。

然而，如 Zhang et al., 2022b、Zhu et al., 2023、M. Liu et al., 2023、Abdelreheem et al., 2023 所做的那样，直接将 2D VLM 预测转移到 3D 分割面临三个主要挑战：（I1）2D 多视角图像中不可见的 3D 区域，（I2）VLM 预测的不一致性可能导致负迁移，以及（I3）缺乏跨不同 3D 形状的知识积累。为解决这些挑战，我们之前的工作 PartDistill（Umam et al., 2024）引入了跨模态蒸馏框架，学生网络从 2D VLM 教师和输入形状的 3D 几何特征中学习，有效利用两种模态的优势。

在我们的初步工作（Umam et al., 2024）中，我们观察到虽然 VLM 对某些形状类别可以产生令人满意的预测，但对其他类别可能产生低质量结果，不同 VLM 表现出不同模式。换句话说，每个 VLM 都有其特定的优势和劣势。这引出一个问题：我们能否将多个 VLM 蒸馏到单个学生网络中，以利用它们的综合优势，同时减轻各自的劣势，而无需使用任何 3D 训练数据标注？为此，识别每个 VLM 的有益知识至关重要，同时避免降低最终 3D 分割质量的负迁移。负迁移可能源于个别 VLM 的不利知识，例如 GLIP 中的语义泄漏（L.H. Li et al., 2022），其中框预测覆盖其他语义的像素，或者 CLIP 的粗粒度预测，如图 1 中红色箭头所示。

除了语义感知的 VLM，我们还考虑视觉模型（VM），即分割一切模型（SAM）（Kirillov et al., 2023），它被设计为可提示且语义无关的分割基础模型。SAM 旨在将图像分解为空间上连贯的分割区域，并在没有语义标注的情况下使用大规模二值掩码训练。这一设计原则使 SAM 与 VLM 互补，因为它产生具有精确边界的空间连贯图像区域，之后可以利用 VLM 的信息为其分配语义标签。然而，整合这种语义无关的分割区域并非易事，因为语义标签必须传播到 SAM 分割区域上，并且当个别分割区域跨越多个语义实体时可能发生负迁移。图 1(c) 中显示了一个这样的例子，用黑色表示，一个 SAM 分割区域主要覆盖飞机机身，但部分包含尾翼。

具体而言，我们提出知识增强模块（KEM），以实现多个基础模型的蒸馏，包括语义感知的 VLM 和语义无关的 VM。重要的是，KEM 是为现实情况设计的，即基础模型产生的预测区域可能覆盖多个语义区域（即混合语义），而不是假设每个分割区域对应一个语义标签。该模块有两个关键功能：（F1）净化和（F2）语义传播。前者旨在通过过滤掉知识中不期望的部分并保留有益部分，来应对个别基础模型的噪声知识，从而防止对最终 3D 分割产生负迁移。后者旨在通过从 VLM 学习语义，将合理的语义标签传播到语义无关的 VM（即 SAM）分割区域上。这两个功能通过学习从与每个 VLM 分割区域相关的二值掩码到分割目标的映射来实现，该目标利用教师和学生知识进行估计。我们扩展了初步工作（Umam et al., 2024）的流程，纳入该模块，命名为 PartDistill++。

与 PartDistill 类似，PartDistill++ 采用教师-学生模型，基础模型作为 2D 教师网络，学生网络基于 3D 点云骨干网络开发，如图 1 所示。学生网络接受形状的点云，而教师网络接收多视角图像和文本提示，产生 2D 预测作为 2D 知识。为清晰起见，图中仅显示每个基础模型的一个 2D 预测。然后将该 2D 知识转移到 3D 空间作为 3D 知识，并通过知识增强模块过滤掉不期望的部分。例如，模块过滤掉 GLIP 中的语义泄漏，并净化可能覆盖多个语义的 SAM 分割区域（见图 1 中的红色箭头）。此外，它将语义标签传播到最初语义无关的 SAM 分割区域（图 1 中用黑色表示）。最后，将增强后的知识蒸馏到 3D 学生网络中，丰富蒸馏过程。

虽然 PartDistill++ 建立在与 PartDistill 相同的教师-学生蒸馏框架上，但它引入了几个实质性的方法变化。首先，PartDistill++ 用可学习的模块 KEM 替代了基于置信度的重新评分策略，后者会统一惩罚整个知识单元，并可能留下不期望的部分。KEM 选择性地保留每个教师预测中的有益区域，同时过滤掉不期望的部分，使 PartDistill++ 能够以比 PartDistill 更细的粒度操作，更有效地处理噪声和混合语义的教师输出。其次，PartDistill++ 引入了迭代精炼机制，在训练过程中逐步改进 KEM 产生的增强知识和学生预测。相比之下，PartDistill 采用单次重新评分而没有反馈，限制了其跨形状积累和精炼知识的能力。第三，PartDistill++ 将框架推广到纳入语义无关的基础模型（如 SAM），通过语义传播实现，这是 PartDistill 不支持的。这一扩展使得能够有效利用高质量边界信息，而这无法通过原始公式实现。

在这项工作中，我们扩展了初步研究 PartDistill（Umam et al., 2024），以实现更鲁棒的 3D 形状部件分割。我们的主要贡献如下。首先，我们提出增强框架 PartDistill++，能够从多个基础模型中蒸馏知识——包括语义感知的 VLM 如 CLIP（Radford et al., 2021）和 GLIP（L.H. Li et al., 2022），以及语义无关的 VM 如 SAM（Kirillov et al., 2023）——利用每个模型的优势。其次，我们开发了知识增强模块，仔细提取每个基础模型中教师知识的有益部分，并将语义标签传播到语义无关的 SAM 分割区域。第三，大量实验表明，PartDistill++ 优于我们之前的工作 PartDistill（Umam et al., 2024），在 ShapeNetPart（Yi et al., 2016）和 PartNetE（M. Liu et al., 2023）数据集上分别提升 8.1% 和 9.8% 的 mIoU，并以显著优势超越现有方法。

章节片段

基础模型

基础模型（FM）是在大规模数据集上训练的，可以有效地适应各种下游任务（Bommasani et al., 2021）。FM 可以产生直接预测（Radford et al., 2021, L.H. Li et al., 2022, Kirillov et al., 2023）或生成用于进一步处理的中间表示（Caron et al., 2021, Oquab et al., 2024）。根据数据域，与本研究相关的两种主要 FM 类型是视觉模型（VM）（Kirillov et al., 2023）和...

提出方法

我们通过概述介绍我们的方法，然后详细说明 2D 和 3D 知识表示以实现无缝转移。接下来，我们描述用于净化知识和传播语义标签的知识增强模块，然后是优化过程和实现细节。

数据集与评估指标

我们使用两个主要基准数据集，ShapeNetPart（Yi et al., 2016）和 PartNetE（M. Liu et al., 2023），来评估我们方法的性能。ShapeNetPart 有 16 个类别，共 31,963 个形状，而 PartNetE 包含 45 个类别的 2,266 个形状。采用分割结果与真实标签之间的平均交并比（mIoU）（Mo et al., 2019）作为测试集数据的评估指标。遵循 PartDistill（Umam et al., 2024），我们首先...

结论

在这项工作中，我们扩展了初步研究 PartDistill，开发了一个更鲁棒的 3D 形状部件分割框架，命名为 PartDistill++。通过利用多个基础模型（FM）的优势，包括语义感知和语义无关的 FM，PartDistill++ 有效解决了将 2D FM 预测转移到 3D 分割的挑战。知识增强模块的引入，具有净化和语义传播功能，...

CRediT 作者贡献声明

Ardian Umam：写作——初稿、可视化、方法学、调查、形式分析、数据管理。Cheng-Kun Yang：写作——初稿、验证、方法学、调查、形式分析。Min-Hung Chen：写作——审阅与编辑、验证、方法学、形式分析。Jen-Hui Chuang：写作——审阅与编辑、验证、调查、资金获取。Yen-Yu Lin：写作——审阅与编辑、验证、方法学、资金获取、概念化。

利益冲突声明

作者声明，他们不知道任何已知的竞争财务利益或个人关系，可能影响本文报告的工作。

Ardian Umam|Cheng-Kun Yang|Min-Hung Chen|Jen-Hui Chuang|Yen-Yu Lin