类别不平衡的废弃物图像分割中的图块级监督伪标签生成

《Pattern Recognition》：Pseudo label generation under patch-level supervision for category-imbalanced waste image segmentation

　　

•构建了一个新的垃圾数据集，包含来自 12,208 张图像的 21 个垃圾类别的 40,392 个图像块，可供公开研究。
•提出了一种名为 WISNet 的新型伪标签生成方案，该方案集成了精细的特征提取和迭代图像块扩展。
•一个弱监督垃圾图像分割系统已部署在上海两个先锋住宅小区，并在现实世界实验中取得了最先进（SOTA）的性能。

引言
为了减少垃圾处理负荷并提高环境可持续性，上海已实施新的垃圾分类规定。由于许多居民对垃圾分类缺乏热情和知识，招募了一支超过 30,000 人的志愿者队伍，在全市约 21,000 个投放点监督垃圾分类。为了降低人力成本，上海市政府建立了一个名为 SMART 的试点项目，目标是在大都市规模上构建基于图像识别技术的自动垃圾分类质量评估系统。给定一张从垃圾桶顶部拍摄的图片，系统能够识别图片中包含的所有垃圾类别，从而估计错误分离的比例。

然而，在垃圾图像中识别每个类别与经典的图像分割任务有很大不同，原因有三。首先，垃圾图像更加复杂，各种类别的垃圾物体发生变形和污渍，密集分布且高度重叠。例如，如图 1(a) 所示，人眼往往很难识别垃圾图像中的所有类别。其次，垃圾类别的分布严重不平衡，导致每个类别的样本数量非常不平衡。最后但同样重要的是，现有的垃圾数据集对于现实社区垃圾图像分割来说仍然不足。一些数据集主要包含相对干净背景下的垃圾物体 [1], [2]，而其他数据集则专注于水下环境 [3] 或 X 射线垃圾检查 [4]。因此，目前仍然缺乏能够捕捉社区垃圾分类场景中混合、变形、有污渍且高度重叠的垃圾物体的现实垃圾桶数据集。

在文献中，许多分割模型 [5] 已被证明在从生物医学图像 [6] 到现实世界场景 [7] 的各种数据集上是有效的，但它们严重依赖于带有像素级注释的训练数据集。最近，弱监督学习利用简单的标签，如图像级标签 [8], [9]、涂鸦 [10] 或边界框 [11], [12]，极大地减轻了构建昂贵标记数据的难度。然而，这些弱注释并不同样适用于垃圾场景。图像级标签无法为包含多种共现垃圾类别的俯视图提供空间线索，涂鸦只提供稀疏的外观证据，而由于垃圾形状不规则，边界框往往覆盖大量背景或多个重叠物体。因此，严重有污渍和杂乱的垃圾物体严重损害了现有弱监督分割方法的性能。如图 1(d) 所示，使用 PANet [13] 配合由最先进弱监督分割方法 DuPL [9] 生成的伪标签进行训练，在此场景下仍产生令人不满意的结果，特别是在杂乱和重叠区域，小型的纸巾（Tissue）和利乐包装（Tetrapak）实例被遗漏。因此，我们提出了图像块级注释，其中每个注释作为垃圾物体内部的一个紧凑矩形区域给出，如图 1(a) 所示。这种监督形式以比像素级掩膜更低的注释成本提供了可靠的物体线索。因此，本研究旨在将低成本弱注释转化为可靠的像素级伪标签，用于类别不平衡的垃圾图像分割。

在本文中，我们提出了一种弱监督垃圾图像伪标签生成方案，称为 WISNet，以促进垃圾图像语义成分的分析。为了解决现实垃圾桶数据集缺乏的问题，我们首先构建了一个新的垃圾数据集，即 ShanghaiWaste，包含 21 个类别的 12,208 张图像。为了最小化注释成本，我们注释了垃圾物体内部的紧凑矩形区域，如图 1(a) 所示，总共产生了 40,392 个图像块。WISNet 的主要思想是首先从图像块级注释中获得像素级语义信息，然后使用生成的掩膜作为监督来训练分割模型。鉴于垃圾类别分布的不平衡，采用少样本分割框架作为下游模型。

在设计 WISNet 时主要有两个挑战如下。首先，垃圾图像的不平衡分布和图像块级注释使得为所有垃圾类别生成准确的像素级标签非常具有挑战性。为了应对这一挑战，我们提出了结合对比原型学习的凝聚特征提取（Cohesive Feature Extraction）模块，其中生成每个垃圾类别的原型，并通过将这些像素的对应特征与原型匹配，用它们为未注释像素分配伪标签。此外，为了获得稳定结果，新生成的伪标签反过来用于更新这些原型，形成一个相互强化的学习循环。此过程重复直到收敛。为了获得更准确的结果，使用 SAM 生成的掩膜 [14] 作为初始标签以丰富边界信息。得益于 SAM 在大规模数据上的预训练，尽管这些掩膜本质上与类别无关且缺乏语义意识，但它们在捕捉物体边界方面表现出色。为了弥补这一局限性，我们结合图像块级注释为 SAM 生成的掩膜分配类别信息。此外，从图像块级注释和 SAM 生成的初始标签是可信的，因此它们在每次迭代中叠加以稳定扩展过程。因此，无论是样本丰富还是样本稀少的类别都能得到很好的识别。

其次，在垃圾图像中为未注释像素分配标签是一项非平凡的任务，因为只有图像块内的像素才有语义标签。为了应对这一挑战，关键在于获得一个卓越的特征提取器，它能够有效区分垃圾图像中各种类别的复杂垃圾物体。这是通过凝聚特征提取（CFE）模块实现的。观察到同一垃圾类别中垃圾物体的图像特征存在显著差异的事实，我们进一步引入了预训练无监督分类（PUC）模块，将具有挑战性的分类任务纳入特征提取器训练过程。具体而言，在 PUC 模块中，首先使用成熟的预训练图像特征提取器将每个类别的所有图像块在特征空间内分类为不同的子类。然后，除了给定的图像块级注释外，子类信息也被用于监督特征提取器训练中设计的分类任务。因此，提取器捕捉垃圾图像多样属性的能力得到了极大增强。

我们实现了 WISNet 的原型系统并将其部署在上海两个住宅小区，以证明其实际可行性。收集到的现实世界垃圾图像被纳入我们的整体数据集构建中，我们在基准上的实验结果表明，WISNet 目前阶段在所有类别上取得了 36.61% 的最先进（SOTA）平均交并比（mIoU）。我们的主要贡献如下：(1) 我们构建了一个新的垃圾数据集，包含来自 12,208 张图像的 21 个垃圾类别的 40,392 个图像块，可供公开研究。(2) 我们提出了一种名为 WISNet 的新型伪标签生成方案，集成了精细的特征提取和迭代图像块扩展。(3) 我们将一个弱监督垃圾图像分割系统部署在上海两个住宅小区，以证明其在现实世界环境中的实际可行性。

章节片段
垃圾图像数据集
现有的垃圾数据集在覆盖现实社区垃圾桶场景方面仍然有限。AquaVision [1] 和 TACO [2] 包含数量有限且在简单场景中拍摄的图像，通常不超过 1500 张图像，且背景清晰，只有少数垃圾物体。TrashCan [3] 包含更多的图像，但主要专注于水下环境。TrashBox [15] 从网络收集图像，但其中许多可能无法准确代表实际垃圾。WIXray [4]

相对于会议版本的扩展
本文是我们早期会议论文 [40] 的扩展版本。与会议版本相比，期刊版本在两个方面扩展了工作。
首先，在方法论层面，伪标签生成阶段得到了大幅加强。在会议版本中，伪标签直接由图像块级注释初始化。在期刊版本中，引入了 SAM 生成的掩膜作为边界感知的初始区域，图像块注释用于分配

上海垃圾数据集
在上海，环卫工人如果发现垃圾未正确分类，会通过智能手机应用程序将垃圾桶顶部拍摄的照片上传到数据中心。此类图像会根据图像质量进行人工筛选，消除在极其黑暗环境下拍摄的模糊照片或由抖动的手拍摄的照片。总共，我们从当地当局收集了 15,090 张垃圾图像，拍摄于不同的室内和室外地点，范围从居民区到商业区。

概述
WISNet 旨在通过使用带有弱注释的不平衡数据集训练有效的语义分割模型，来分析垃圾图像的语义成分。如图 2 所示，WISNet 采用弱监督伪标签生成方案的流程，由以下三个组件组成：
预训练无监督分类（PUC）考虑到即使在同一垃圾类别中图像特征也存在巨大差异，PUC 模块利用一个预训练

实施
我们使用 PyTorch 实现 WISNet，并在配备 3.80 GHz Intel i7-9800X CPU 和 GeForce RTX 3090Ti 的 Linux 服务器上训练所有模型。在预训练无监督分类（PUC）和凝聚特征提取（CFE）中，VGG16 [45] 用作骨干网络，关于此选择细节见第 6.2.1 节。在 PUC 中，子类数量 K 设置为 3，确定此值的实验详见第 6.2.2 节。在 CFE 训练中，输入图像和掩膜是

结论
在本工作中，我们提出了 WISNet，一个用于垃圾图像分割的弱监督框架，连接了稀疏的图像块级注释和像素级监督。通过结合对比原型学习、无监督分类前置任务和迭代图像块扩展策略，WISNet 能够在有限的注释成本下生成可靠的伪标签并训练有效的分割模型。在 ShanghaiWaste 基准上的实验表明，该

CRediT 作者贡献声明
Shifan Zhang：撰写 – 原稿，可视化，验证，软件，方法论，数据整理。Hongzi Zhu：撰写 – 审查与编辑，监督，资源，项目管理，方法论，资金获取，概念化。Yinan He：撰写 – 原稿，可视化，调查，数据整理。Minyi Guo：撰写 – 审查与编辑，监督，资源。Ziyang Lou：资源，概念化。Shan Chang：撰写 – 审查与编辑，监督，

利益冲突声明
作者声明他们没有任何已知的竞争财务利益或个人关系，这些关系可能已被认为是影响本文报告的工作。

致谢
本研究得到中国国家自然科学基金（编号 62432008）的支持。

Shifan Zhang|Hongzi Zhu|Yinan He|Minyi Guo|Ziyang Lou|Shan Chang