简单而有效的特定领域图像无监督分类：真菌图像案例研究

《Computers and Electronics in Agriculture》：Simple but effective unsupervised classification for specified domain images: a case study on fungi images

　　

• 针对专业领域图像实现简单而有效的无监督分类。
• 在公开和私有真菌数据集上分别达到94.1%和96.7%的准确率。
• 性能超越现有方法。
• 形成面向专业领域的自动图像分析闭环。
• 加速AI应用中专业领域数据集的构建。

## 引言

高质量的标注数据集对于充分释放深度学习的能力至关重要。借助ImageNet（Deng等，2009）、COCO（Lin等，2014）和Open Images Dataset V4（Kuznetsova等，2020）等大规模数据集支持的有监督深度学习模型，在通用图像分类中已达到与人类相当的准确率（Simonyan和Zisserman，2014；Tan和Le，2019）。此外，它们在图像分割（Long等，2015；Carion等，2020）和生成（Goodfellow等，2014；Karras等，2020）方面也取得了显著进展。

通用图像捕捉的是日常生活中常见的场景，而专业领域图像则涉及更为罕见的主题，包括天文图像（York等，2000；Zhou等，2022）、真菌图像（Luo等，2019）和水生植物图像（Madsen & Wersal 2017）。此外，专业图像往往涉及专业设备的采集，包括医疗X射线机（Huda & Abrahams，2015）、超声设备（Liu等，2019）和高光谱成像设备（Zhang & Du，2012），如图1所示。受通用领域成功经验的推动，众多专业领域正在积极收集并标注数据（Litjens等，2017；Zhou等，2022；Fang等，2023；Dai等，2023），为AI在各垂直领域的应用奠定基础。

传统的人工数据标注既昂贵又耗时。此外，领域特定数据的标注往往需要专业知识，使得高效准确的标注更加困难。例如，通用图像数据集ImageNet需要大量标注员投入数年才能完成精确标注（Deng等，2009）。同样，在天文学领域，GalaxyZoo数据库依赖数十万志愿者，花费数月时间才完成标注（Lintott等，2008）。我们此前的工作（Zhou等，2022；Fang等，2023）表明，由于标注员缺乏领域专业知识，GalaxyZoo数据集存在主观偏差。虽然人工标注对图像识别至关重要，但其高昂的成本和有限的可扩展性使其不适用于其他专业领域的图像分类。因此，缺乏标注数据的专业领域图像迫切需要创新的自动标注方法。

在传统有监督学习中，特征提取模块（如卷积神经网络CNN）（Conneau等，2016）和分类器（如多层感知机MLP）（Zhou等，2020；Kruse等，2022）通常同时训练。然而，这种联合训练需要大量且高精度标注的数据集来引导模型从众多可能性中辨别有效特征，并理解特征与标签之间的关联。例如，先前的工作（Fang等，2023）指出，要识别星系旋转特征，必须包含涵盖广泛角度范围图像的训练集。在标注数据稀缺的专业领域中，无论是特征提取还是分类模块都无法获得最优训练。这种不足严重阻碍了有监督模型的性能。为应对专业领域中标注数据不足的缺陷，研究人员正在探索替代训练策略：即基于自监督学习的分类方法和基于无监督学习的分类方法。

**基于自监督学习的分类方法。** 该方法的基本前提是将特征提取与分类器训练分离。研究表明，特征提取不一定需要人工标注的指导（Ericsson等，2022；Jing和Tian，2020；Kumar等，2022；Ohri和Kumar，2021；Zhou等，2022；Zhou等，2024）。在大规模图像数据集上预训练的模块，如视觉Transformer（VIT）（Paul & Chen，2022）和ConvNeXt（Liu等，2022），能够很好地从相似领域中提取特征。此外，深度聚类框架（Ajay等，2022），如SCAN（Van Gansbeke等，2020）、SWAV（Caron等，2020），以及对比学习技术（Le-Khac等，2020；Albelwi，2022），如SimCLR（Chen等，2020），通过强调样本间的差异来增强特征提取，无需数据标签。在没有标注数据的情况下，自监督学习模型从样本的内在信号中提取数据特征。对于下游任务，由于特征提取的负担减轻，模型只需专注于将特征映射到真实标签，从而减少了对人工标注的依赖。在高度相似的领域中，它们甚至可以进入少样本或零样本学习（Rahman等，2018；Kadam和Vaidya，2020；Chen等，2021）。

**基于无监督学习的分类方法。** 无监督方法采用的特征提取理念与自监督技术相似。例如，可以使用自编码器（Hou等，2021）、迁移学习（Zhou等，2024）和对比学习策略（Chen等，2020；Gao等，2023）来从数据中提取特征。其独特之处在于利用聚类方法对数据进行自动分类（Hou等，2021；Zhu等，2022；Zhou等，2022）。因此，许多讨论并未在自监督学习和无监督学习方法之间做出明确区分（Ozbulak等，2023）。

虽然现有的自监督技术已大大减轻了对预标注数据集的依赖，但它们并非没有局限性。由于数据采集环境（Zhang等，2022）和任务类型（Niu等，2020；Liu等，2021a）的差异，专业领域与通用领域之间的领域偏差构成挑战。与预期的人工干预最少的情况相反，自监督学习通常需要数百甚至数千个人工标注样本来适当地引导模型学习特征-标签关联。这一点在基于自监督的少样本学习中表现为，增加训练集数量可显著提高准确率（Chen等，2021）。当使用极少量标注样本训练时，自监督学习的准确率下降，落后于传统有监督方法。虽然无监督技术可以完全避免对预标注数据集的依赖，但它们通常受限于较低准确率，尤其是与有监督方法相比时。例如，单一聚类方法的准确率令人不满意（Hou等，2021；Zhou等，2022）。此外，如果聚类准确率不达标，将聚类类别与实际类别进行对齐可能非常耗费人力（Zhou等，2022）。

总之，实现专业领域图像的精确且成本效益高的标注仍然是一个挑战。

本文提出了一种创新的无监督分类方法，与现有方法在三个根本方面有所不同：

**1）双步降维：** 该方法采用双管齐下的策略来降低特征维度。首先，利用预训练大模型提取单张图像像素内的相关特征。由于在大规模数据集和复杂层次上进行训练，这些预训练模型（Paul和Chen，2022；Liu等，2022）提供多层次的特征表示，实现更通用的图像表达。随后，流形学习技术（Izenman，2012）降低样本间的维度。这些非线性降维工具能够识别并捕捉复杂的非线性数据关系，去除冗余特征并突出样本差异，如图2-a所示。

**2）基于Bagging的聚类投票机制**（参见先前的工作Hou等，2021；Zhou等，2022；Zhu等，2022；Fang等，2023；Dai等，2023）：为了克服单一聚类方法的准确率限制，我们的方法将不同聚类方法的结果进行融合。这种集成视角增强了分析的鲁棒性。虽然该机制偶尔会排除某些样本，但它有效地弥补了单个聚类模型固有的准确率不足。

**3）事后标签对齐：** 与传统做法不同，我们的方法采用训练后的人工标签对齐，避免了预训练人工标签的需求。具体来说，我们生成增广类别数量的聚类结果，随后对其进行视觉分类。例如，在4类分类中，该方法可能产生多达二十个类别。虽然聚类后的人工标签对齐是必需的，但提高的准确率意味着标注二十个类别的效率远高于预先标注数百或数千个个体样本，如图2-b所示。综上所述，通过这些改进，我们的方法在大幅减少人工标注需求的同时，为专业领域数据承诺了高精度分类。

基于上述原则，我们集成了简单且开箱即用的技术来构建我们的方法：

1）使用预训练大模型ConvNeXt（Liu等，2022）作为单图像样本的特征提取器。

2）使用统一流形近似与投影（UMAP）方法（McInnes, Healy & Melville，2018）实现所有样本间的非线性降维。

3）通过投票机制（Hou等，2021；Zhou等，2022；Zhu等，2022；Fang等，2023；Dai等，2023）集成三种不同的聚类算法：K-Means（Hartigan & Wong，1979）、平衡迭代减少与层次聚类（BIRCH）（Zhang, Ramakrishnan & Livny，1996）和凝聚聚类算法（Agg）（Ackermann等，2014），以给出最终分类结果。

使用真菌图像作为代表性专业领域数据集来评估所提方法，结果表明我们的方法在公开和私有真菌图像数据集上均取得了具有竞争力的分类性能，同时高效地完成了整个工作流程。这些发现证明，所提的无监督工作流程可以提供一种快速、准确且易于使用的闭环解决方案，减少对预标注数据的依赖，促进数据集构建并推动AI在专业领域图像分析中的应用。

## 方法

本文提出的方法集成了三种源自现有开箱即用方法的核心技术，并辅以事后标签对齐方法。虽然每种技术都有其技术根源，但它们的组合应用旨在全面提取图像数据中的特征。这种协同作用去除冗余信息，仅保留具有区分度的数据，从而实现高精度分类。

1）ConvNeXt（Liu等，2022）是

## 无监督分类的主要结果

经过五次重复实验，并在拒绝模糊样本后，所提方法在DIFaS数据集和私有数据集上分别持续实现了94.1%和96.7%的平均分类准确率，如表2所示。图6-a展示了详细的分类结果的混淆矩阵。投票过程中的样本拒绝率分别为28.5%和17.2%。

t-SNE（Van der Maaten & Hinton，2008）可视化结果如下：

## 讨论

几种现有方法也旨在减少图像分类任务对手工标注数据的依赖，这与本研究的动机相似。DeepCluster使用聚类分配作为伪标签并迭代训练深度神经网络（Caron等，2018），而SCAN、SimCLR和SwAV通过自监督或基于聚类的策略从未标注图像中学习视觉表示（Van Gansbeke等，2020；Chen等，2020；Caron等，2020）。这些——

## 利益冲突声明

作者声明他们没有已知的与本文所报告工作有潜在冲突的经济利益或个人关系。

## 致谢

本研究由国家自然科学基金委资助（62106033、42367066、32360002）。

Zhaocong Liu | Fa Zhang | Lin Cheng | Huanxi Deng | Xiaoyan Yang | Zhenyu Zhang | Chichun Zhou