《iScience》：DEEPFIN: A deep learning tool for fish image classification from unlabeled data
编辑推荐：
DEEPFIN是一种无标注图像分析流程，结合了前景分割（Foreground Segmentation）、冻结预训练卷积编码器（Frozen Pretrained Convolutional Encoders）、非线性降维（Non-linear Dimensi
DEEPFIN是一种无标注图像分析流程，结合了前景分割（Foreground Segmentation）、冻结预训练卷积编码器（Frozen Pretrained Convolutional Encoders）、非线性降维（Non-linear Dimensionality Reduction）和基于密度的聚类（Density-based Clustering）。该流程以87%的聚类到类准确率恢复了小丑鱼（Amphiprion ocellaris）的七个典型发育阶段，并仅凭图像区分了三个同属海葵鱼物种。在涵盖原位水下、多条件和受控真实掩膜成像的三个公共数据集上的独立验证表明，DEEPFIN在没有标签的情况下实现了一致的配对物种区分（Pairwise Species Discrimination），与同一数据上的当代监督方法相当或接近。除了复现专家分类外，该流程还揭示了固定标签分类器无法暴露的类内变异。DEEPFIN是一个轻量级、可推广的框架，用于从不断增长的无标注鱼类图像中提取生物结构。
**论文解读文章**
**研究背景**
海洋生物学中，图像数据采集速度远超专家标注能力，形成了严重的标注瓶颈。在生态学、发育生物学和渔业科学中，鱼类图像的手动分类耗时、易出错且不可扩展。传统的监督深度学习方法依赖大量标注数据，而海洋图像库中标注数据稀缺。因此，亟需无需标注的自动化图像分析工具，以从海量无标注图像中提取有价值的生物学信息（如物种身份或发育阶段）。
**研究目的与意义**
为克服这一瓶颈，研究人员开发了DEEPFIN，一种无监督机器学习流程，用于鱼类图像分类。该流程无需任何标注训练数据，即可自动识别鱼类发育阶段和物种区分。研究验证了其在三种海葵鱼（Amphiprion属）和三个公共数据集上的有效性，表明无监督方法能够接近甚至匹敌当代监督方法的性能，同时还能发现固定标签分类器无法捕捉的类内变异。论文发表在《iScience》，为数据丰富但标签稀缺的海洋生物多样性研究提供了可扩展、可推广的框架。
**主要关键技术方法**
研究人员使用Rembg库（基于U-Net
?的深度学习网络）进行前景分割，去除背景干扰；采用五种在ImageNet上预训练的卷积神经网络（CNN
?，包括ResNet50、EfficientNetB0、MobileNetV2、DenseNet121和VGG16）作为固定特征提取器，从图像中提取特征向量；随后通过均匀流形逼近与投影（UMAP
?）进行非线性降维至二维；最后使用层次密度聚类（HDBSCAN
?）或k-means聚类自动分组。样本队列包括：小丑鱼（Amphiprion ocellaris）七个发育阶段（I–VII期）的971张图像（来自Moore等和Klann等）；A. ocellaris、A. percula和A. biaculeatus成鱼图像（共184张）；Fish4Knowledge数据集（8种礁鱼，1932张图像）；Mohammadisabet等数据集（483种，4411张图像，取10种最丰富物种）；Ulucan等数据集（9种，9000张图像，含精确掩膜）。
**研究结果**
**整体性能与聚类验证**
使用k-means对CNN+UMAP特征进行聚类，DEEPFIN自动将小丑鱼幼虫和幼鱼图像分为7个发育阶段，与专家标注的74%图像匹配。对于物种区分，A. ocellaris与A. percula混合时，仅一张图像误分类，调整兰德指数（ARI
?）为0.97，归一化互信息（NMI
?）为0.95，匈牙利匹配准确率为99.2%。加入A. biaculeatus后，仍只有同一张A. percula图像误分类（ARI = 0.98，NMI = 0.96）。在Fish4Knowledge数据集上，使用MobileNetV2的DEEPFIN对8种鱼分类的ARI为0.873，NMI为0.857，显著优于ResNet50（ARI = 0.519）和VGG16（ARI = 0.314）。
**发育阶段分组发现**
使用HDBSCAN聚类（无需指定簇数）时，DEEPFIN自动将小丑鱼发育阶段分为三个簇：早期幼虫（I–III期）、过渡期（IV期）和晚期幼虫/幼鱼（V–VII期），而非传统七个阶段。这表明发育可能由三个广泛阶段组成，IV期对应变态起始，与甲状腺激素驱动的形态变化一致。
**无标签物种区分**
DEEPFIN成功区分了形态相似的同属物种A. ocellaris和A. percula，仅一张图像误分类。在Fish4Knowledge数据集上，28个物种对的中位ARI为0.945，57%的配对达到近乎完美分离（ARI ≥ 0.9）。在Mohammadisabet等数据集上，前景分割使中位配对ARI从0.563提升至0.819；在Ulucan等数据集上，使用MobileNetV2的中位配对ARI达到1.000，超过一半的配对完美分离，噪声率低于0.5%。
**样本效率与数据需求**
DEEPFIN具有高样本效率：在Fish4Knowledge上，50%的物种对仅需100张图像即可达到优秀区分（ARI ≥ 0.9）。对于多物种分类，最优性能在约1300张/物种时达到（均值ARI = 0.647），但300张/物种即可获得良好性能（ARI ≥ 0.6）。在稀疏数据（Mohammadisabet等，每物种≤26张）中，前景分割后在10张/物种时即可达到中位ARI = 1.000。在Ulucan等数据集上，HDBSCAN性能在200–300张/物种时峰值（ARI ≈ 0.79），随后下降，但k-means（已知真实簇数）单调上升至0.956，表明下降源于聚类粒度而非特征退化。
**鲁棒性与泛化能力**
DEEPFIN在多种CNN架构、成像条件和数据集上表现稳健。MobileNetV2在Fish4Knowledge上最优，而EfficientNet-B0在小丑鱼数据上略优。前景分割在非均匀背景下显著提升性能（如Mohammadisabet等数据，中位ARI提升0.256），但在均匀背景（如Ulucan等数据）下对强编码器（MobileNetV2）略有负面影响（ARI下降0.19）。跨条件鲁棒性测试显示，在受控与现场成像之间的平均配对ARI差异仅为0.207，前景分割降低约14%的变异性。
**讨论与结论**
讨论部分指出，DEEPFIN实现了两个主要目标：（1）自动形态分期，无需人工输入即可按发育阶段准确分类鱼类；（2）自动物种区分，包括仅凭视觉特征干净分离三个同属海葵鱼物种。在三个独立公共数据集上验证，并与当代监督方法比较，DEEPFIN始终无标签地恢复物种结构，在受控基准上达到完美中位配对ARI，而近期监督方法需生成对抗增强才能接近95%准确率。此外，该流程还揭示了固定标签分类器无法暴露的类内变异，表明两种范式互补而非竞争。研究结论翻译如下：总之，DEEPFIN实现了两个主要目标：（1）自动形态分期，无需人工输入即可按发育阶段准确分类鱼类；（2）自动物种区分，包括仅凭视觉特征干净分离三个同属海葵鱼物种。在三个独立公共数据集上验证，并与当代监督方法比较，DEEPFIN始终无标签地恢复物种结构，在受控基准上达到完美中位配对ARI，而近期监督方法需生成对抗增强才能接近95%准确率。此外，还揭示了固定标签分类器（受限于预定义类别列表）无法暴露的类内变异，确立了两种范式互补而非竞争的关系。该方法不仅匹配专家知识，还通过提出发育阶段结构的精细视图扩展了其认知。本工作的贡献并非引入新聚类方法，而是将已有无监督图像分类策略转移并系统验证于海洋生态学与鱼类学，证明由标准组件构建的轻量级、无标注流程能够从不断增长的图像库中挖掘生物学见解，同时保持对前景变化的鲁棒性，并在发育和野外数据集典型的小样本场景中有效。消除对训练标签的依赖，为海洋研究中数据丰富但标签稀缺的场景下研究生活史和生物多样性开辟了新可能。随着图像数据积累，这类无监督学习框架将把像素转化为洞察，无论是分类礁鱼个体发育、从无人机图像绘制物种分布，还是监测生态系统随时间变化。研究人员设想将该流程与专家工作流整合，初始无监督聚类后由专家验证和细化。最终，从无标注图像中提取生物学意义的能力将帮助海洋科学家跟上数据生成速度，从而更快速、更细致地理解海洋生命。
