基于自监督基础模型的规模化斑马鱼图像分析

《SLAS Technology》：A self-supervised foundation model for large-scale zebrafish image analysis

　　

摘要专业翻译 本研究开发了首个针对斑马鱼成像的自监督基础模型。研究人员在来自七个公开数据集和一个私有数据集的468,000余张图像上对该模型进行了训练。研究结果表明，该模型学习到的表征可迁移至分类、回归和分割等多种下游任务。自监督嵌入编码了发育和形态学信息。该研究为标注高效的生物医学图像分析提供了一个可扩展的框架。

论文解读文章

一、研究背景与问题提出

斑马鱼作为一种广泛使用的脊椎动物模式生物，因其胚胎发育迅速、光学透明性以及与人类在遗传和生理上的保守性，非常适合自动化高通量筛选（HTS）应用。随着自动化显微镜和HTS平台的进步，研究人员现在能够在不同发育阶段、实验条件和成像系统下获取数十万张图像。然而，这些图像集合日益增长的规模和异质性给传统的人工和任务特定分析流程带来了巨大挑战。尽管深度学习（DL）方法在斑马鱼图像分析中已有广泛应用，包括发育阶段预测、器官分割和表型分类等，但大多数现有方法都是针对特定任务开发的，需要专门的标注数据集和独立的模型训练，其跨生物任务、数据集和成像领域的泛化能力有限。此外，在生物成像中生成可靠的标注既费时又费力，难以扩展到高通量筛选产生的大规模图像集合。因此，需要一种能够从无标注图像中学习可复用视觉表征的方法，以支持多样化的下游应用。

二、研究内容与核心结论

针对上述问题，研究人员提出了一种基于自监督ViT的斑马鱼图像分析基础模型。该模型在异质性斑马鱼图像集合上进行预训练，并评估了两种配置：DINO和MAE+DINO（掩码自编码器后接DINO）。这种以生物体为中心的预训练策略使模型能够在无需人工标注或针对单一生物学终点优化的条件下学习视觉表征。研究结果表明，该模型学习到的表征可有效迁移至形态学分类、视角分类、发育阶段预测、胚胎定位、胚胎聚类和器官分割等多种下游任务，为斑马鱼图像分析提供了可复用的基础。该研究的主要贡献在于：首次通过多个异质性成像数据集的预训练和跨多个下游任务的系统评估，研究了以斑马鱼为中心的自监督视觉基础模型；提供了涵盖分类、回归、聚类和分割的全面评估；并与ImageNet预训练的ResNet-50和不同预训练策略的ViT模型进行了比较。

三、关键技术与方法

研究人员使用了ViT-B/16骨干网络，并评估了DINO和MAE+DINO两种自监督预训练配置。DINO采用师生自蒸馏框架，通过多视角增强学习对图像外观变化不变的视觉表征；MAE+DINO则先使用掩码自编码器（MAE）目标进行预训练，再用DINO程序进行后续训练，以结合MAE的结构重建目标和DINO的不变性与语义组织目标。预训练语料库整合了来自七个公开数据集和一个私有数据集（SARL，俄勒冈州立大学Sinnhuber水生研究实验室）的468,602张无标注图像，涵盖不同成像系统、模态、发育阶段和实验条件。这些数据集包括SEAZIT、EmbryoNet、Jeanray et al.、S-BIAD531、Dong et al.、SARL和Wittbrodt et al.，胚胎发育阶段覆盖2至120 hpf（受精后小时）。另有一个公开数据集S-BIAD840仅用于下游评估。

四、研究结果

4.1 表征分析

通过UMAP（均匀流形逼近与投影）可视化分析，研究人员发现MAE+DINO模型学习到的嵌入空间具有良好的结构。全局结构分析显示，多个数据集在嵌入空间中重叠而非完全隔离，表明模型捕捉了跨不同成像平台和实验设置的共享视觉和形态特征。发育结构分析表明，嵌入空间呈现连续流形结构而非离散簇，发育时间可从冻结嵌入中以R2=0.687和平均绝对误差5.34时间单位进行预测。个体胚胎轨迹分析显示，胚胎身份在嵌入空间中保留但并非主导变异来源，时间上相邻的观察高度相似，时间间隔与嵌入距离呈中等正相关（Spearman's ρ=0.523）。形态表型分析显示，死亡胚胎在嵌入空间中形成相对紧凑的区域，正常胚胎占据更广泛的连续区域，异常胚胎分布于中间区域。局部解剖结构分析表明，斑马鱼图像基础模型在patch层面编码了解剖信息，但未形成完全分离的类别特定簇。

4.2 无监督胚胎聚类

研究人员对来自EmbryoNet下游数据集的32个胚胎进行了k-means聚类分析。在k=32时，聚类标签与胚胎身份之间的NMI（归一化互信息）达到0.676，表明存在实质性对应关系。胚胎水平聚类一致性分析显示，平均纯度为0.63，但胚胎间变异性较大，部分胚胎纯度超过0.96，而其他胚胎低于0.40。31%的胚胎实现了超过80%的纯度，19%超过90%，表明MAE+DINO嵌入对许多个体保留了强烈的胚胎特异性结构。

4.3 下游任务评估

在形态学分类任务中，MAE+DINO模型在所有四个形态学类别中均取得了最高F1分数。对于正常胚胎，MAE+DINO的F1分数为0.936±0.014，优于DINO的0.927±0.014和ResNet-50的0.916±0.014。对于异常胚胎，MAE+DINO的F1分数为0.740±0.043，明显优于DINO的0.709±0.039和ResNet-50的0.679±0.033。配对bootstrap分析显示，MAE+DINO的宏F1显著高于DINO（0.845 vs. 0.825，差异=0.020，95% CI：0.001–0.039）。在视角分类任务中，MAE+DINO的合并折外准确率为0.960，优于DINO的0.913和ResNet-50的0.731。

五、讨论与结论

该研究表明，通过异质性生物体特异性预训练学习到的表征能够捕捉可迁移的视觉特征，可复用于多种斑马鱼成像应用，支持了基础模型方法在可扩展表型分析和高通量筛选中的潜力。MAE初始化提供了更强的起始表征，使MAE+DINO配置在多个任务上优于单独使用DINO的配置。与ImageNet预训练的ResNet-50相比，斑马鱼特异性预训练模型在形态学和视角分类任务上均表现出显著优势，凸显了领域特异性预训练的重要性。该研究为标注高效的生物医学图像分析提供了一个可扩展的框架，有望减少对大量人工标注的依赖，加速斑马鱼高通量筛选和毒理学评估等应用的发展。