斑马鱼个体识别新突破:深度 CNN 与 ViT 架构结合滚动训练窗口技术

【字体: 时间:2025年03月13日 来源:Scientific Reports 3.8

编辑推荐:

  研究人员利用深度卷积神经网络(CNN)和视觉 Transformer(ViT)架构,结合滚动训练窗口技术识别斑马鱼,显著减少新训练图像需求。

  # 斑马鱼个体识别研究:新技术带来新突破
在生物和临床研究的奇妙世界里,斑马鱼(Danio rerio)就像一颗闪耀的明星。它们凭借透明胚胎、快速发育、与人类基因组相似以及强大的再生能力等优势,成为众多实验室研究的宠儿。在各类研究中,准确识别斑马鱼个体是一项关键任务。然而,现有的识别方法却面临着重重挑战。手动标记,无论是表面标记还是剪鳍标记,都会因斑马鱼的组织再生、相互间的 “小动作” 以及成长过程中的变化而变得困难重重;电子射频标记也并不完美,存在微标签丢失和高死亡率的问题。而且,传统的识别方式往往需要将斑马鱼从水箱中捞出、麻醉,这不仅操作繁琐,还可能对它们造成伤害。所以,开发一种简单、无创且能适应各种研究环境的识别系统迫在眉睫。
为了解决这些难题,来自普林斯顿大学(Princeton University)的研究人员展开了深入研究。他们巧妙地运用卷积神经网络(Convolutional Neural Networks,CNN)和视觉 Transformer(Vision Transformer,ViT)架构,创新性地开发出滚动窗口训练技术。这项研究成果发表在《Scientific Reports》上,为斑马鱼个体识别领域带来了新的曙光。

在研究过程中,研究人员运用了多种关键技术方法。首先是图像采集与处理技术,他们定制了一个丙烯酸水族箱插件作为成像工作室,让斑马鱼在自由游动的状态下进行拍照。采集到的原始图像经过裁剪、旋转、填充和调整大小等一系列处理,最终被划分成训练集、验证集和测试集。其次,深度学习模型构建技术发挥了重要作用。基于修改后的 Google Inception V3 开发 CNN 模型,并选用 ViT - B/32 作为 ViT 模型的基线版本。在训练过程中,使用了 Keras 的图像增强函数扩充训练集,并利用 ImageNet 的先验权重矩阵对模型进行初始化,大大缩短了训练时间。此外,还运用了滚动窗口和多数规则协议技术,通过一系列复杂的计算和模拟,确定滚动窗口的大小,以保证跨天类别匹配的准确性。

下面来看看具体的研究结果。

原位斑马鱼成像工作室


研究人员精心打造了一个原位斑马鱼成像工作室,成功实现了对斑马鱼的自由游动状态下的成像。在 19 天内,他们收集了 5 个斑马鱼的图像数据集,涵盖了 3441 张图像。这些图像经过处理后,被用于后续的分析。

深度学习方法


  1. CNN 模型与滚动窗口训练:研究人员假设滚动窗口训练方法能减少新图像需求并维持高准确率。基于 Inception V3 构建的 CNN 模型,经过训练发现,仅需 10 张训练图像就能在当天达到 95% 的平均测试准确率。通过估计模型特征的演化速率,利用蒙特卡罗模拟确定滚动窗口大小为 5 张图像,最终实现了在后续每天添加不超过 5 张新图像,就能达到高保真、无标记的跨天类别匹配,平均测试准确率≥95%。
  2. ViT 模型与滚动窗口训练:同样采用滚动窗口方法对 ViT 模型进行测试。结果显示,ViT 模型达到 95% 跨天平均测试准确率所需的训练图像数量更少,仅约 6 张。使用滚动窗口后,平均测试准确率显著提高,且只需添加 2 张新图像就能超过 95% 的测试准确率。

特征分析


  1. 类激活热图(CAM)分析:通过 CAM 分析发现,CNN 模型主要被鱼的身体激活,而非头部或尾部。这表明在分类过程中,鱼的身体特征起着重要作用。
  2. 图像特征改变实验:对斑马鱼图像进行数字改变实验发现,模糊整个鱼体对模型测试准确率影响显著,说明 CNN 模型在训练时高度依赖斑马鱼条纹图案进行分类。同时,颜色在训练图像数据集中也起着重要作用,当训练图像为彩色时,颜色主导模型分类特征空间,但当训练图像为灰度图时,颜色并非高精度分类所必需。此外,研究还发现整体身体形状单独作为特征不足以达到之前的分类结果。

在研究结论和讨论部分,研究人员开发的滚动窗口训练技术成功实现了对成熟斑马鱼群体的高精度识别,大大减少了新训练图像的需求。通过分析形状、图案和颜色对分类结果的影响,为改进实时识别协议提供了重要依据。与传统分类方法相比,深度学习模型(CNN 和 ViT)表现出明显优势。虽然 CNN 和 ViT 在性能上存在差异,但滚动窗口训练对两者都有显著提升。此外,研究还指出,颜色和条纹结构的组合可能是影响 CNN 模型分类的重要特征,这为后续研究指明了方向。

总的来说,这项研究为斑马鱼个体识别提供了可靠且高效的解决方案,对研究斑马鱼的生物学特性和疾病模型具有重要意义。它不仅推动了斑马鱼研究领域的发展,也为其他类似的生物识别研究提供了宝贵的借鉴经验,让我们在生物研究的道路上又迈出了坚实的一步。
相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号