基于深度学习的便携式显微镜技术，用于在小规模数据集中量化酵母细胞的存活率

《Optics & Laser Technology》：Deep-learning-enhanced portable microscopy for yeast cell viability quantification in small dataset

便携式酵母细胞存活率监测系统设计及多尺度通道注意力网络模型研究。系统基于智能手机显微成像与光纤阵列技术，实现大视野低失真细胞图像/视频采集，结合自适应直方图均衡化与形态学处理实现细胞定位，提出融合塞乔-艾克塞尔（SE）模块与多尺度特征融合（MSF）模块的ResNet50架构MSCANet模型，在小数据集（4分钟训练）下达到97.92%测试准确率，实际应用中图像分析准确率96.58%、视频分析94.31%。硬件包含6倍放大手机显微系统、20倍前置放大镜、微流控芯片（可选）及激光光源，适用于酿酒、生物燃料等工业场景的实时细胞存活率监测。

　　在现代生物技术应用中，酵母细胞的活性监测是一项至关重要的任务。无论是啤酒酿造、面包发酵，还是生物燃料的生产，酵母细胞的健康状况都会直接影响到生产效率和最终产品质量。因此，建立一种高效、准确且便于部署的酵母细胞活性监测系统，对于优化生物制造流程以及指导环境修复过程具有重要意义。然而，传统的酵母细胞活性检测方法通常依赖于复杂的仪器设备，这不仅增加了成本，也限制了其在野外或资源有限环境中的应用。为了解决这些问题，本文提出了一种基于便携式显微镜的酵母细胞活性监测系统，该系统能够通过图像和视频分析实现快速、准确的活性评估，尤其适用于小数据集和短训练时间的应用场景。

目前，酵母细胞活性的检测主要依赖于染色剂或荧光标记技术，结合显微镜进行手动计数。这种方法不仅耗时费力，而且对操作人员的技术水平要求较高。近年来，随着深度学习技术的快速发展，其在细胞分析领域的应用也逐渐增多。例如，基于简单深度卷积神经网络（CNN）的多类图像细胞分类框架，能够在大规模数据集中实现高达99.50%的分类准确率；而基于自训练半监督学习与经典深度学习网络（如VGGNet和ResNet）的宫颈细胞分类方法，能够在小规模标记数据中达到91.94%的准确率。此外，一些新的深度学习架构，如结合自注意力机制和细胞自动机网格结构的模型，能够同时分割和检测数字组织样本中的细胞核，其准确率达到了83.00%。还有利用圆弧霍格变换（CHT）和CNN的细胞活性分析方法，能够实现99.92%的准确率，但仅适用于圆形细胞。另外，基于CNN-SVM模型的高通量视频流式细胞术，也能够对未标记细胞进行分类，准确率达到90.8%。这些方法在一定程度上提高了细胞分类的自动化程度，显著减少了人工操作和处理时间。

然而，传统显微镜设备的体积较大，限制了其在野外或资源有限环境中的使用。为了解决这一问题，便携式显微镜设备逐渐被应用于细胞活性监测。目前，便携式细胞活性监测系统主要分为两类。第一类是无镜头的便携式细胞活性监测系统，通常结合无镜头显微镜与深度学习算法，如双向长短期记忆网络（准确率：80.00%）、高对比度时间序列分析（准确率：83.00%）以及预训练生成对抗网络（准确率：94.50%）。第二类是基于光学耦合设备的便携式细胞活性监测系统，通常结合镜头显微镜与深度学习算法，如两个卷积神经网络（准确率：98.00%），一个用于图像增强和标准化，另一个用于细胞分割；还有结合图像处理与Inception v3网络的分类方法（准确率：96.00%），YOLOv5结合改进损失函数的模型（准确率：99.00%），以及优化后的不同深度学习算法（如Mask R-CNN、MS R-CNN、D2Det和YOLACT网络）（准确率：93.00%），还有定制的七层CNN（准确率：93.46%）以及基于自编码器的架构（准确率：99.23%）。此外，结合便携式显微镜的图像处理方法，如基于细胞周长和面积的分析，也能够实现95.00%的准确率。然而，无镜头的便携式细胞活性监测系统需要复杂的重建算法来提高视频清晰度，而基于镜头的便携式系统则通常面临固有的限制，尤其是视野范围受限和光学畸变问题。图像处理方法在分类具有相似形态特征的细胞时也表现出一定的局限性。

为了克服这些挑战，本文提出了一种便携式酵母细胞活性监测系统，该系统能够在无需复杂重建算法的情况下，对酵母细胞图像和视频进行量化分析。该系统集成了我们研究团队开发的便携式智能手机显微镜，该显微镜采用光纤阵列（FOA）技术，能够快速获取视野范围大且畸变小的酵母细胞图像或视频。此外，系统还配备了预放大镜头、微流控芯片（可选）、三轴载物台、激光源和笔记本电脑，实现了从数据采集到处理的完整流程。在数据处理方面，本文提出了一种多尺度通道注意力网络（MSCANet）模型，该模型基于ResNet50架构，整合了压缩与激励（SE）模块和多尺度特征融合（MSF）模块，能够在小数据集和短训练时间内实现高精度的细胞活性监测。通过便携式显微镜获取的高视野范围和低畸变图像数据，被无线传输至笔记本电脑，用于进一步的计算分析和处理。图像处理操作，如自适应直方图均衡（AHE）和形态学处理，被用于图像质量提升和细胞定位。传统的深度学习模型通常需要大量标记数据，而小数据集在人力和时间资源有限的情况下，对于推广应用于啤酒酿造、面包发酵和生物燃料生产等领域具有重要意义。在4分钟的训练时间后，MSCANet能够在测试集上实现97.92%的分类准确率。由于细胞定位过程中不可避免的误差，该系统在处理图像和低流速（约1200微米/秒）、低细胞密度（每帧少于10个细胞，相当于非分层条件下的细胞密度为2×10^6个/毫升）的酵母细胞视频时，平均准确率可分别达到96.58%和94.31%。

本文提出的MSCANet模型是通过将压缩与激励（SE）模块和多尺度特征融合（MSF）模块整合到ResNet50架构中构建的。通过消融研究，验证了SE模块和MSF模块的有效性（见表1）。同时，与其它研究团队提出的分类模型进行性能比较，进一步证明了MSCANet的优势（见表2）。在评估模型性能时，使用了六个常见的性能指标：准确率、精确率、召回率、F1分数、特异度和平均精度（mAP）。这些指标能够全面衡量模型在不同应用场景下的分类效果。通过实验数据可以看出，MSCANet在小数据集和短训练时间内仍能够保持较高的分类准确率，显示出其在资源受限条件下的优越性。此外，该模型在处理低流速和低细胞密度的视频数据时，也能保持较高的平均准确率，这表明其在实际应用中的稳定性。

在硬件设置方面，本文的酵母细胞活性监测系统基于我们研究团队之前开发的便携式智能手机显微镜，该显微镜结合了光纤阵列（FOA）技术，能够实现大视野范围和低畸变的图像采集。为了进一步提升分辨率和塑造光线，系统中还添加了一个20倍的预放大镜头。该硬件系统的组成如图1所示，包括一个配备FOA的智能手机（SAMSUNG S7）、一个20倍的预放大镜头（Phenix optics corps，中国）、微流控芯片（可选）、三轴载物台、激光源和笔记本电脑。这些组件共同构成了一个高效、便捷的监测系统，能够满足多种应用场景的需求。例如，智能手机显微镜能够提供高质量的图像采集，而预放大镜头则有助于提升图像的清晰度和分辨率。微流控芯片的可选设计使得系统能够灵活应对不同的样本处理需求，三轴载物台则提供了精确的移动控制，确保样本在不同角度下的稳定采集。激光源的加入进一步增强了图像的对比度和清晰度，为后续的图像处理和分类提供了更好的数据基础。

在结果与讨论部分，本文的研究展示了该便携式酵母细胞活性监测系统在小数据集和短训练时间下的高效性。如图3所示，该系统由两个主要部分组成：细胞定位和细胞分类。首先，每个采集到的酵母细胞图像或视频都会经过图像处理操作，如自适应直方图均衡（AHE）和形态学处理，以提升图像质量并实现细胞定位。然后，定位后的细胞数据被直接输入到训练好的MSCANet模型中，进行分类分析。通过实验数据可以看出，该系统在图像和视频数据的处理上均表现出较高的准确率，尤其是在低流速和低细胞密度的情况下，其平均准确率分别为96.58%和94.31%。这些结果表明，该系统能够在不依赖复杂重建算法的情况下，实现对酵母细胞活性的高效监测，为生物技术应用提供了新的解决方案。

在MSCANet模型的性能评估方面，本文展示了该模型在小数据集和短训练时间下的分类能力。MSCANet模型通过整合SE模块和MSF模块，增强了细胞分类的准确性。消融研究进一步验证了这些模块的有效性，证明了它们在提高分类性能方面的关键作用。同时，与其它研究团队提出的分类模型进行性能比较，也显示出MSCANet在准确率和分类速度上的优势。在实际应用中，由于细胞定位和分类过程中可能存在一定的误差，该系统的整体性能仍保持在较高的水平。特别是在处理低流速和低细胞密度的视频数据时，MSCANet模型能够保持较高的平均准确率，这表明其在实际应用中的鲁棒性。

综上所述，本文提出了一种基于便携式智能手机显微镜的酵母细胞活性监测系统，该系统能够在小数据集和短训练时间内实现高精度的活性评估。系统的设计兼顾了硬件的便携性和图像处理的高效性，使得其在资源有限的环境中也能够发挥重要作用。MSCANet模型作为该系统的分类核心，通过整合SE模块和MSF模块，提升了分类的准确性和稳定性。实验结果表明，该系统在图像和视频数据的处理上均表现出较高的准确率，为酵母细胞活性监测提供了新的思路和方法。未来，该系统有望在更多生物技术应用中得到推广，为优化生产流程和环境修复提供强有力的技术支持。