微流控显示器中的鲁棒视觉识别:一种基于知识的深度学习方法,用于抑制伪影并进行实时分析

《Displays》:Robust visual recognition in microfluidic displays: a knowledge-driven deep learning approach for artifact suppression and real-time analysis

【字体: 大 中 小 】 时间:2026年05月01日 来源:Displays 3.4

编辑推荐:

  Zihan Li|Xian Jiang|Yang Zhang|Zhengqiong Dong|Fangping Ye|Zhong Zheng|Yan Ma|Zhiyong Liu|Tielin Shi|Guanglan Liao|Lei Nie湖北工业大学机械工程学院,中国武汉4

  
Zihan Li|Xian Jiang|Yang Zhang|Zhengqiong Dong|Fangping Ye|Zhong Zheng|Yan Ma|Zhiyong Liu|Tielin Shi|Guanglan Liao|Lei Nie
湖北工业大学机械工程学院,中国武汉430068

摘要

从微流控显示器中解读视觉信息对于高通量单细胞分析至关重要,但这一过程经常受到系统光学伪影和细节丢失的阻碍。本研究提出了一种基于知识的深度学习方法,旨在实现鲁棒的实时视觉识别,以提高这些显示系统的准确性。我们的方法通过嵌入特定领域的物理知识,超越了传统的模式识别,以应对复杂的明场成像条件。该架构有两个关键创新:(1) 接受场注意力(Receptive Field Attention)模块,利用梯度敏感的重校准来抑制由成像物理现象引起的伪影,从而将它们与真实的细胞结构分离;(2) 异构特征交互块(Heterogeneous Feature Interaction Block),该模块能够保留关键的微尺度视觉细节,解决了在显示器中检测多尺度物体的问题。在大型自定义生成的数据集上进行验证后,我们提出的模型表现出色(召回率99.9%,mAP值99.5%),且延迟极低(0.4毫秒),实现了高保真的在线分析。重要的是,该模型在多种硬件平台上都能保持稳定的性能,并能有效泛化到未见的细胞类型。这项研究为改进各种自动化显微显示系统中的视觉信号处理提供了一个新的框架。

引言

胶质瘤是最具侵袭性的原发性脑肿瘤类型,其五年生存率低于10% [1], [2], [3]。这一挑战的核心在于肿瘤内部的异质性,即恶性细胞在基因、转录和表型层面的复杂且动态的多样性 [4], [5]。这种细胞异质性是治疗抵抗、免疫逃逸、肿瘤复发和恶性进展的主要驱动因素 [6]。因此,传统的整体水平分析由于“平均效应”而掩盖了重要的单细胞差异,无法解决这种复杂性 [7]。单细胞分析技术的兴起为这一挑战提供了强有力的解决方案。通过分离组织并为单个细胞分配唯一的分子条形码,这些方法提供了高分辨率的研究,从而对肿瘤微环境提供了前所未有的见解 [8]。这使得研究人员能够识别罕见的细胞亚群,追踪克隆进化,并解码复杂的细胞间通信网络,为新型个性化治疗奠定了重要的生物学基础 [9], [10], [11]。然而,将这些见解转化为临床实践需要每秒分析数千个细胞,方法是将它们封装在皮升体积的液滴中 [12], [13],这需要强大的自动化技术。然而,这种技术的准确性从根本上取决于一个关键步骤:液滴占用的准确分类 [14], [15]。如果这一阶段失败,后果非常严重:(1) 包含多细胞液滴(通常称为双胞胎液滴)会混淆下游分析,因为它们混合了细胞信号;(2) 错误地排除单细胞液滴会降低统计功效并浪费珍贵材料 [16]。因此,缺乏快速准确的自动化分类方法已成为阻碍单细胞技术充分发挥潜力的关键工程瓶颈。
准确分类液滴封装状态是单细胞分析质量控制的基础 [17]。最初,研究人员采用了传统的图像处理方法,如Otsu阈值分割、分水岭算法和Canny边缘检测,这些方法依赖于灰度强度和梯度等基本特征 [18], [19], [20]。虽然这些方法在理想情况下对高对比度目标有效,但在复杂的液滴微环境中性能会急剧下降。主要挑战在于视觉信息的混淆,即液滴曲率引起的折射伪影与细胞的固有形态光学耦合。这种效应使得在明场显微镜下,一个大的单细胞和一群紧密排列的小细胞看起来无法区分 [21],导致这些算法将伪影与真实的细胞边界混淆,从而产生高错误率 [22]。为了提高图像对比度,人们采用了外源性荧光标记或高级显微镜技术。然而,这些基于硬件的解决方案也有其局限性:荧光标签可能干扰后续的分子分析 [23],而即使是最先进的光学设备也难以分辨紧密粘连的亚像素级细胞的边界,因此存在固有的物理限制 [24]。因此,深度学习(DL)作为一种有前景的替代方案出现,它利用卷积神经网络(CNN)从原始液滴图像中自动学习判别特征 [25]。然而,对现有DL架构的仔细检查揭示了两个根本弱点。首先,它们对微尺度物体的响应不足。主流的物体检测器如You Only Look Once (YOLO) 和Faster Region-based Convolutional Neural Networks (Faster R-CNN) 使用特征金字塔网络(FPNs)逐步下采样特征图,这种设计不可避免地会破坏微小细胞碎片或颗粒的细粒度特征,导致检测失败 [26], [27], [28]。其次,它们无法分辨粘连的边界。语义分割网络,如U-Net和DeepLabv3+,在解码器上采样时常常产生过于平滑的边界。当将这些像素级掩模用于细胞计数时,它们会错误地将紧密排列的独立细胞合并为一个实体,导致封装状态的误判 [29], [30]。即使是像Mask Region-based Convolutional Neural Network (Mask R-CNN) 和Cellpose这样的最先进实例分割模型,也缺乏适应流体流动引起的动态细胞旋转和变形的鲁棒机制,导致其在实际应用中的性能大幅下降 [31], [32]。这些缺点凸显了当前深度学习方法在这一领域面临的核心困境:由于特征提取的分辨率损失而无法检测微尺度物体,再加上由于无法明确界定边界而导致细胞簇的错误分割。
将领域知识整合到深度学习中在各个学科中显示出巨大潜力。例如,在医学成像中,基于知识的方法通常结合宏观解剖形状先验或统计图谱来指导器官分割。在材料科学和流体力学中,物理信息神经网络(PINNs)通过将复杂的偏微分方程(PDEs)直接嵌入损失函数来约束模型。然而,这些范式通常计算密集且适用于离线分析。自动化微流控分选的严格千赫兹级实时要求使得迭代求解PDEs或复杂模板匹配变得不可行。因此,迫切需要一种适用于超快、即时执行的新颖知识驱动范式。
为了解决这些技术瓶颈,本研究提出了一种创新的网络架构,专门用于克服微尺度特征丢失和边界分割不明确的双重挑战。该架构代表了一个基于知识的框架,其中两个不同的理论先验被明确编码到网络的拓扑结构中:
(1) 成像物理先验:我们将光学干扰建模为衍射信号和折射伪影的叠加。这种物理知识指导接受场注意力(RFA)模块作为梯度门控的逆滤波器工作,将伪影与真实细胞分离。
(2) 任务尺度先验:认识到微尺度特征在标准池化过程中会遭受不可逆的信息丢失,我们施加了“预保留”约束。这指导异构特征交互块(HGBlock)在降采样之前融合空间细节。
通过嵌入这些先验,该模型超越了传统的模式识别,实现了对物理现象的感知。
我们提出了一种无需标记、高精度、高速的方法来识别液滴封装状态,从而保护下游分子分析数据的纯度和完整性。这对于自动化微流控系统中的稳健过程监控至关重要。这一技术进步对于解析像胶质瘤这样高度异质的肿瘤至关重要。通过实现对罕见亚群(如耐药细胞)的精确分析,我们的方法为治疗抵抗机制提供了更深入的见解,并为发现新的治疗靶点奠定了坚实的基础。

部分摘录

方法

在这项研究中,我们提出了深度重建网络(Deep Reconstruction Network,DRN),该网络结合了HGBlock和RFA机制。通过增强其亚细胞特征提取和多尺度物体感知的能力,DRN显著提高了微流控液滴中微小细胞和粘连簇的检测准确性。在这项研究中,我们介绍了深度重建网络(DRN),这是一种专门为解决双重挑战而设计的新型架构

系统设置和芯片制造

图3展示了用于高通量液滴生成和动态观察的集成微流控实验平台。图3(a)展示了在倒置显微镜下观察的微流控芯片的示意图。该平台的核心是一个定制制造的微流控芯片(图3(b)),它具有一个中央通道用于样品注入,两侧对称的鞘流通道。当三种流体流汇聚时,样品流被精确地

实验设置

本研究的实验数据来自高通量微流控芯片中细胞的明场显微镜图像。数据集包括在不同流速、细胞密度和照明条件下获取的图像。为了确保模型的泛化能力,数据集被划分为训练集、验证集和测试集,比例约为7:2:1,这是基于独立的实验批次而非随机帧级分割。没有特殊

结论

在本文中,我们提出了一种新颖的基于知识的深度学习架构,以解决自动化微流控系统中可靠的过程监控这一关键挑战。我们的方法通过将系统光学物理和任务要求的特定领域知识嵌入两个协同模块中,超越了传统的深度学习方法。具体来说,RFA模块将伪影抑制数学上表述为基于光学物理的梯度门控逆问题

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本研究得到了湖北省国际科技联合研究项目(项目编号2024EHA007)、湖北省科技创新人才计划(项目编号2023DJC048)以及湖北省自然科学基金(项目编号2022CFB473)的支持。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号