可解释的深度学习技术实现了可靠且高效标记的荧光成像
《Pattern Recognition》:Interpretable Deep Learning Enables Reliable and Label-Efficient Fluorescence Imaging
【字体:
大
中
小
】
时间:2026年01月15日
来源:Pattern Recognition 7.6
编辑推荐:
活细胞多亚细胞结构荧光成像中,传统多色序贯显微术存在成像延迟、标记容量受限等问题,影响实时应用。本文提出AEMS-Net框架,基于Kolmogorov-Arnold表示定理将特征分解为可解释的单变量函数,结合优化U-Net实现单张图像同步预测线粒体和微管结构,降低50%成像工作量,同时提升30%以上图像质量。通过改进的Layer-CAM算法提供像素级可视化解释,推理速度达38.21FPS,实现实时动态观测。
陈明阳|金路红|宣旭伟|杨德福|程云|张菊
中国杭州,信息科学与技术学院
摘要
对多种亚细胞结构进行活细胞成像对于理解细胞内动态至关重要。然而,传统的多色顺序荧光显微镜存在成像延迟和标记能力有限的问题,这些限制阻碍了其实时应用。我们提出了自适应可解释多结构网络(AEMS-Net),这是一种深度学习框架,能够从单张荧光图像中同时预测两种亚细胞结构。AEMS-Net利用Kolmogorov-Arnold表示定理将学习到的特征分解为单变量函数。为了提高模型的透明度,我们集成了一种改进的层类激活图(CAM)算法,以实现详细的可解释性分析,从而提供特征重要性的像素级可视化。AEMS-Net的推理时间为每帧26.17毫秒,帧率为38.21 FPS,展示了高效的实时性能。它能够实时观察线粒体(Mito)和微管(MTs)的相互作用,并且与顺序成像相比,将采集工作量减少了一半。与传统的深度学习基线方法相比,我们的方法提高了超过30%的图像质量。代码可在以下链接公开获取:
https://github.com/cmy-hhxx/AEMS-Net。
引言
在活细胞中同时观察多种结构是细胞生物学的基础,有助于可视化控制细胞功能的复杂亚细胞相互作用。Lee等人表明,定量成像可以揭示疾病机制[1]。Tsukui等人证明,这种读数可以揭示可操作的治疗靶点[2]。Mills等人报告称,多重成像可以加速药物筛选[3]。传统方法使用多色荧光显微镜来研究亚细胞结构,而亚细胞结构的清晰可视化有助于研究人员理解其功能。
然而,传统的多通道荧光显微镜也有其局限性。光谱重叠会导致通道间的信号串扰[4]。随着荧光团数量的增加,这个问题变得更加明显[5]。长期光照会导致光毒性,从而损害活细胞[6]。这种光毒性效应会改变成像实验中的正常细胞行为[7]。光漂白也会影响成像的持续时间[8]。此外,长期采集还会降低信号的可靠性[9]。这些因素限制了长期观察并影响了亚细胞的存活率。此外,多通道成像产生的大量数据需要复杂的分析流程[10]。先进的多色成像系统的技术复杂性和特殊要求限制了其在常规使用中的普及性[11]。系统对齐和校准在技术上也具有挑战性[12]。通道不平衡常常会降低定量准确性[13]。
深度学习为显微镜分析提供了有效的工具,但仍存在实际限制。一个主要挑战是数据稀缺。大型标记的显微镜数据集成本高昂且整理速度慢[14]。为了减少对人工注释的依赖,最近的研究使用物理驱动的自监督学习来学习鲁棒表示,并在噪声和光学变化下提高性能[15]。另一个关键挑战是可解释性。许多深度模型像黑箱一样运作,使得它们的预测难以解释。没有明确的解释,生物学家和临床医生可能不愿意信任这些模型[16]。可解释的人工智能支持临床显微镜中的透明决策[17]。总的来说,有限的注释和不足的可解释性阻碍了其常规应用。
先前的研究将深度学习应用于特定的显微镜成像任务,尤其是超分辨率和重建。Jin等人通过减少所需的原始图像数量来改进了结构化照明显微镜[18]。他们后来提出了一个模型来分离具有相同荧光标签的结构,但这需要复杂的亮度调整[19]。Liao等人开发了一种深度卷积神经网络(CNN),用于从原始数据直接映射到超分辨率图像[20]。基于Transformer的模型越来越多地用于显微镜中,以更好地捕捉长距离关系和全局上下文。UT-SIM结合了基于Transformer的特征融合模块和U-Net,用于结构化照明显微镜重建[21]。在相关的医学成像任务中,也探索了结合基于图的结构表示的混合Transformer模型,以共同捕捉全局上下文和关系信息[22]。此外,Song等人引入了一种高效的Transformer用于图像重建[23]。多分辨率建模也被探索用于通过结合小波分解和CNN-Transformer模块来改善不同空间尺度上的表示[24]。还提出了注意力机制,以增强尺度内和尺度间的特征交互,从而提高上下文聚合和跨尺度表示学习[25]。此外,图像去噪仍然是生物医学图像处理中的一个相关问题,通常是高质量重建的重要步骤[26]。
除了准确性之外,实际部署还涉及复杂性和可解释性问题。U-Net[27]是生物信息学中的一个基本框架。许多工作通过添加额外模块来扩展U-Net以提高性能。Chen等人提出了残差通道注意力网络(RCAN)[28]。Ebrahimi等人进一步将U-Net与RCAN结合用于STED图像恢复[29]。DMF-SIM采用了双模型设计,将Transformer与通道注意力相结合,以实现联合重建和去噪[30]。这些设计提高了性能,但引入了难以理解的交互作用,使得故障分析在实践中变得困难。为了提高可解释性,许多研究使用事后归因方法来可视化训练网络中的证据。Grad-CAM[31]和Layer-CAM[32]是典型的例子,并已被纳入弱监督分离框架中,以提高CAM的质量[33]。此外,还使用进化图像处理流程探索了深度模型的可解释替代方案[34]。然而,这些方法主要局限于定位证据,并且对学习到的特征转换的访问有限。
最近的研究探索了具有更透明功能表示的替代模型公式。Kolmogorov-Arnold网络(KAN)是这一方向上的一个有前途的例子[35],并通过自适应样条表示在生物医学成像中解决了类别不平衡问题[36]。在这项工作中,我们遵循这一思路,将基于KAN的功能表示与定制的归因分析相结合,以实现可靠的多结构荧光成像。
在这项工作中,提出的AEMS-Net解决了多结构荧光显微镜的局限性。我们的方法将多重染色的副作用减少了50%,同时保持了图像的保真度,并提供了可解释的分析。首先,我们通过将KAN集成到优化的U-Net中来将Kolmogorov-Arnold定理应用于亚细胞荧光成像。KAN在边缘上学习单变量函数,可以跨结构进行检查和比较,以更好地揭示特征是如何转换的。其次,为了处理荧光数据中的强度变化和结构异质性,我们在最后一层引入了一个高效的注意力模块和亮度自适应层(BAL),以恢复特定于结构的强度分布。第三,我们修改了Layer-CAM,以支持AEMS-Net预测的详细可解释性分析和可靠性评估。
章节摘录
材料与方法
我们按以下方式组织这一部分。第2.1节介绍细胞培养协议。第2.2节涵盖数据预处理。第2.3节和第2.4节描述模型架构和训练策略。
结果
我们按以下方式组织这一部分。第3.1节展示了重建结果的可视化,其中3.1.1节关注混合数据集结果,3.1.2节展示应用数据集结果。第3.2节探讨了AEMS-Net的可解释性方面。我们使用峰值信噪比(PSNR)、归一化均方根误差(NRMSE)和结构相似性指数(SSIM)指标来评估重建质量。
讨论
我们按以下方式组织这一部分。第4.1节展示了我们的消融研究结果。第4.2节探讨了AEMS-Net在性能和可解释性方面的双重优势。第4.3节讨论了我们方法的局限性以及未来工作的方向。
结论
我们提出了AEMS-Net,这是一个深度学习框架,它克服了多结构荧光显微镜中的挑战。通过整合Kolmogorov-Arnold表示定理,我们的模型可以从单张合并图像中重建多种亚细胞结构,有效地将所需的成像程序减少了一半,同时提高了图像的保真度。该框架结合了出色的性能和可解释性,满足了生物医学研究中的关键需求。主要优势包括
未引用的引用
缺少引用:图A.6、图A.7、图A.8、图A.9、图A.10、图A.11、图A.12、图A.12
CRediT作者贡献声明
陈明阳:撰写——原始草稿、软件开发、实验研究。金路红:撰写——审阅与编辑、验证、数据整理。宣旭伟:验证。杨德福:验证。程云:撰写——审阅与编辑、验证。张菊:撰写——审阅与编辑、监督、项目管理。
利益冲突声明
作者声明没有影响本工作的竞争性财务或个人利益。
致谢
本工作得到了国家自然科学基金的资助(编号:62105288和60974042)。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号