《Optics and Lasers in Engineering》:Electrically tunable benchtop microscope integrating TIE-based phase imaging and edge AI analysis
编辑推荐:
紧凑式显微系统融合电调液透镜实现电子调焦,基于传输强度方程的非干涉相位成像,结合边缘AI设备进行实时细胞分割分类与追踪,通过3D打印模块化结构集成环境控制与多通道成像,适用于活细胞动态监测与资源受限场景的快速分析。
谢福才|Soumyajit Podder|张一鸣|何茂昌
长庚大学生物医学工程系,台湾桃园市文华一路259号,333
摘要
光学显微镜是生物医学发现的关键技术,然而许多高性能仪器仍然体积庞大,不适用于活细胞成像和现场计算分析。这限制了它们在需要定量评估细胞动态的实验中的可用性和实际应用。为了解决这些挑战,我们展示了一种紧凑型台式显微镜,它将电可调液体透镜(ETL)、基于强度传输方程(TIE)的相位成像和基于边缘的人工智能(AI)分析集成在一个平台上。一个紧凑的2倍物镜结合电润湿ETL,实现了快速、无振动的轴向焦距调节,测量到的放大率变化在5.9毫米的焦距范围内为3.3±0.2%,便于获取用于基于TIE的相位恢复的散焦强度图像。这个高20厘米的模块化系统配备了基于透明加热器的环境控制装置,用于微流控细胞培养,并支持可选的双通道荧光和宽场成像模块。对于自动化分析,显微镜与一个基于边缘的AI设备相连,该设备可以使用卷积神经网络从对焦的明场图像中进行细胞分割、分类和跟踪。通过将基于ETL的电子焦距调节、非干涉式相位成像和基于边缘的明场图像分析结合在一个紧凑的体积中,该系统提供了无标记的相位可视化以及低延迟的AI辅助分析,为研究、教育和培训应用提供了一个实用且紧凑的个人显微镜解决方案。
引言
现代生物学研究越来越需要实时分析动态的细胞过程,但许多显微镜系统仍受到机械聚焦的时间限制、笨重的光学架构以及对外部计算资源依赖的制约。这些限制阻碍了灵活、低延迟成像平台在活细胞实验和现场分析中的应用。最近在三项关键技术方面的进展——用于快速、无振动轴向聚焦的电可调透镜(ETL)、基于强度传输方程(TIE)的非干涉式相位成像技术和用于设备内数据处理的边缘计算——为在紧凑型显微镜系统中解决这些限制提供了机会。然而,将这些技术系统地集成到一个自包含的台式平台上在很大程度上尚未得到探索。
紧凑型台式显微镜在生物成像方面的可用性有了显著提高,最近的发展展示了多种技术方法的创新。UC2模块化显微镜平台代表了这一趋势,它利用3D打印技术实现了可定制的光学配置,用于明场和荧光成像,同时保持了研究级的性能[1]、[2]。这种模块化范式激发了从使用消费组件的教育平台[3],到用于专门神经监测的超微型系统[4]、非常规光学几何形状[5]、[6],以及用于成本效益高的形态分析的替代成像模式[7]的各种实现。与此同时,OpenFlexure显微镜项目表明,完全3D打印的开源设计可以通过基于柔性的机械定位实现可重复和精确的成像[8]、[9]。尽管有这些进展,大多数紧凑型显微镜仍然依赖于机械聚焦机制,这限制了聚焦速度,引入了振动,并使长期活细胞成像变得复杂。
电可调透镜作为一种有效的解决方案,通过电润湿、可变形聚合物或液晶机制实现了快速的电子控制焦距调节[10]、[11]。材料科学和封装技术的进步显著提高了ETL的耐用性和热稳定性,缓解了早期与液体泄漏和蒸发相关的问题[12]、[13]。当与数字控制电子设备集成时,ETL能够实现快速、可重复的轴向扫描,精度达到亚毫米级别,机械复杂性最小,非常适合紧凑和便携的成像系统[14]、[15]、[16]。然而,将其与相位敏感成像模式集成引入了与放大率稳定性、焦距调节精度和重建稳健性相关的额外挑战。
相位成像技术长期以来被开发用于通过利用折射率和厚度变化引起的光学相位偏移来为透明生物样本提供无标记对比度。经典方法如Zernike相位对比[17]和差分干涉对比(DIC)显微镜[18]通过将相位变化或相位梯度转换为强度调制来增强图像对比度;然而,它们不能提供直接或定量的光学相位测量。在这些基础概念的基础上,现代定量相位成像(QPI)技术旨在从强度测量中恢复物理上可解释的光学相位信息[19]、[20]。在这些方法中,基于强度传输方程(TIE)的方法提供了一个特别有吸引力的非干涉框架,能够在不需要干涉光学的情况下从多个散焦平面获取的强度图像中重建相位[21]、[22]。由于其光学简单性和与非相干或部分相干照明的兼容性,基于TIE的相位成像非常适合紧凑型显微镜架构。
先前的研究表明,当与精心设计的光学配置和重建策略结合使用时,基于TIE的方法可以恢复一系列应用中有用的定量相位信息[23]、[24]、[25]。尽管如此,许多高保真度的TIE实现依赖于基于中继的光学布局、严格的照明控制或计算密集型的重建流程,这限制了它们在资源受限或实时成像环境中的适用性[26]、[27]。实际上,紧凑型TIE实现通常需要在系统简单性、重建稳健性和绝对相位精度之间进行权衡。
边缘计算为在紧凑型显微镜系统中实现低延迟操作提供了另一种途径,它直接在仪器级别执行图像采集、设备控制和数据分析。通过减少对外部计算机和数据传输的依赖,基于边缘的架构可以支持响应式的用户交互和实时分析工作流程[28]。最近的智能显微镜平台已经证明了将基于机器学习的分析(如细胞检测和分割)集成到紧凑型成像系统中的可行性[29]、[30]。然而,将基于ETL的快速聚焦、非干涉式相位成像和基于边缘的计算集成到单个台式显微镜中尚未进行系统研究。
在这项工作中,我们展示了一种便携式、多模式的台式显微镜,它将基于ETL的电子聚焦、基于TIE的相位成像、边缘计算和环境控制系统集成在一个紧凑的3D打印平台上,适用于微流控细胞培养。在当前的实现中,基于AI的分割、分类和跟踪仅在対焦的明场图像上进行,以确保在边缘硬件上的计算效率和稳健性,而基于TIE的相位成像则作为无标记可视化和使用微球标准和生物细胞的定量验证的补充模式。通过实验表征集成系统的光学性能、相位重建行为和设备内分析能力,这项工作为在资源有限和实际研究环境中部署具有相位功能的边缘启用显微镜提供了一个实用的框架。
部分摘录
模块化显微镜的设计与制造
台式模块化显微镜包括一个显微成像模块、一个荧光模块、一个环境控制单元、一个宽场成像模块、一个边缘计算计算机和一个触摸屏显示器。该模块化显微镜使用Rhinoceros CAD软件(Robert McNeel & Associates,美国)通过计算机辅助设计(CAD)进行设计(图1和图2)。每个模块和底盘的工件都是使用Nylon 12材料通过选择性激光烧结(SLS)(Fuse1,Formlabs,美国)3D打印的。
结果
在这项研究中,电润湿液体透镜通过TIE促进了相位恢复,使得能够分析在微流控平台上培养的聚苯乙烯微球、bEnd.3内皮细胞、A-10平滑肌细胞和THP-1单核细胞。这种方法提供了无标记的相位延迟图和珠子校准的厚度估计,支持对校准对象的定性可视化和定量检查。
讨论
这项工作展示了一种基于液体透镜的紧凑型台式显微镜,它在便携式3D打印平台上集成了基于TIE的相位成像和基于边缘的AI分析。该系统安装在一个通过选择性激光烧结制造的聚酰胺底盘上,重点在于机械稳定性、紧凑的体积和与活细胞成像环境的兼容性。电润湿液体透镜实现了快速、无振动的轴向聚焦,放大率变化有限(3.3±0.2%)
结论
在这项工作中,我们展示了一种紧凑型AI启用的显微镜,它将电可调光学、非干涉式相位重建和设备内深度学习结合在一个便携式平台上。该系统实现了无标记的相位可视化和形态评估,同时支持在边缘硬件上的低延迟明场分割和跟踪。
通过采用将相位重建与实时AI推理分离的模块化架构,该平台实现了
手稿准备过程中生成式AI和AI辅助技术的声明
在准备这项工作时,作者使用了GPT5.2来协助语法和语言润色。使用这项服务后,作者根据需要审查和编辑了内容,并对发表文章的最终版本负全责。
披露
已经为本文描述的边缘AI QPI显微镜申请了专利(专利号114142794,台湾经济事务部知识产权办公室),H-.F. Tsai和S. Podder被列为发明人。
资助
这项工作得到了来自冲绳科学技术研究生院技术先锋奖学金(Okinawa Institute of Science and Technology Graduate University Technology Pioneer Fellowship)、台湾国家科学技术委员会(National Science and Technology Council)和长庚纪念医院(Chang Gung Memorial Hospital,NSTC112-2221-E-182-012-MY3和CMRPD1N0351)的个别资助。我们感谢NVIDIA公司通过NVIDIA应用研究加速器计划(NVIDIA Applied Research Accelerator Program)对H-.F. T.提供的硬件支持。资助者在研究设计、数据收集和分析、决策方面没有发挥作用
CRediT作者贡献声明
谢福才:写作——审阅与编辑,撰写原始草稿,监督,软件,方法论,研究,资金获取,概念化。Soumyajit Podder:撰写原始草稿,可视化,软件,方法论,研究,正式分析,数据管理。张一鸣:撰写原始草稿,可视化,软件,方法论,研究,正式分析,数据管理。何茂昌:研究,数据管理。
利益冲突声明
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系:
谢福才报告称获得了国家科学技术委员会的财务支持。谢福才报告称获得了长庚纪念医院林口分院的财务支持。谢福才报告称获得了NVIDIA公司的设备、药品或供应品。谢福才拥有待批准的长庚大学的专利#114142794。
致谢
作者感谢冲绳科学技术研究生院的Toda-Peters先生和Shen Amy Q.教授在制造楼梯厚度刻度尺方面的帮助。作者感谢台湾中央研究院应用科学研究中心的Cheng Ji-Yen教授提供的技术支持。作者感谢长庚大学显微镜中心提供的技术支持。