结合深度学习视觉定位和神经网络滑模运动控制的自动化微注射系统设计与应用 邓志浩、徐一凡、康胜政

《Actuators》:Design and Application of an Automated Microinjection System Combining Deep Learning Vision Positioning and Neural Network Sliding Mode Motion Control Zhihao Deng, Yifan Xu and Shengzheng Kang

【字体: 大 中 小 】 时间:2026年04月14日 来源:Actuators 2.3

编辑推荐:

  摘要 微注射是将外来物质引入细胞的一种最为成熟和有效的技术之一。然而,手动细胞微注射过程中存在的程序繁琐、成功率低以及重复性差等问题严重限制了其在生物医学研究和工程实践中的应用。为了解决这些问题,本文设计了一种自动微注射系统,该系统结合了深度学习视觉定位技术与自适应神经网络滑模运

  摘要
微注射是将外来物质引入细胞的一种最为成熟和有效的技术之一。然而,手动细胞微注射过程中存在的程序繁琐、成功率低以及重复性差等问题严重限制了其在生物医学研究和工程实践中的应用。为了解决这些问题,本文设计了一种自动微注射系统,该系统结合了深度学习视觉定位技术与自适应神经网络滑模运动控制。系统利用基于深度学习YOLOv8目标检测算法的机器视觉技术来为自动微注射提供位置信息,然后通过控制由压电执行器和位移放大机构组成的末端执行器来完成稳定且快速的穿刺动作。由于压电执行器具有强烈的非线性特性,末端执行器的运动控制采用了滑模变结构与自适应神经网络相结合的控制策略,以满足微注射对精确位移输出的要求。同时,开发了主机计算机控制系统来集成硬件设备、视觉定位算法及运动控制算法,以实现相应的自动微注射任务。最后,在斑马鱼胚胎上成功验证了所设计自动微注射系统的有效性。

1. 引言
随着生命科学的发展,对生物细胞注射技术的需求不断增加。目前,大多数注射任务仍依赖于经过长期培训的专业人员手动完成,这不仅耗时费力,而且由于操作者疲劳难以保持稳定的操作性能[1,2]。注射成功率在很大程度上取决于操作者的专业水平。操作者需要在显微镜视野下长时间观察细胞并控制微注射器,这容易导致操作者疲劳并引发实验失败。此外,微注射缺乏标准化流程,重复性较差。生命科学及其他领域研究的持续发展要求微注射系统向规模化和自动化方向发展[3]。研究人员现在面临如何通过整合自动控制、机器视觉等前沿技术来提高微注射系统自动化程度的挑战。科学家们已经开发出多种方法来解决手动操作成功率低和效率低与日益增长的批量化和自动化需求之间的矛盾。近年来,出现了多种类型的微注射系统。Mattos等人[4,5]设计了一种用于小鼠囊胚微注射的远程控制系统,该系统基于机器视觉的定位技术分别使用Hough变换算法和模板匹配方法来识别注射针头和囊胚。为了完成注射任务,注射针头需要穿过压电执行器(PEA)对细胞膜产生的微小孔洞。该装置还提供了控制界面以实现远程操作。Wang等人[6]设计了一种非侵入式的单细胞旋转机构,用于将胚胎调整到最佳操作位置,并提出了确定胚胎细胞质方向的视觉识别算法。Fan等人[7]首次为所设计的微注射系统建立了精确的整体数学模型,但由于模型参数难以校准和测量,因此开发了自适应控制算法以提高系统的鲁棒性。Wang等人[8]设计了一种压电驱动的微注射系统,该系统集成了力控制和位置控制,利用力传感器检测细胞穿透情况,利用应变传感器实时测量注射器的相对位置,并引入权重系数方法来减少力和位置控制器切换过程中的抖动。通过自适应滑模控制补偿PEA的非线性,并利用PID控制穿刺力,使得该系统能够实现高效且稳定的斑马鱼胚胎自动批量注射。

2. 系统设计
本文设计的自动微注射系统结合了深度学习视觉定位技术和自适应神经网络滑模运动控制,有效解决了手动微注射过程中存在的问题。系统基于深度学习YOLOv8目标检测算法进行视觉定位,并通过压电执行器实现精准的位移控制。为了确保穿刺的稳定性和快速性,设计了由压电执行器和位移放大机构组成的末端执行器。由于压电执行器的非线性特性,运动控制采用了滑模变结构与自适应神经网络相结合的控制策略。同时,开发了主机计算机控制系统来整合硬件设备、视觉定位算法和运动控制算法,以实现自动微注射任务。在斑马鱼胚胎上的实验验证表明,该系统具有较高的成功率与良好的操作稳定性。

3. 实验验证
本文在斑马鱼胚胎上成功验证了所设计的自动微注射系统的有效性,证明了其在提高微注射自动化水平和精确度方面的实际应用价值。本文还介绍了运动控制部分,包括微注射过程分析、系统建模、控制器设计和稳定性分析。第4节使用斑马鱼胚胎进行了视觉定位和运动控制的实验测试。最后,第5节对本文进行了总结。

2. 自动微注射系统描述
本文设计的系统如图1所示。硬件实现主要包括显微图像采集部分、运动执行部分和主控制处理部分。在图1a中,显微图像采集部分包括一台立体生物显微镜(ZY-HDMI2800,中国深圳)和一个高分辨率相机。细胞微注射平台包括用于放置待注射细胞的培养皿和载玻片。运动执行部分采用宏观驱动平台和末端执行器的组合,其中宏观驱动平台将微注射器移动到预注射位置,末端执行器完成细胞的穿刺操作。末端执行器由压电执行器(PEA)和一个柔顺位移放大机制组成,微注射器嵌入在柔顺机制的末端。为了快速稳定地完成注射任务,使用了激光位移传感器(Keyence:LK-H022)来提供横向位移反馈信号。系统的主控制设备由一台工业计算机和运动控制卡(NI:PCI-6229)组成。

图1. 系统框架:(a) 实物原型,(b) 概念框图。图1b是系统的概念框图,显示了系统各部分之间的连接关系。显微镜观察到的显微图像通过相机传输到主机计算机系统。主机计算机通过运动控制卡发送控制信号,使用宏观驱动平台将微注射器移动到预注射位置。最后,来自固定激光位移传感器的反馈信号和设计的控制算法驱动末端执行器跟踪所需的注射轨迹。主机计算机系统显示整个注射过程。系统硬件控制和主机计算机通过Matlab(R2021a)实现。

3. 系统功能实现
对于微注射,需要实现的系统部分包括定位目标坐标和完成注射任务。

3.1. 微注射过程分析
细胞注射过程的示意图如图2所示。预注射准备包括将细胞放置在显微镜视野中心的载玻片上,并将微注射器移动到视野中。第一步是准确识别细胞和微注射器,并确定细胞中心的坐标?????(????,????)和微注射器的坐标?????(????,????)。准确快速的视觉定位解决方案尤为重要,因为错误的识别或定位偏差可能导致穿刺过程中的错误并对设备造成严重损坏。检测到目标后的下一个阶段是考虑如何尽可能快速、精确和可靠地执行注射任务。

图2. 细胞注射过程示意图。细胞注射可以分为四个阶段,即注射准备、注射穿刺、注射停留和注射返回。图2中的过程I将微注射器从????移动到预穿刺点?????(????,????),这需要较大的位移,通过系统的精密运动平台来实现。预穿刺点????与细胞中心????在y方向对齐,以减少穿刺偏差的可能性。为了使微注射器能够更快地穿刺细胞,在预穿刺点????和细胞膜之间留有空间。微注射器从预穿刺点????穿刺到细胞中心????。穿刺完成后,微注射器停留几秒钟进行注射,注射完成后从????返回到????。这是图2中的过程II,即注射穿刺和注射停留。细胞结构很脆弱,必须避免穿刺影响细胞的活力甚至使细胞失活。为了解决这个问题,注射穿刺和注射停留阶段使用了压电执行器(PEA),它具有快速响应和高精度定位的优势,并结合了柔顺位移放大机制来放大压电执行器产生的微小伸缩位移。

3.2. 基于YOLOv8的视觉定位
自动微注射严重依赖机器视觉来检测和定位微注射目标。系统完成微注射并自动化该过程的能力取决于目标检测和定位的成功率和准确性。与工业自动化不同,工业自动化中的设备位置固定且尺寸均匀,而在同一注射周期内,由于细胞发育的微小差异,细胞形态会有所变化。注射过程中的培养皿中的细胞会处于不同的位置;培养皿中的杂质和气泡会干扰识别,进一步增加了识别和定位的难度。传统的图像处理算法容易受到图像噪声的影响,识别目标的过程更为复杂[17,19,23]。本文使用基于深度学习目标检测的视觉定位方法来获取细胞和针尖的坐标信息。目标检测算法采用YOLOv8作为核心视觉定位算法。YOLO作为一种典型的单阶段检测算法,由于其高检测速度、实时性能和简单的结构,在其他工业检测领域得到了广泛应用,但在微注射领域使用较少。作为YOLO引入的最新算法,YOLOv8进一步优化了结构并提高了检测性能。图3显示了YOLOv8的结构示意图。YOLOv8网络结构可以分为四个部分:输入层、主干神经网络层、颈部混合特征层和头部检测层。输入端将图像统一转换为640 × 640分辨率的图像。在过程中,使用镶嵌等数据集增强方法通过随机缩放、随机裁剪和随机排列来拼接四张图片。这不仅丰富了数据集,还减少了GPU的需求。YOLOv8的主干部分由CBS(卷积、批量归一化和SiLU层)、C2f(卷积层到全连接层)和SPPF(空间金字塔池化-快速)组成,通过C2f模块增强了模型的梯度流动,提高了模型的特征提取能力。模型的颈部采用了PAN + FPN(特征金字塔网络+路径聚合网络)结构,以完全整合多尺度特征图的语义信息和空间信息,补充和改进特征损失并丰富特征粒度信息。YOLOv8有五种预训练权重:YOLOv8-n、YOLOv8-s、YOLOv8-m、YOLOv8-l和YOLOv8-x。使用自制的细胞和针尖数据集进行模型训练,选择最优模型作为视觉定位算法。

本文以斑马鱼胚胎为例。在视觉定位工作中,首先将细胞放置在玻璃载玻片上,然后将玻璃载玻片放置在显微镜视野的中心。图像采集模块获取数百张带有微注射器的细胞显微图像作为数据集图像。

假设1. 在这项研究中,使用膜理论[11]来模拟微注射中带膜的细胞的变形。它假设生物细胞是球形的,它们的生物膜由不可压缩的均匀各向同性材料组成,厚度恒定。细胞内液体(即细胞质)产生的机械响应被认为是对生物膜的均匀静水压力。因此,细胞的变形行为主要由外部相互作用力决定。基于以上假设,我们可以设计一个控制器来实现微注射系统的精确运动跟踪。

3.3. 运动控制模块实现
末端执行器由压电执行器(PEA)和柔顺位移放大机制组成。PEA由于响应迅速且运动稳定无扰动,可以在加速的微注射过程中最小化细胞损伤。然而,PEA的运动范围有限,并且存在强烈的滞后非线性效应。通过将PEA与柔顺位移放大机制结合,放大了滞后效应,这对实现精确运动控制提出了挑战。为了解决这个问题,该系统采用了结合滑模控制(SMC)和神经网络RBF(记为SMC-RBF)的控制策略,以实现末端执行器的精确和稳健控制。结合牛顿定理和Bouc–Wen滞回模型,末端执行器的整体建模如下:
\[m\'x + b\dot{x} + kx = k(du - \hat{h})\] (1)
\[\dot{\hat{h}} = \alpha \dot{du} - \beta |\dot{u}|^{\hat{h}}^{n - 1} - \gamma \dot{u}|^{n}\] (2)
其中m、b、k和d分别对应末端执行器的固有特性,即质量、阻尼系数、压电系数和刚度系数;x、\(\dot{x}\)和\(\dot{u}\)分别表示位移、速度和实际加速度;u是输入到末端执行器的电压;h是模型的非线性滞后分量,其形状和大小由参数\(\alpha\)、\(\beta\)、\(\gamma\)和\(n\)决定;通常取\(n = 1\);\(\tau_{du}\)是系统的外部扰动和一些未知影响项。

动态模型(方程(1)和(2)可以重写为
\[ \dot{x} = -\beta mM\dot{x} - k mMx + kmdu - \tau_{du}m\] (3)
在方程(3)中,令
\[\Delta = -km\hat{h}\] (4)
可以得到
\[ \dot{x} = -\beta mM\dot{x} - k mMx + kmdu + \Delta\] (5)
其中\(\Delta\)是滞后项和未知项的总和。

假设2. 聚类扰动\[\Delta\) [43,44]有界,即\[\Delta \leq \Delta_{N}\] (6)
其中常数\(\Delta_{N} > 0\)。

为了便于工程应用,考虑到转换后的方程(4)中参数的识别过程非常复杂,在控制过程中,本文使用RBF神经网络在线估计它们,以减少工程应用的难度。剩余部分是线性的,相应的参数(m、b、k、d)相对容易识别。对于末端执行器,输入低频低幅度的激励电压可以减少非线性滞后响应和扰动对系统的影响,因此方程(5)可以表示为系统在低频低幅度电压激励下的动态方程:
\[ \dot{x} = -\beta mM\dot{x} - k mMx + kmdu\] (7)
方程(7)是一个二阶系统微分方程,可以进一步表示为典型的二阶系统微分方程
\[ \dot{x} = -2\omega\omega_n\dot{x} - \omega^2n\dot{x} + k\gamma\omega_n\dot{x}\] (8)
其中\(\omega_n\)是系统阻尼系数,\(\omega_n\)是系统自然频率,\(k\gamma\)是系统增益。

输入到末端执行器的激励电压的表达式为
\[ u(t) = \sin(2\pi kn t - \pi/2) + 1, 0 < k \leq 500\] (9)
测量并记录末端执行器的输出位移,以识别频率响应参数。系统的传递函数计算为
\[ G(s) = 3.553 \times 10^6 s^2 + 678.5 s + 6.316 \times 10^4\] (10)
设计控制器的目标是根据系统在非线性滞后成分和未知成分扰动存在的情况下,快速准确地跟踪实际位移。滑模控制是一种特殊的非线性控制策略,它根据收敛定律将系统状态轨迹驱动到设计的滑模表面,然后根据滑模表面轨迹滑落到零点[31,34,35]。在分析方程(5)中对未知项(滞后项和未知扰动项)进行建模和参数识别在工程上很难实现,因此需要通过RBF神经网络[37]进行实时在线估计。

如图4所示,本文设计的控制器结构框图。末端执行器的位移控制采用滑模控制和神经网络RBF估计补偿的组合来实现。图4. 坚韧控制器的框图。

将系统方程重写为状态空间表达式
\[ \dot{x}_1 = x_2, \dot{x}_2 = -2\omega\omega_n\dot{x}_1 - \omega^2n\dot{x}_1 + k\gamma\omega_n\dot{x}_1 + \Delta\] (11)
其中\(x_1\)是末端执行器的位移,\(\dot{x}_2\)是速度\(\dot{x}\)。位移误差、速度误差和加速度误差分别表示为 ??=???????1、˙??=˙?????˙??1、¨??=¨?????˙??2 (12)。设计出的滑模 surfaces 为 ??=??3??+˙?? (13),其中 c (c >0) 是一个可调参数。对方程 (13) 求导得到 ˙??=??3˙??+¨?? (14)。选择指数趋近律是因为它具有快速收敛速度和强抗干扰能力。收敛律的表达式如下:˙??=????sign?(??)?????? (15),其中 ??、p 是可调参数。根据方程 (11)–(15),控制器 SMC-RBF 的设计表达式为 ??=1???????2???[???+??3˙??+2???????????1+??2?????+???sign?(??)+??????^Δ] (16),其中 ^Δ 是 Δ 的估计值,通过 RBF 网络的在线估计获得。在 RBF 网络中,?? =[??????????????]?? 是网络输入,?? =[????????????]?? 是高斯径向基向量,?? =[?????1??????2??????????]?? 是第 j 层隐藏层神经元的质心向量值,???? 是第 j 层神经元的高斯函数宽度,??? 是第 j 层神经元的值,即 ???=exp?(?∥???????∥2??????),??=1,2,??? (17)。网络权重为 ?? =[??????2???????]??,网络的理想估计值可以表示为 Δ=????????+?? (18),其中系统位移 x 作为网络输入,??? 是网络的理想权重矩阵,?? 是高斯基函数的输出矩阵,?? 是网络的近似误差,其有界,即 |??| 0。图 5 显示了 sign?(??) 和 tanh?(??) 的比较。图 5. sign(s) 和 tanh(s) 的图像。因为控制器 SMC-RBF 需要实际位移和实际速度数据,在工程应用中,考虑到成本问题,通常只有测量位移的设备。因此,需要设计一个位移状态估计器 (DSE)。设计的 DSE 表达式为:{???=?????|??????|1/??sign?(??????)+??? =?????sign?(??????) (22),其中 ???、??? 是辅助状态量,???、??? >0。??? 和 ??? 分别是 ??? 和 ??? 的估计值,即 ??? = ^?? 和 ??? = ^??。然后分析系统稳定性,并将设计出的控制律 (方程 (20)) 代入公式 (14) 得到 ˙??=??????????????????????sign?(??) (23),其中 ??? =??? ?^?? 是网络权重误差值。定义李雅普诺夫函数为 ??=12??2+12???????????? (24),其中 ?? >0。对方程 (24) 求导得到 ˙??=??????+????????????=????(?????+???sign?(??)+??)???????(????^??+?????) (25)。从方程 (25) 可以得到自适应律为 ˙^??=?????2/?? (26)。由于 |??| ≤????,取 ?? ≥???? +??,其中 ?? >0,所以 ˙??=????(?????+???sign)?(??)+??≤??????2????[(????+??)?sign?(??)+??]≤??????2?|??|?(????+??+??)≤0 (27)。根据李雅普诺夫理论,已知 ?? ≥0、˙?? ≤0,系统是稳定的。注释 1. 控制律中的 ???????????(??) 作为鲁棒项,可以有效克服干扰和神经网络近似误差,确保系统稳定性。RBF 网络实现滞后项和未知项的在线实时估计。在实际过程中,可以减小 η 的值,并用 ????????(??) 替换 ?????????(??) 以进一步减少抖动,提高系统控制质量和鲁棒性。4. 实验结果与讨论斑马鱼基因与人类基因高度同源,近年来已成为流行的模式生物。通过向斑马鱼胚胎注射不同的药物,可以在医学、生物学等领域进行研究。此外,斑马鱼胚胎发育迅速,微注射需要在产卵后几小时内完成,这对注射系统提出了高要求。因此,本文选择斑马鱼胚胎作为细胞注射测试对象,以验证微注射系统的有效性。4.1. 实验研究 1:视觉定位测试本研究中使用的数据集包含 1134 张图像,包括不同状态的细胞和不同直径的微注射器。在图像采集过程中,调整了补充光线的强度,以模拟数据集中的各种光照条件。数据集分为训练集、验证集和测试集,比例分别为 70%、20% 和 10%,对应 794、226 和 114 张图像。所有模型训练实验都在相同的硬件和软件环境下进行,以确保实验结果的公平性和可重复性。实验平台是一台运行 Windows 11 的工作站,配备了 Intel Core i7-13700H 处理器和 NVIDIA GeForce RTX 4070 GPU。在软件方面,所有实验都在 Python 3.10 中开发,使用 PyTorch 2.0.0 作为深度学习框架,CUDA 11.7 用于 GPU 加速计算。所有模型训练和测试程序都在 PyCharm (2024.1) 集成开发环境中进行。关于训练配置,模型训练进行了 300 个周期,批量大小为 16,所有输入图像统一调整为 640 × 640。这种配置在保留显微图像细节的同时,平衡了 GPU 内存使用和训练效率。训练过程中未启用提前停止,以确保在整个训练计划内的充分收敛。优化器是随机梯度下降 (SGD),初始学习率为 0.01,动量为 0.937,权重衰减系数为 5×10??。训练开始时引入了 3 个周期的暖身阶段,以减轻梯度不稳定性和提高训练稳定性。整个训练过程中采用了固定的学习率策略,没有使用余弦退火调度。对于损失函数,边界框回归损失的权重设置为 7.5,分类损失的权重设置为 0.5,分布焦点损失 (DFL) 的权重设置为 1.5。没有使用预训练权重。在模型训练阶段,对训练集应用了在线数据增强策略。在每次训练迭代中,对输入样本随机应用了多种几何和光照变换,主要包括拼接增强、混合增强、随机擦除、随机缩放、平移、翻转和颜色扰动。由于数据增强过程是在线随机生成的,训练集中的样本数量在数据层面保持不变,而样本在不同训练周期中表现出多样的增强形式,从而有效提高了模型的泛化能力。训练期间启用了自动混合精度,以减少 GPU 内存使用并加速训练过程。同时,采用了固定的随机种子和确定的训练策略,以确保实验结果的良好可重复性。所有实验都在相同的硬件和软件环境下进行。训练期间使用验证集进行性能监控,而测试集仅用于最终的性能评估。使用精确度 (P)、召回率 (R)、在 IoU 阈值 0.5 时的平均精度 (mAP@0.5) 以及在 IoU 阈值从 0.5 到 0.95 之间以 0.05 为步长的平均精度 (mAP@0.5:0.95) 来评估 YOLOv8n 的检测性能。在我们的数据集上,YOLOv8n 的精确度为 97.8%,召回率为 97.5%,mAP@0.5 为 98.2%,mAP@0.5:0.95 为 72.4%。其 mAP@0.5 显著高于 YOLOv5 (97.7%) 和 RT-DETR (96.5%)。如图 6 所示,图 6a 中的显微图像由图像采集模块获得,然后通过视觉定位模块检测目标。图 6b 是检测结果图像,同时输出了预测框的中心坐标值(细胞和针尖的中心坐标值)。在检测结果图像中,不同颜色的检测框对应于细胞和微注射器的位置。预测框上的数字表示检测结果的置信度。图 6. 视觉定位测试:(a) 原始图像,(b) 视觉定位结果图像。对于细胞来说,形态差异很小,因此检测成功率很高。针尖的检测效果基本满足实验要求。通过提高数据集图像的质量和数量,还可以进一步提高检测成功率。与传统的图像处理算法相比,主要耗时的部分是在模型训练早期准备数据集。模型训练完成后,可以实时检测显微图像,单个图像的检测时间大约在 20 毫秒内。考虑到检测成功率和自动化微注射系统的工作效率,基于深度学习目标检测的视觉定位方法无疑是更好的选择。4.2. 实验研究 2:运动控制测试为了验证设计的控制器 SMC-RBF 在控制末端执行器位移方面的优势,将其与 PID 进行比较。PID 控制律为 ??=???????+?????∫??+?????˙?? (28),其中 ?? =???? ??? 是末端执行器的预期位移与实际位移之间的误差。分别在控制器 SMC-RBF 和 PID 上进行了正弦预期轨迹跟踪实验。控制系统的采样周期设置为 0.1 毫秒,跟踪的正弦信号为 (???? =150 +150?sin?(2?????????/2))。控制器参数通过系统的试错调整策略结合稳定性约束确定。合理的调整确保了实际实验中的满意控制精度、动态响应和系统鲁棒性,充分考虑了系统的实时性能和稳定性,并在控制精度和减少抖动之间取得了良好的平衡。使用均方根误差 (RMSE)、平均绝对误差 (MAE) 和最大绝对误差 (MaxAE) 来评估控制器跟踪性能。控制器参数如表 1 所示。表 1. 控制器参数。图 7 显示了控制器 SMC-RBF 和 PID 跟踪正弦信号的实验结果。在实验中,实时收集微注射器的实际定位位移,并与给定的期望正弦参考输入进行比较,以验证控制系统的轨迹跟踪性能。PID 控制器跟踪时有一些滞后,这受到滞后的影响,而 SMC-RBF 控制器的影响较小,如图 7a,c 所示。从图 7b,d 可见,SMC-RBF 控制器在跟踪误差方面也明显优于 PID 控制器。图 7e 展示了 PID 控制器在控制律稳定过程中的抖动。这可能会加剧细胞微注射期间的细胞膜破裂,因此最小化抖动非常重要。相比之下,SMC-RBF 控制器的控制过程似乎非常平稳。图 7f 显示设计的控制器比 PID 控制器有更好的跟踪预期值的能力。表 2 是统计结果。可以看出,设计的控制器的 RMSE 和 MAE 分别为 1.184 微米和 0.9713 微米。与 PID 相比,改进了 62.07% 和 65.49%。这证明了设计控制器在跟踪精度方面的能力。值得注意的是,MaxAE 评估指标对于微注射非常重要,因为如果穿刺距离与参考距离相差太大,会加剧细胞损伤程度;如果太小,则会导致实验失败。设计的控制器的 MaxAE 为 3.8051 微米,仅为跟踪信号幅度的 1.268%(小于 2%)。与 PID 相比,改进了 36.89%。这表明设计的控制器可以最小化由于过度穿刺距离造成的细胞不可逆损伤的可能性。这对于细胞微注射实验非常有利。表 2. 控制器在跟踪正弦信号方面的性能指标。设计的 SMC-RBF 控制器在跟踪误差和控制律输出稳定性方面具有显著优势。在实际的微注射过程中,末端执行器的运动轨迹并不是正弦波形,而是需要先加速后减速。细胞被穿刺后,末端执行器需要停在细胞中心以完成注射任务。细胞穿刺是否成功可以通过实时图像中的细胞状态来判断。注射完成后,注射针可以撤回并从细胞中拔出。因此,有必要对控制器进行模拟注射轨迹测试。图8展示了使用SMC-RBF控制器模拟微注射穿刺轨迹的结果。实验结果表明,当速度从高速减速到零再从零加速时,实际跟踪曲线会有一定的滞后。这两个过程分别对应于微注射器向细胞中心减速和加速返回的过程。细胞注射和穿刺的过程不会受到这种现象的显著影响,只是稍微延长了向细胞中心减速的时间和加速返回的开始时间。位移的中段保持恒定,以模拟注射停留时间,使得末端执行器的整体运动轨迹更加稳定,从而在完成微注射的同时减少对细胞的损伤。

4.3 实验研究3:细胞微注射测试
主机计算机系统中的用户操作界面是通过LabVIEW设计的。用户操作界面的主要功能是整合视觉定位和运动控制,以便操作者进行操作。通过主机计算机系统,操作者可以选择相应的按钮来完成微注射任务。在这个过程中,除了手动选择微注射的步骤外,其余的微注射操作都是自动完成的。这样一来,即使没有专业培训的人员也可以在简单的指导下进行微注射操作,降低了操作难度,并减少了由于重复注射而导致的操作者疲劳。系统操作过程如图9所示。

为了获得清晰的图像,在细胞和微注射器位于显微镜视野范围内后,必须先进行调焦。使用专用千分尺获得图像像素与实际距离之间的比例(R = 2.4966 μm/像素),然后通过图像采集获取实际的显微图像。接着利用深度学习目标检测和定位技术得到细胞和微注射器的中心坐标值。最后,在将微注射器移动到预穿刺位置后进行穿刺和注射操作。

图10展示了使用显微操作系统对斑马鱼胚胎进行注射的过程。图10a显示了初始时刻斑马鱼胚胎和微注射器的样子。图10b展示了显微图像的视觉定位过程,可以看出细胞和针尖都在检测范围内,从而确定它们的位置。细胞和微注射器的中心坐标分别为(398.058, 488.712)和(1243.666, 229.765)。图10c显示了微注射器到达预穿刺点的过程。从预穿刺点到细胞中心的移动由末端执行器完成。图10d展示了穿刺细胞的过程。

该系统已经进行了大量实验。大多数实验都能成功穿透细胞膜,但有些失败的案例主要是由于检测不到目标或穿刺距离不足造成的。与操作者的疲劳程度和操作熟练度相比,系统的失败率并不高。实验表明,该系统满足了微注射的要求。

4.4 讨论
本文设计的系统采用了基于深度学习的视觉定位方案,以提高系统检测的自动化程度。系统只需要识别末端执行器数学模型中的线性参数部分,其余的非线性项由RBF网络进行估算,从而大大降低了工程应用的难度。通过设计的DSE状态估计器和SMC-RBF控制器实现了末端执行器的精确位移控制。最后,通过斑马鱼胚胎微注射实验验证了该系统在降低微注射操作难度和提高效率方面的有效性。此外,通过针对特定模型的训练,该视觉定位算法也可以应用于小鼠胚胎、小鼠卵子等其他具有相似大小和形态特征的样本。

然而,在系统实现过程中仍存在一些问题。虽然当前工作仅与传统的PID控制器进行了比较,但提出的SMC-RBF方法将在后续研究中与其他先进的控制策略进行进一步评估。在检测自动化方面,该系统能够识别和定位细胞及针尖的坐标信息。细胞检测的准确性很高,而针尖检测的准确性稍低。光强变化可能会导致针尖无法被检测和定位。通过增强检测算法对小目标的检测能力,可以减少这种情况的发生[45]。在穿刺过程中,由于细胞膜的不同强度和弹性,可能会发生穿刺失败的情况。预计通过创建准确的细胞模型[11]和精确可靠的细胞穿刺力控制器[46]可以解决这一问题。目前的实验验证主要集中在控制策略和视觉定位检测的性能上。未来研究将进一步调查和补充评估微注射实际性能的重要指标,如注射成功率和胚胎存活率。

5. 结论
本文设计了一种自动化微注射系统,旨在解决微注射的高要求(如批处理和自动化)与手动操作的低效率和成功率之间的矛盾。与传统方法相比,该系统在一定程度上降低了操作难度并提高了操作效率。基于深度学习的YOLOv8的视觉定位方案实现了显微图像的目标坐标精确定位,有助于提高检测自动化程度。末端执行器用于驱动微注射器完成细胞穿刺,而SMC-RBF控制器的设计实现了精确、快速和稳定的细胞穿刺任务,减少了穿刺过程中导致细胞失活的可能性。通过对斑马鱼胚胎的微注射实验,验证了视觉定位方案和运动控制策略的有效性。这些方法提高了微注射系统的自动化程度。在未来的工作中,将进一步改进视觉定位对小目标的检测能力以及关注细胞注射中的穿刺力,以进一步提高系统的注射成功率和效率。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号