人类与机器交互的全面分析:工业机器人中的教学挂件与手势控制 作者:Robert Kristof、Valentin Ciupe、Erwin-Christian Lovasz 和 Ghadeer Ismael

《Actuators》:A Comprehensive Analysis of Human–Machine Interaction: Teaching Pendant vs. Gesture Control in Industrial Robotics Robert Kristof, Valentin Ciupe, Erwin-Christian Lovasz and Ghadeer Ismael

【字体: 大 中 小 】 时间:2026年04月14日 来源:Actuators 2.3

编辑推荐:

  摘要 微注射是将外来物质引入细胞的最成熟和最有效的技术之一。然而,手动细胞微注射过程中存在诸如操作繁琐、成功率低以及重复性差等问题,这些问题严重限制了其在生物医学研究和工程中的实际应用。为了解决这些问题,本文设计了一种自动化微注射系统,该系统结合了深度学习

  摘要 微注射是将外来物质引入细胞的最成熟和最有效的技术之一。然而,手动细胞微注射过程中存在诸如操作繁琐、成功率低以及重复性差等问题,这些问题严重限制了其在生物医学研究和工程中的实际应用。为了解决这些问题,本文设计了一种自动化微注射系统,该系统结合了深度学习视觉定位技术和自适应神经网络滑模运动控制。系统利用基于深度学习YOLOv8目标检测算法的机器视觉解决方案来确定自动化微注射的位置参数,然后通过控制末端执行器(由压电执行器和位移放大机构组成)来完成稳定且快速的穿刺过程。由于压电执行器具有强非线性,因此末端执行器的运动控制采用了滑模变结构控制和自适应神经网络控制策略,以满足微注射对精确位移输出的要求。同时,开发了一个主机控制系统来整合硬件设备、视觉定位算法和运动控制算法,以实现相应的自动化微注射任务。最后,在斑马鱼胚胎上成功验证了所设计自动化微注射系统的有效性。

1. 引言
随着生命科学的发展,对生物细胞注射技术的需求日益增长。目前,大多数注射任务仍然由经过长期培训的专业人员手动完成,这不仅耗时费力,而且由于操作者的疲劳,难以保持稳定和一致的作业性能[1,2]。注射的成功率在很大程度上取决于操作者的专业水平。操作者需要在显微镜视野中长时间观察细胞并控制微注射器,这很容易导致操作者疲劳,从而导致实验失败。此外,微注射没有标准化的操作流程,且重复性较差。生命科学和其他领域的持续发展要求微注射系统向规模化与自动化方向发展[3]。研究人员现在面临的挑战是如何通过整合自动控制和机器视觉等先进技术来提高微注射系统的自动化程度。科学家们已经开发了许多方法来解决手动操作的成功率低和效率低与对批量化和自动化需求增加之间的矛盾。

近年来,已经开发出了多种微注射系统。Mattos等人[4,5]设计了一种用于小鼠囊胚微注射的远程控制系统。基于机器视觉的定位系统中分别使用了霍夫变换算法和模板匹配方法来识别注射针头和囊胚。为了完成注射任务,注射针头会穿过压电执行器(PEA)对细胞膜产生的微小孔洞。为了使操作者能够远程进行微注射,该设备还提供了一个控制界面。Wang等人[6]设计了一种非侵入式的单细胞旋转机构,以将胚胎调整到最佳操作位置,并提出了一种视觉识别算法来确定胚胎细胞质的朝向。Fan等人[7]首次为所设计的微注射系统建立了准确的整体数学模型。但由于模型中的参数难以校准和测量,因此开发了一种自适应控制算法以提高系统的鲁棒性。Wang等人[8]设计了一种压电驱动的微注射系统,该系统集成了力量控制和位置控制,使用力传感器检测细胞穿透情况,并使用应变传感器实时测量注射器的相对位置。引入了权重系数方法来减少力量和位置控制器切换过程中的抖动。采用自适应滑模控制来补偿PEA的非线性,并利用PID控制穿刺力。

该系统能够实现斑马鱼胚胎的自动化批量微注射,具有较高的成功率以及良好的操作稳定性。Huang等人[9]提出了一种可以批量进行悬浮细胞微注射的机器人系统。为了固定细胞,该系统配备了独特的细胞夹持装置,能够一次将一个细胞送入注射区域。系统中还包含了一个力传感器,用于实时测量注射力。水平X-Y平面上采用位置控制,Z轴上采用阻抗控制。阻抗控制方案依赖于注射力与注射距离之间的经验关系,通过这种关系间接调节注射深度。Zhuang等人[10]开发了一种自主的全向微注射系统,能够实现完全自主的斑马鱼幼体微注射,具有视觉接触-穿透检测和体内移液管导航功能,在效率、精度和成功率方面优于传统方法。Kang等人[11,12]首次提出了基于膜理论的速率依赖性力学模型。在这个模型中考虑了微注射速度的影响,建立了注射力与细胞体变形之间的解析平衡方程,并根据注射速度和加速度修改了组成材料的弹性系数。该模型在高效批量细胞微注射方面具有广泛的应用前景。Huang等人[13,14,15]通过开发一种集成视觉定位-运动控制方案来满足微操作系统的精确操作要求,该方案结合了虚拟夹具约束来重建微操作的安全空间边界;利用抗噪声自适应神经网络和优化的视觉定位算法,解决了传统微操作中的目标定位偏差和高细胞损伤率等核心问题,同时多自由度视觉伺服设计增强了微操作器的自主跟踪稳定性,为细胞微注射等精确操作提供了可靠的技术支持。Zhang等人[16]提出了一种自动定向和吸取斑马鱼幼体的技术,首先设计了一个辅助微流控芯片来控制斑马鱼幼体的头部方向,然后对斑马鱼幼体的吸力动态进行了建模,并设计了一种自适应的鲁棒控制器,该方案在定位和吸取斑马鱼幼体方面非常有效。

传统的图像处理算法,包括阈值处理、基于区域的方法、模板匹配和霍夫变换,常用于细胞目标检测和姿态估计[17]。然而,基于这些方法的细胞微注射系统容易受到气泡和杂质等干扰的影响,从而导致检测不稳定甚至实验失败。得益于计算能力的显著提升,基于深度学习的物体检测算法得到了广泛应用,其在自动化细胞微注射系统中的应用也近年来迅速增长[18,19,20]。目标检测可以根据模型在图像分析中选择最佳目标,从而避免了设置特征和调整阈值的麻烦,并能高精度地检测目标对象。参考文献[21,22]中开发的斑马鱼批量微注射系统在培养皿中使用了专门设计的琼脂糖支撑基座,以将斑马鱼批量固定在标准姿态。该系统使用基于EfficientDet网络的机器视觉算法来提高斑马鱼的识别精度,结合硬件实现了快速准确的微注射操作,可以缩短相关研究的周期,节省成本,并显著减轻实验人员的工作负担。Qian等人[23]提出了一种基于卷积神经网络(CNN)的生物样品操作和微注射系统的视觉处理策略,该方法可以识别细胞数量并检测每个细胞的朝向。在实验中,需要将细胞旋转到最佳注射角度,因此使用了优化算法来最小化总体旋转角度并生成无碰撞路径规划。Guo等人[24]将微力感应微注射器集成到微流控芯片中,并利用深度学习模型准确检测斑马鱼胚胎的卵黄中心,并精确定位注射针头,从而开发了一种高效的自动化批量微注射系统。

另一方面,细胞微注射系统中另一个重要考虑因素是如何引导微注射器在合适的范围内移动[2,25,26]。由于大多数实验细胞的直径在微米级别,选择合适的执行器至关重要[1,27]。执行器大致可以分为压电驱动、气动驱动、直线电机驱动等类型。PEA是一种新型的微位移装置,具有较大的驱动力、高刚度和快速响应等优点,被认为是细胞注射的理想选择[28,29]。然而,PEA的输出位移与输入信号是非线性的,并且存在蠕变和滞后等现象[27,30,31,32],这对PEA的精确运动控制提出了挑战。实现PEA精确输出位移的控制方法可以分为两类[30]:一是建立滞后模型并通过滞后逆模型进行前馈补偿;另一种是将PEA的所有非线性(滞后、蠕变、振动、交叉耦合等)视为系统的整体干扰项[31,33],通过设计控制器(如滑模控制[34,35,36]、神经网络控制[37]、模糊控制[38]等先进控制算法)来实现精确控制。Zhang等人[39]基于Bouc-Wen滞后模型构建了系统的数学模型,通过在线估计理想对象的未知参数、卡尔曼滤波器进行位置预测以及自适应滑模控制算法实现了PEA的精确控制。Kang等人[40]提出了一种新的分数阶归一化Bouc-Wen模型来描述PEA的非对称和速率依赖性滞后非线性,在PEA系统上进行了一系列模型验证实验,结果表明该模型在建模精度和滞后补偿方面优于传统模型。Mishra等人[41]设计了连续三阶滑模鲁棒控制方案,实现了控制器的无抖动操作和有限时间收敛。使用微扰技术估计了模型不确定性,并通过滑模观测器估计了位置的更高阶导数,从而实现了PEA的精确位移控制。

受前述研究人员工作的启发,本文设计并验证了一种结合视觉定位和运动控制的细胞微操作系统,证明了该系统的可行性,并能有效提高细胞微操作的自动化和精度,为优化细胞微操作技术提供了实际支持。该系统采用基于YOLOv8算法的视觉定位解决方案[42]。作为深度学习目标检测算法,YOLOv8因其高检测率和高检测精度而应用于多个领域。据作者所知,该方法在自动化微注射系统中的应用较少。这种视觉定位解决方案可以快速准确地定位显微图像中的目标坐标,从而提高检测的自动化程度。在运动控制方面,本文使用压电执行器和柔性位移放大机构组成末端执行器来驱动微注射器完成穿刺和注射任务,并设计了结合滑模控制和径向基函数(RBF)神经网络的控制算法来控制末端执行器,同时设计了位移状态估计器来估计位移的导数。这构成了所提系统相对于传统系统的关键优势,满足了微注射中快速、精确和稳定运动控制的要求。还提供了主机计算机控制界面,可以降低操作者的操作难度,并减少因重复注射导致的疲劳。最后,在斑马鱼胚胎上进行了实验,验证了该系统在微注射中的有效性。

本文的结构如下:引言之后,第2节描述了整个系统结构,第3节分析了注射过程并介绍了视觉定位的工作原理。本文还介绍了运动控制部分,包括微注射过程分析、系统建模、控制器设计和稳定性分析。第4节使用斑马鱼胚胎进行了视觉定位和运动控制的实验测试。最后,第5节总结了本文的内容。2. 自动微注射系统描述本文设计的系统如图1所示。硬件实现主要分为显微图像获取部分、运动执行部分和主控制处理部分。在图1a中,显微图像获取部分包括一台立体生物显微镜(ZY-HDMI2800,深圳制造)和一个高分辨率摄像机。细胞微注射平台包括用于放置待注射细胞的培养皿和载玻片。运动执行部分结合使用了一个宏观驱动平台和末端执行器,其中宏观驱动平台将微注射器移动到预注射位置,末端执行器完成细胞的穿刺操作。末端执行器由一个压电执行器(PEA)和一个柔性位移放大机构组成,微注射器嵌入在柔性机构的末端。为了快速稳定地完成注射任务,使用了一个激光位移传感器(Keyence:LK-H022)来提供横向位移反馈信号。系统的主控制设备由一台工业计算机和一块运动控制卡(NI:PCI-6229)组成。图1. 系统框架:(a) 实物原型,(b) 概念框图。图1b是系统的概念框图,显示了系统各部分之间的连接关系。显微镜观察到的显微图像通过摄像机传输到主机计算机系统。主机计算机通过运动控制卡发送控制信号,利用宏观驱动平台将微注射器移动到预注射位置。最后,来自固定激光位移传感器的反馈信号和设计的控制算法驱动末端执行器跟踪所需的注射轨迹。主机计算机系统显示整个注射过程。系统的硬件控制和主机计算机通过Matlab(R2021a)实现。3. 系统功能实现对于微注射,需要实现的系统部分包括定位目标坐标和完成注射任务。3.1. 微注射过程分析细胞注射过程的示意图如图2所示。预注射准备包括将细胞放置在显微镜视野中心的载玻片上,并将微注射器移动到视野中。第一步是准确识别细胞和微注射器,并确定细胞中心的坐标?????(????,????)和微注射器的坐标?????(????,????)。准确和快速的视觉定位解决方案尤为重要,因为错误的识别或定位偏差可能导致穿刺过程中的错误和对设备的严重损坏。检测到目标后的下一阶段是考虑如何尽可能快速、精确和可靠地执行注射任务。图2. 细胞注射过程示意图。细胞注射可以分为四个阶段,即注射准备、注射穿刺、注射停留和注射返回。图2中的过程I将微注射器从????移动到预穿刺点?????(????,????),这需要较大的位移,该过程通过系统的精密运动平台完成。预穿刺点????与细胞中心????在y方向上对齐,减少了穿刺偏差的可能性。为了使微注射器能够加快穿刺速度,在预穿刺点????和细胞膜之间留有空间。微注射器从预穿刺点????穿刺到细胞中心????。穿刺完成后,微注射器停留几秒钟进行注射,然后注射完成后从????返回到????。这是图2中的过程II,即注射穿刺和注射停留。细胞结构非常脆弱,必须避免穿刺影响细胞的存活率甚至使细胞失活。为了解决这个问题,注射穿刺和注射停留阶段使用了压电执行器(PEA),它具有快速响应和高精度定位的优势,并结合了一个柔性位移放大机构。该机构用于放大压电执行器产生的微小伸缩位移。3.2. 基于YOLOv8的视觉定位自动化微注射依赖于机器视觉来检测和定位微注射目标。系统完成微注射和自动化的能力取决于目标检测和定位的成功与否。与工业自动化不同,工业自动化中的设备位置固定且大小统一,而在相同的注射周期内,由于细胞发育的微小差异,细胞形态会发生变化。注射过程中,培养皿中的细胞会被放置在不同位置;培养皿中的杂质和气泡会干扰识别,进一步增加了识别和定位的难度。传统的图像处理算法容易受到图像噪声的影响,导致目标识别困难,设计过程也更为复杂[17,19,23]。本文使用基于深度学习的目标检测的视觉定位方法来获取细胞和针尖的坐标信息。目标检测算法使用YOLOv8作为核心视觉定位算法。YOLO作为最典型的单阶段检测算法之一,由于其高检测速度、实时性能和简单的结构,在其他工业检测领域得到了广泛应用,但在微注射领域应用较少。作为YOLO最新的算法版本,YOLOv8进一步优化了结构并提高了检测性能。图3显示了YOLOv8的结构示意图。YOLOv8网络结构可以分为四个部分:输入层、主干神经网络层、颈部混合特征层和头部检测层。输入端将图像统一转换为640 × 640分辨率的图像。在此过程中,使用拼贴等数据集增强方法通过随机缩放、随机裁剪和随机排列来拼接四张图片。这不仅丰富了数据集,还减少了GPU的需求。YOLOv8的主干部分包括CBS(卷积层、批量归一化层和SiLU层)、C2f(卷积层到全连接层)和SPPF(空间金字塔池化-快速),通过C2f模块增强模型的梯度流,从而提高模型的特征提取能力。模型的颈部采用了PAN + FPN(特征金字塔网络+路径聚合网络)结构,以完全整合多尺度特征图的语义信息和空间信息,补充和改善特征损失并丰富特征细节信息。YOLOv8有五个预训练权重:YOLOv8-n、YOLOv8-s、YOLOv8-m、YOLOv8-l和YOLOv8-x。使用自制的细胞和针尖数据集进行模型训练,选择最优模型作为视觉定位算法。图3. YOLOv8架构。本文以斑马鱼胚胎为例。在视觉定位工作中,首先将细胞放置在玻璃载玻片上,然后将玻璃载玻片放置在显微镜视野的中心。图像获取模块获取数百张带有微注射器的细胞显微图像作为数据集图像。假设1. 在本研究中,使用膜理论[11]来模拟微注射过程中具有膜的细胞的变形。它假设生物细胞是球形的,其生物膜由不可压缩的均匀各向同性材料构成,厚度恒定。细胞内液体(即细胞质)产生的机械响应被视为对生物膜的均匀静水压力。因此,细胞的变形行为主要由外部相互作用力决定。基于上述假设,我们可以设计一个控制器来实现微注射系统的精确运动跟踪。3.3. 运动控制模块实现末端执行器由压电执行器(PEA)和一个柔性位移放大机构组成。压电执行器由于其快速响应和稳定无干扰的运动,可以在加速微注射器穿刺过程中最小化对细胞的损伤。然而,压电执行器的运动范围有限,并且存在强烈的迟滞非线性效应。通过将压电执行器与柔性位移放大机构结合使用,可以放大迟滞效应,这在实现精确运动控制时带来了挑战。为了解决这个问题,本系统采用了一种结合滑模控制(SMC-RBF)和神经网络RBF的控制策略来实现末端执行器的精确和稳健控制。结合牛顿定理和Bouc–Wen迟滞模型,末端执行器的整体建模如下: ???¨??+???˙??+?????=???(???????)+???? (1) ˙?=??????˙??????|˙??|???|?|???1????˙???|?|?? (2) 其中 m、b、k 和 d 分别对应末端执行器系统的固有特性,即质量、阻尼系数、压电系数和刚度系数;x、˙?? 和 ¨?? 分别是位移、速度和实际加速度;u 是输入到末端执行器的电压;h 是模型的非线性迟滞分量,其形状和大小由参数 ??、??、?? 和 n 决定;通常取 ?? =1;???? 是系统的外部扰动和一些未知影响项。动态模型(方程(1)和(2)可以重写为 ¨??=??????˙??????????+?????????????????+?????? (3) 在方程(3)中,令 Δ=???????+?????? (4) 可以得到以下方程: ¨??=??????˙??????????+??????????+Δ (5) 其中 Δ 是迟滞项和未知项之和。假设2. 聚合干扰 Δ [43,44] 是有界的,即 Δ≤Δ?? (6) 其中常数 Δ?? >0。为了便于工程应用,考虑到转换后的方程(4)中参数的识别过程非常复杂,在控制过程中,本文使用RBF神经网络在线估计这些参数,以减少工程应用的难度。其余部分是线性的,相应的参数(m、b、k、d)相对容易识别。对于末端执行器,输入低频低幅度的激励电压可以减少非线性迟滞响应和干扰对系统的影响,因此方程(5)可以表示为系统在低频低幅度电压激励下的动态方程: ¨??=??????˙??????????+?????????? (7) 方程(7)是一个二阶系统微分方程的形式,可以进一步表示为典型的二阶系统微分方程 ¨??=?2?????????˙?????2?????+??????????? (8) 其中 ?? 是二阶系统阻尼系数,???? 是系统自然频率,???? 是系统增益。输入到末端执行器的激励电压表达式为 ???(??)=sin?(2????????????/2)+1,00) 是一个可调参数。对方程 (13) 的求导得到 ˙??=??3˙??+¨?? (14)。选择指数趋近律是因为它具有快速收敛速度和强大的抗干扰能力。收敛律的表达式如下:˙??=???3sign?(??)????? (15),其中 ??、p 是可调参数。根据方程 (11)–(15),控制器 SMC-RBF 被设计为 ??=1????2??[¨????+??3˙??+2??????˙??1+??2????+??3sign?(??)+?????^Δ] (16),其中 ^Δ 是 Δ 的估计值,通过 RBF 网络的在线估计来实现。在 RBF 网络中,?? =[??1?????]?? 是网络输入,?? =[??????]?? 是高斯径向基函数,?? =[????????????]?? 是第 j 层隐藏层神经元的质心向量值,???? 是第 j 层神经元的高斯函数宽度,??? 是第 j 层神经元的值,即 ???=exp?(?∥???????∥2?????),??=1,2,??? (17)。网络权重为 ?? =[????????]??,网络的理想估计值可以表示为 Δ=???????+?? (18),其中系统位移 x 作为网络输入,??? 是网络的理想权重矩阵,?? 是网络的高斯基函数输出,?? 是网络的逼近误差,其有界,即 |??| 0。图 5 展示了 sign?(??) 和 tanh?(??) 的比较。图 5. sign(s) 和 tanh(s) 的图像。因为控制器 SMC-RBF 需要实际位移和实际速度,而在工程应用中,考虑到成本问题,通常只有测量位移的设备。因此,需要设计一个位移状态估计器 (DSE)。设计的 DSE 表达式如下:{˙???=????|??????|1/?sign?(??????)+???˙???=????sign?(??????) (22),其中 ???、??? 是辅助状态量,???、??? >0。??? 和 ??? 分别是 ??? 和 ??? 的估计值,即 ??? = ^?? 和 ??? = ^˙??。然后分析系统稳定性,将设计的控制律 (方程 (20)) 代入公式 (14) 得到 ˙??=???????????????????3sign?(??) (23),其中 ??? =??? ?^?? 是网络权重误差值。定义李雅普诺夫函数为 ??=1/2??2+1/2??︽????︾?? (24),其中 ?? >0。对方程 (24) 的求导得到 ˙??=??︽??+??︽????︾˙???=???︽(????+??3sign?(??)+??)??????︽(??︽??︾︽??︽??) (25)。从方程 (25) 可以得到自适应律 ˙???=???︽??︾/?? (26)。由于 |??| ≤????,取 ?? ≥???? +??,其中 ?? >0,因此 ˙??=???︽(????+??3sign)︽(??)+??≤?????2???︽(????+??)︽sign?(??)+??≤?????2?|??︽(????+??+??)≤0 (27)。已知 ?? ≥0、˙?? ≤0,根据李雅普诺夫理论,系统是稳定的。注释 1。控制律中的 ??︽????????︽(??) 作为一个鲁棒项,可以有效克服干扰和神经网络逼近误差,确保系统稳定性。RBF 网络实现了滞后项和未知项的在线实时估计。在实际过程中,可以减少 η 的值,并用 ???????︽(??) 替换 ????????︽(??) 以进一步减少抖动,提高系统控制质量和鲁棒性。4. 实验结果与讨论斑马鱼基因与人类基因高度同源,近年来已成为流行的模式生物。通过向斑马鱼胚胎注射不同的药物,可以在医学、生物学等领域进行研究。此外,斑马鱼胚胎发育迅速,显微注射需要在孵化后几小时内完成,这对注射系统提出了很高的要求。因此,本文选择斑马鱼胚胎作为细胞注射测试对象,以验证显微注射系统的有效性。4.1. 实验研究 1:视觉定位测试本研究使用的数据集包含 1134 张图像,其中包括不同状态的细胞和直径不同的显微注射器。在图像采集过程中,调整了补充照明的强度以模拟数据集中的照明条件多样性。数据集分为训练集、验证集和测试集,比例分别为 70%、20% 和 10%,对应 794 张、226 张和 114 张图像。本研究中的所有模型训练实验都在相同的硬件和软件环境下进行,以确保实验结果的公平性和可重复性。实验平台是一台运行 Windows 11 的工作站,配备了 Intel Core i7-13700H 处理器和 NVIDIA GeForce RTX 4070 GPU。在软件方面,所有实验都是用 Python 3.10 开发的,使用 PyTorch 2.0 作为深度学习框架,CUDA 11.7 用于 GPU 加速计算。所有模型训练和测试过程都在 PyCharm (2024.1) 集成开发环境中进行。在训练配置方面,模型训练进行了 300 个周期,批量大小为 16,所有输入图像均统一调整为 640 × 640。这种配置保留了显微图像的详细信息,同时平衡了 GPU 内存使用和训练效率。训练期间没有启用提前停止,以确保在整个训练计划期间充分收敛。优化器是随机梯度下降 (SGD),初始学习率为 0.01,动量为 0.937,权重衰减系数为 5 × 10??。在训练开始时引入了一个 3 个周期的预热阶段,以减轻梯度不稳定性和提高训练稳定性。在整个训练过程中采用了固定的学习率策略,没有使用余弦退火调度。对于损失函数,边界框回归损失的权重设置为 7.5,分类损失的权重设置为 0.5,分布焦点损失 (DFL) 的权重设置为 1.5。没有使用预训练权重。在模型训练阶段,对训练集应用了在线数据增强策略。在每次训练迭代中,对输入样本随机应用了多种几何和照明变换,主要包括镶嵌增强、混合增强、随机擦除、随机缩放、平移、翻转和颜色扰动。由于数据增强过程是在线生成的,因此在数据层面上训练集中的样本数量保持不变,而样本在不同训练周期表现出多样的增强形式,从而有效提高了模型的泛化能力。训练过程中启用了自动混合精度以减少 GPU 内存使用并加速训练过程。同时,采用了固定的随机种子和确定性的训练策略,以确保实验结果的良好可重复性。所有实验都在相同的硬件和软件环境下进行。训练期间使用验证集进行性能监控,而测试集仅用于最终的性能评估。YOLOv8n 的检测性能使用精确度 (P)、召回率 (R)、在 IoU 阈值为 0.5 时的平均精确度 (mAP@0.5) 以及在 IoU 阈值从 0.5 到 0.95 之间的平均精确度 (mAP@0.5:0.95) 进行评估。在我们的数据集上,YOLOv8n 的精确度为 97.8%、召回率为 97.5%、mAP@0.5 为 98.2%、mAP@0.5:0.95 为 72.4%。其 mAP@0.5 显著高于 YOLOv5 (97.7%) 和 RT-DETR (96.5%)。如图 6 所示,图 6a 中的显微图像是通过图像采集模块获得的,然后通过视觉定位模块检测目标。图 6b 是检测结果图像,预测框的中心坐标值(细胞和针尖的中心坐标值)也被输出。在检测结果图像中,不同颜色的检测框用于对应细胞和显微注射器的位置。预测框上的数字是检测结果的置信度。图 6. 视觉定位测试:(a) 原始图像,(b) 视觉定位结果图像。对于细胞,形态差异很小,因此检测成功率很高。针尖的检测效果基本满足实验要求。通过提高数据集图像的质量和数量,也可以提高检测成功率。与传统图像处理算法相比,主要耗时的部分是在早期准备数据集以便模型训练。模型训练完成后,可以实时检测显微图像,单个图像的检测时间大约在 20 毫秒以内。考虑到检测成功率和自动化显微注射系统的工作效率,基于深度学习目标检测的视觉定位方法无疑是一个更好的选择。4.2. 实验研究 2:运动控制测试为了验证设计的控制器 SMC-RBF 在控制末端执行器位移方面的优越性,将其与 PID 进行比较。PID 控制律为 ??=??????+????︽∫??+????︽˙?? (28),其中 ?? =???? ??? 是预期位移与末端执行器实际位移之间的误差。分别在控制器 SMC-RBF 和控制器 PID 上进行了正弦预期轨迹跟踪实验。控制系统的采样周期设置为 0.1 毫秒,跟踪正弦信号 (???? =150 +150sin?(2π???π/2))。控制器参数是通过系统试错调试策略结合稳定性约束确定的。合理的调整确保了实际实验中的控制精度、动态响应和系统鲁棒性,充分考虑了系统的实时性能和稳定性,实现了控制精度和减少抖动之间的良好平衡。使用均方根误差 (RMSE)、平均绝对误差 (MAE) 和最大绝对误差 (MaxAE) 来评估控制器的跟踪性能。控制器参数见表 1。表 1. 控制器参数。图 7 展示了控制器 SMC-RBF 和 PID 跟踪正弦信号的实验结果。在实验中,实时收集了显微注射器的实际定位位移,并与给定的期望正弦参考输入进行比较,以验证控制系统的轨迹跟踪性能。PID 控制器存在一定滞后,这受到滞后的影响,而 SMC-RBF 控制器的影响较小,如图 7a,c 所示。如图 7b,d 所示,SMC-RBF 控制器在跟踪误差方面也显著优于 PID 控制器。图 7e 显示了 PID 控制器在控制律稳定期间的抖动。这可能会加剧细胞显微注射过程中的细胞膜破裂,因此最小化抖动非常重要。相比之下,SMC-RBF 控制器的控制过程似乎非常平滑。图 7f 显示设计控制器比 PID 控制器具有更好的跟踪预期值的能力。表 2 是统计结果。可以看出,设计控制器的 RMSE 和 MAE 分别为 1.184 μm 和 0.9713 μm。与 PID 相比,改进幅度分别为 62.07% 和 65.49%。这证明了设计控制器在跟踪精度方面的能力。值得注意的是,MaxAE 评估指数对于显微注射非常重要,因为如果穿刺距离过大,会加剧细胞损伤程度;如果穿刺距离过小,则会导致实验失败。设计控制器的 MaxAE 为 3.8051 μm,仅为跟踪信号幅度的 1.268%(不到 2%)。与 PID 相比,改进幅度为 36.89%。这表明设计控制器可以最小化由于过度穿刺距离造成的细胞不可逆损伤的可能性。这对细胞显微注射实验非常有益。表 2. 控制器在跟踪正弦信号方面的性能指标。设计的 SMC-RBF 控制器在跟踪误差和控制律输出稳定性方面具有显著优势。在实际的微注射过程中,末端执行器的运动轨迹与正弦曲线不同,需要先加速后减速。刺破细胞后,末端执行器需要停在细胞中心以完成注射工作。通过实时图像中的细胞状态来判断注射是否成功。注射完成后,可以撤回注射针头。因此,有必要对控制器进行模拟注射轨迹测试。图8展示了使用SMC-RBF控制器模拟微注射轨迹的结果。实验表明,当速度从零减速到零后再加速时,实际的跟踪曲线会有一定的延迟。这两个过程分别对应于微注射器向细胞中心减速以及注射针头加速返回的过程。这种延迟对细胞注射和刺穿过程的影响不大,只是略微延长了向细胞中心减速的时间和加速返回的时间。位移中间段保持恒定,以模拟注射停留时间,从而使末端执行器的整体运动轨迹更加稳定,从而在完成微注射的同时减少对细胞的损伤。

4.3 实验研究3:细胞微注射测试
主机计算机系统中的用户操作界面是通过LabVIEW设计的。该界面主要功能是集成视觉定位和运动控制,为操作者提供便捷的操作方式。通过主机计算机系统,操作者可以选择相应的按钮来完成微注射任务。在此过程中,除了手动选择微注射的步骤外,其余的微注射操作都是自动完成的。这样一来,即使是没有专业培训的人员也能在简单指导下进行微注射操作,降低了操作的难度并减少了由于重复注射造成的操作疲劳。系统操作流程如图9所示。

为了获得清晰的图像,在将细胞和微注射器定位到显微镜视野内后,必须先对显微镜进行调焦。使用专用千分尺测得图像像素与实际距离之间的比例(R = 2.4966 μm/pixel)。然后通过图像采集设备获取实际的显微图像。接着利用深度学习目标检测和定位技术确定细胞和微注射器的中心坐标值。最后,将微注射器移动到预刺穿位置后进行刺穿和注射操作。图10展示了使用显微操作系统对斑马鱼胚胎进行注射的过程:图10a显示了初始时刻的斑马鱼胚胎和微注射器的位置;图10b展示了显微图像的视觉定位过程,可以看出细胞和针尖都在检测范围内,从而确定它们的位置;图10c显示了微注射器到达预刺穿点的位置;图10d展示了刺穿细胞的过程。

系统已经进行了大量实验,大多数实验都能够成功穿透细胞膜,但部分失败主要是由于检测漏掉或穿透距离不足造成的。与操作者的疲劳程度和操作熟练程度相比,系统的失败率并不高。实验表明,该系统满足了微注射的要求。

4.4 讨论
本文设计的系统采用基于深度学习的视觉定位方案,提高了系统检测的自动化水平。系统只需要识别末端执行器数学模型中的线性参数部分,非线性部分由RBF网络进行估计,大大降低了工程应用的难度。通过设计的DSE状态估计器和SMC-RBF控制器实现了末端执行器的精确位移控制。最后,通过斑马鱼胚胎微注射实验验证了该系统在降低微注射操作难度和提高效率方面的有效性。此外,通过针对性的模型训练,该视觉定位算法也可以应用于小鼠胚胎、小鼠卵细胞等具有相似大小和形态特征的样本。

然而,在系统实现过程中也存在一些问题。虽然目前仅与传统PID控制器进行了比较,但提出的SMC-RBF方法将在后续研究中与其他先进的控制策略进行进一步评估。在检测自动化方面,系统能够识别并定位细胞和针尖的坐标信息。细胞检测的准确性很高,但针尖检测的准确性略低。光强度的变化可能导致针尖未被准确检测和定位。可以通过增强检测算法对小目标的检测能力来减少这种情况的发生[45]。在刺穿过程中,由于细胞膜强度和弹性的不同,可能会出现刺穿失败的情况。预计通过创建准确的细胞模型[11]和精确可靠的细胞刺穿力控制器[46]可以解决这一问题。当前的实验验证主要集中在控制策略和视觉定位检测的性能上,评估微注射实际效果的重要指标(如注射成功率和胚胎存活率)将在后续研究中进一步研究和补充。

5. 结论
本文设计了一种自动化微注射系统,旨在解决微注射的高要求(如批量处理和自动化)与手动操作的低效率和成功率之间的矛盾。与传统方法相比,该系统在一定程度上降低了操作难度并提高了操作效率。基于深度学习的YOLOv8视觉定位方案实现了显微图像的目标坐标精确定位,有助于提高检测自动化程度。末端执行器用于驱动微注射器完成细胞刺穿,SMC-RBF控制器的设计保证了刺穿的精确、快速和稳定,降低了刺穿导致细胞损伤的风险。通过对斑马鱼胚胎进行微注射实验,验证了视觉定位方案和运动控制策略的有效性。这些方法提高了微注射的自动化程度。未来的工作将重点改进视觉定位对小目标的检测能力以及对细胞注射过程中刺穿力的控制,以进一步提升系统的注射成功率和效率。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号