《Advanced Intelligent Systems》:A Multi-instrument Recognition and Autonomous Tracking Control Method for Robot-Assisted Endoscopic Adjustment
编辑推荐:
本文提出了一种机器人辅助内窥镜调整(RAEA)系统,通过构建轻量化手术器械(SI)检测模型,引入注意力机制提升复杂手术环境下的检测精度,并设计了基于图像特征点(IFP)和约束项的分层多约束控制器(HMCC),在实现视觉伺服控制(VSC)的同时,有效约束机械臂关节极限、内窥镜插入深度(EID)和远心运动点(RCM)。数值仿真和实际SI跟踪实验表明,该方法在仿真和实际实验中的平均跟踪距离(ATD)分别比伪逆和自适应控制方法降低35.86%/28.47%和13.90%/11.04%,约束项得到有效控制与校正,证明该方法可稳定、安全、快速地调整手术扩展视野(EFOV)。
引言
随着智能医疗和人工智能的进步,微创手术(MIS)已成为主流外科手术方式。与传统开放手术相比,MIS具有组织损伤小、恢复快等优势。然而,MIS通过微小切口进行,操作极其精细,加之严格的空间限制和高精度的手术动作要求,带来了诸多挑战。近年来,机器人辅助MIS的出现提高了手术效率和安全性,克服了手术评估、手术流程优化以及因生理因素导致的操作误差等困难。但在MIS中实现辅助级自主表现和高环境适应性仍然充满挑战,这主要源于MIS环境的杂乱性和动态性。
在MIS领域,手术器械(SI)的定位是研究的核心,需要在每一帧中实现准确高效的定位,并计算相邻帧之间的关系,以实现同一SI的跨帧联动。有效的定位不仅有利于RAEA的自适应调整,还有助于记录SI的运动轨迹,这对于评估手术质量以及为RAEA进行自我学习提供实验数据,从而提升智能化水平至关重要。目前,基于深度学习的手术器械检测(MSID)主要分为基于分类的两阶段检测和基于回归的一阶段检测。两阶段MSID方法虽然精度高,但常因训练和检测速度慢以及特征提取繁琐而受到批评。一阶段MSID,例如YOLO系列,因其检测速度快、实时性高而受到关注。然而,标准YOLOv8在处理内窥镜图像时,对于小目标或部分遮挡的器械特征提取不足,且缺乏对复杂条件下空间关系的鲁棒建模机制。同时,无论是单一的伪逆方法还是二次规划(QP)方法,都难以对多约束、时变、不连续的自主视觉跟踪问题提供稳定准确的解决方案。
一阶段MSID模型
为解决上述问题,本研究基于YOLOv8基线模型,提出了一种改进的MSID模型。该模型的核心创新在于设计了一个新颖的多尺度注意力卷积(MSCA)模块。该模块受到GhostNet设计理念的启发,利用冗余的中间特征以低计算成本生成多样化的表示。MSCA模块将输入特征图分成n组,并通过多次下采样提取多尺度特征。它整合了坐标注意力(Coordinate Attention)机制,通过二维平均池化沿水平和垂直方向聚合特征,生成方向感知和位置敏感的特征图,即使器械部分被遮挡也能精确定位器械尖端和杆部。此外,该模块还采用了深度可分离卷积与坐标注意力(DSA)子模块,以简化中间特征图并加速训练收敛。
在颈部(Neck)网络中,本研究引入了鬼影混洗卷积(GSC)单元,以平衡MSID的轻量化和准确性。GSC单元集成了Slim-Neck的设计理念,通过鬼影卷积(Ghost Convolution)减少冗余,并引入通道混洗(Channel Shuffling)操作促进分组卷积生成的特征通道之间的密集信息交换。这些架构集成不仅保持了检测性能,还确保了在计算资源有限的RAEA平台上的可部署性。
在损失函数方面,基线模型采用完全交并比(CIoU)损失函数,该函数在小样本检测中表现不佳,且难以有效平衡难易样本。因此,本研究采用Wise交并比(WIoU)作为改进的定位损失函数。WIoU避免了纵横比的计算,从而提高了整体速度,并且在处理低标注质量和可变尺寸的复杂数据集方面表现出强大的鲁棒性。
分层多约束控制器
对于RAEA系统,不仅需要实时稳定地获取和跟踪图像特征点(IFP),还需要考虑MIS的实际条件,对机械臂的运动规划施加限制。为此,本研究提出了一种分层多约束控制器(HMCC),它将传统控制器与QP优化求解相结合,并通过实时反馈校正特定约束。
首先,根据机械臂的D-H坐标系建立相邻坐标系间的齐次变换矩阵,从而得到从各关节到末端执行器坐标系{e}的变换关系。对于具有n个旋转自由度的机械臂,其雅可比矩阵的列由关节到末端执行器的变换关系给出。末端执行器的螺旋矢量到关节角速度(JAV)的变换关系可以通过雅可比矩阵表示。
考虑到视觉伺服控制(VSC)过程中的周期性噪声和运动学不确定性,特别是RCM约束可能产生的未知位移,需要对RCM约束误差进行量化,并将其作为反馈输入到内窥镜视野调整控制器中,以调整扩展视野(EFOV)。RCM位置向量在连接器坐标系{con}中表示,并通过变换到基坐标系{0}中。RCM误差被建模并作为反馈,纳入HMCC,以对EID和RCM施加额外约束。
内窥镜视野调整控制器的主要目标是实现任务空间与IFP之间的精确映射。通过从EFOV中提取感兴趣区域,可以获得图像坐标系{fig}中IFP的二维位置。期望的跟踪目标由内窥镜远端摄像头识别,期望跟踪距离通过欧几里得距离计算。使用比例-积分(PI)控制器和运动学变换求解{lap}坐标系中的三维期望速度向量。考虑到器械频繁进出MIS操作区域,设计了辅助性质的速度控制器,当检测到器械发生大规模线性运动(如更换器械)时,及时暂停IFP跟踪任务。
通过理论力学将速度向量从{lap}空间映射到{con}空间,并对RCM点施加约束,使得内窥镜在插入点处只能沿轴向运动。同时,通过校正参数对RCM点的位移进行校正,从而建立{con}和{lap}之间的旋量映射关系。
优化的逆运动学求解器将高优先级的RCM和EID约束整合到内窥镜视野调整控制器中,并将RAEA的物理结构约束表述为QP问题进行逆运动学求解。将逆运动学问题转化为最小二乘问题的特解,并考虑物理约束,得到速度级的QP模型。根据KKT条件,该QP问题等价于一组方程,并通过构建一个优化求解器进行迭代求解,最终得到期望的关节角速度。该求解器选择了双曲正切函数作为激活函数,以利于速度级QP模型的有限时间收敛。
手术器械跟踪实验
为验证HMCC的有效性,本研究进行了数值仿真和实际SI跟踪实验。
在数值仿真中,模拟了单目刚性内窥镜夹持机械臂的VSC过程。仿真设置了两个SI在基坐标系{0}中的运动轨迹,并初始化了模拟6自由度机器人的关节角。仿真结果表明,HMCC能够快速准确地完成VSC,同时合理地约束RAEA的关节角(JA)、JAV、EID和RCM。即使RCM约束点因不确定性发生偏移,误差也能得到校正。与传统的伪逆和自适应控制方法相比,该方法在ATD上分别降低了35.86%和28.47%,证明了其在复杂操作环境下VSC方案的稳定性和鲁棒性。
在实际SI跟踪实验中,构建了RAEA实验平台,包括主控计算机、6自由度机械臂、单目刚性内窥镜、单板计算机、ASR声卡、语音命令初始化界面、三类SI以及模拟手术环境模型。实验采集了包含图像模糊、遮挡等复杂条件的内窥镜图像构建SI数据集。使用改进的一阶段MSID模型对数据集进行训练,结果表明,该模型在保持轻量化的同时,检测精度(mAP0.5:0.95)和鲁棒性相比基线模型均有提升。
在实际SI跟踪任务中,操作者控制两个SI随机移动以模拟MIS中可能出现的场景。实验记录了VSC过程的每帧迭代时间(FIT)、ATD和RCM约束等指标。结果表明,RAEA能够稳定完成SI跟踪任务,跟踪点轨迹均收敛于EFOV的死区范围内。HMCC对各项约束的控制有效,特别是对RCM约束的修正能力,提高了RAEA的鲁棒性。与伪逆和自适应控制方法相比,该方法在实际实验中的ATD分别降低了13.90%和11.04%。此外,邀请无RAEA操作经验的志愿者进行的实验进一步验证了该方法的普适性和可靠性。
结论
本研究针对辅助持镜的技术挑战,提出了一种有效的智能RAEA系统。通过改进的MSID模型实现了SI的实时准确检测,通过分层约束视觉伺服方法实现了在机械臂JA/JAV边界、EID和RCM等多重约束下的IFP视觉伺服控制。数值仿真和实际SI跟踪实验表明,HMCC能够合理约束机械臂,实现IFP的快速稳定跟踪。所提出的MSID方法能够检测复杂手术场景下的SI,在鲁棒性和轻量化方面相比基线模型有所提升。整个VSC方案可有效应用于RAEA,实现在多重约束下的精细VSC,满足MIS术中持镜要求。
然而,该方法仍存在一些局限性,包括对遮挡的敏感性、对特定训练数据的依赖性、缺乏在实际离体器官上的性能验证、用户验证以及在多重约束下RAEA灵活性受限等。未来的研究方向包括探索在RAEA系统中增加柔性内窥镜关节以实现刚柔耦合控制,从而增强辅助持镜机器人的灵活性,并探索更佳的人机交互方案以实现更智能的辅助控制。