自主内窥镜控制（无需RCM）：将基于力的旋转技术与深度学习视觉伺服技术相结合

《Scientific Reports》：Autonomous RCM-less endoscope control: integrating force-based pivoting with deep learning visual servoing

　　

摘要

机器人内窥镜夹持器能够提高视觉稳定性，但强制使用固定的运动中心（RCM）通常会由于支点漂移而产生侧向相互作用力。本研究提出了一种自主引导框架，该框架结合了基于深度学习的视觉伺服技术和基于力的旋转控制，以跟踪手术器械，同时最小化相互作用力，而无需固定的几何运动中心。为了验证这一方法，一个配备了集成力/扭矩传感器的UR3e操作臂在骨盆训练器中控制了一个腹腔镜。通过在一个包含3,695帧标注数据的图像集上使用经过微调的YOLOv11n算法对器械进行定位。检测到的器械质心驱动了一个基于迟滞特性的视觉伺服系统，并采用限抖动规划算法进行控制；而基于导纳的控制器则根据测量到的力生成角度运动。在连续跟踪和阶跃响应任务中评估了该框架的性能，将固定运动中心控制方法与提出的旋转控制方法进行了对比。定位模型的精度为0.91–0.93，平均精度（mAP）为0.83–0.90，在CPU上的运行速率为28帧每秒。视觉伺服系统在98.8%的转换过程中成功重新定位了目标（平均恢复时间为2.60秒）。基于力的旋转控制显著优于固定运动中心控制方法，将相互作用力从2.35牛顿降低到了0.19牛顿。将基于卷积神经网络（CNN）的伺服技术与基于力的旋转控制相结合，实现了在保持视觉稳定性的同时大幅减少相互作用力的自主引导功能。通过摒弃固定运动中心的假设，该框架为机器人相机辅助系统提供了一种更安全、更具适应性的解决方案。