基于有限时间神经优化的自主柔性内窥镜机器人实时多约束控制

《Engineering Applications of Artificial Intelligence》：Real-time multi-constraint control of autonomous flexible endoscope robots via finite-time neural optimization

　　

自主柔性内窥镜机器人在减少外科医生疲劳和提高微创手术（MIS）中的视觉稳定性方面展现出巨大潜力。然而，现有方法在同时强制执行安全可靠临床操作所需的多个运动约束方面仍面临挑战。为解决这一问题，该论文提出了一种基于二次规划（QP）的自适应神经控制框架，将多个临床约束（包括远程运动中心（RCM）、关节漂移抑制、物理关节极限和能量效率）整合到一个统一公式中。为实现高效的实时优化，研究人员开发了一种有限时间收敛自适应神经网络（FST-ANN）求解器。该求解器采用自适应增益机制来平衡收敛速度和稳态误差，并使用定制激活函数确保有限时间收敛。此外，还引入了一种基于定向边界框（OBB）的手术器械检测方法，并构建了一个新数据集，即基于OBB的手术器械检测数据集（OBBSID），以提供细粒度的方向和尺寸信息，用于在不同光照和遮挡条件下实现鲁棒的器械定位。与传统水平边界框（HBB）表示相比，所提出的方法在复杂手术环境中提高了检测精度和鲁棒性。通过数值分析、仿真和临床前猪尸体实验验证了所提框架的性能。结果表明，与现有方法相比，实现了有效的多约束控制、更快的收敛速度以及可靠的手术器械实时检测。

**论文解读：基于有限时间神经优化的自主柔性内窥镜机器人实时多约束控制**

**研究背景与问题**
内窥镜手术（ES）是机器人技术最早应用于医疗的领域之一，具有减少出血、创伤小和恢复快等优势。然而，ES面临固有挑战：腹腔套管针造成的受限工作空间使腹腔镜操作复杂化，而长时间操作会导致外科医生疲劳和视觉不稳定。尽管现有机器人系统提供了直观控制，但其对持续操作输入的依赖可能分散外科医生对主要手术任务的注意力。因此，研究人员开发了自主方法，如用于目标跟踪的刚性内窥镜系统。然而，大多数现有系统仍依赖刚性内窥镜，而柔性内窥镜通过柔性关节提供更大的可操作性，可实现更广的视野、减少运动范围并增强组织安全性。基于此，本研究聚焦于开发自主柔性内窥镜机器人（AFER），以提升ES的安全性和效率。

现有AFER研究存在两大局限性：一是仅处理部分约束集（如RCM和关节极限），忽略了关节漂移引起的方向错误和能量优化；二是验证主要在仿真或实验室环境中进行，而非模拟临床条件下的临床前实验。此外，现有基于二次规划（QP）的优化框架虽能实现多约束运动规划，但通用商业求解器计算延迟高，难以满足实时要求。同时，术中器械检测面临挑战，现有系统主要依赖颜色标记，不适合手术环境，而基于分割的方法计算延迟大，无法满足实时性。

**研究内容与意义**
本研究针对上述问题，提出一种统一的QP自适应神经控制框架，同时强制执行四个运动约束：RCM约束、关节漂移抑制、物理关节极限和能量消耗最小化。开发了一种有限时间收敛自适应神经网络（FST-ANN）求解器，实现高效的实时QP求解。此外，提出基于定向边界框（OBB）的器械检测方法，并构建名为OBBSID的新数据集，以提供细粒度方向和尺寸信息，提高复杂手术环境下的检测精度和鲁棒性。通过数值分析、仿真和临床前猪尸体实验验证了框架性能。结果表明，该框架实现了有效的多约束控制、更快的收敛速度以及可靠的实时器械检测，显著提升了ES的安全性和效率。该论文发表于《Engineering Applications of Artificial Intelligence》。

**主要技术方法**
研究人员采用的关键技术方法包括：1) 基于QP的控制框架，将RCM约束、关节漂移抑制、物理关节极限和能量效率统一为单一优化问题；2) FST-ANN求解器，采用自适应增益机制（误差依赖型）平衡收敛速度与稳态误差，并使用符号双幂激活函数（SBPAF）保证有限时间收敛；3) 基于OBB的器械检测方法，基于YOLO网络架构，在头部添加四个归一化变量（?₁至?₄）表示OBB顶点偏移；4) 构建OBBSID数据集，包含8709张高分辨率帧（5007张真实MIS图像来自合作伙伴医院威尔士亲王医院，3702张模拟MIS图像），共10,756个专家标注的器械实例，涵盖9个器械类别。所有实验在猪尸体上进行，控制频率为125 Hz，OBB检测算法运行频率约300 Hz。

**研究结果**

**5.1 数值验证**
通过时不变QP（TIQP）和时变QP（TVQP）问题，将FST-ANN与递归神经网络（RNN）、对偶神经网络（DNN）和梯度神经网络（GNN）对比。结果表明，所有神经网络均收敛至理论解，但FST-ANN收敛速度最快（TIQP中约0.38 s，TVQP中优于RNN和DNN），且误差范数‖?_n‖更低。

**5.2 自适应增益与SBPAF测试**
测试表明，固定增益下，低增益导致收敛慢，高增益导致稳态误差大。所提自适应增益在15次迭代内收敛至零，平衡了速度与精度。激活函数对比中，SBPAF仅需约5次迭代，而线性AF（LAF）、双曲正弦AF（SAF）和平滑幂 Sigmoid AF（SPSAF）分别需499、166和124次，验证了SBPAF的加速效果。

**5.3 运动约束测试**
在CoppeliaSim仿真环境中，AFER执行目标跟踪任务。结果显示，像素误差在目标移动后迅速归零；RCM误差始终低于0.1 mm；关节角度始终在极限内；关节漂移抑制项（β=100）使最终关节位移‖r?‖降至0.0026，远小于β=0时的0.1175，且相机视角基本恢复初始状态。FST-ANN平均计算时间0.0056 s，中位误差0.0009，优于IPM、RNN、DNN和GNN方法。

**6.1 AI手术器械检测测试**
在猪尸体上测试不同光照和遮挡条件。光照良好时，检测器准确识别器械类型和位置；光照差时，存在误检（如反射点）。遮挡条件下，检测器仍能识别部分遮挡的器械，但边界框精度下降。YOLO-pacsp-x模型在OBBSID测试集上精度达78.62%，mAP@0.5为76.21%，FPS为60.58。

**6.2 器械跟踪性能测试**
AFER在猪尸体中执行器械跟踪任务。初始位置处于视野四角时，在3 s内将像素误差降至近零，最终将器械置于视野中心。随机移动目标时，系统快速响应，关节位移和速度始终在极限内，平均计算时间0.0195 s，满足实时性。

**6.3 视野控制策略鲁棒性测试**
对外部物理干扰（器械与内窥镜轴或柔性段交互）进行测试。每次干扰导致像素误差峰值，但控制器迅速将误差归零，系统保持稳定，未出现振荡或失稳。

**讨论与结论**
讨论指出，FST-ANN通过自适应增益和激活函数实现了快速准确收敛，但缺乏显式噪声鲁棒性，易受视觉检测误差和建模不确定性影响。OBB检测方法提供了细粒度方向和尺寸信息，但当前内窥镜系统未充分利用这些信息，且检测精度（78.62%）仍有提升空间。临床前猪尸体验证了框架的有效性，但需进一步在活体动物中评估出血或器官运动等手术动态的影响。

研究结论部分翻译如下：本研究研究了AFER的运动控制，将基于OBB的器械检测方法集成到内窥镜机器人中，用于MIS中的自主器械跟踪。同时引入了OBBSID数据集，提供精确空间信息并减少背景包含。开发了统一的QP控制策略处理运动学、RCM约束、关节极限和关节漂移问题。设计了FST-ANN高效求解QP并控制冗余AFER，其自适应增益平衡快速收敛与低稳态误差，激活函数保证有限时间收敛。仿真和临床前实验验证了QP控制方案和FST-ANN求解器，展示了优越的收敛速度和鲁棒跟踪性能。实验结果证实了基于OBB的检测和控制框架的实用性和可靠性。未来工作将聚焦于开发噪声鲁棒神经控制、更高精度OBB检测算法、多自由度视觉伺服及活体动物研究，并探索自动自调优优化和固定时间收敛神经网络。