面向神经内镜入路的分层规划与执行框架：平滑感知PPO联合RCM约束的计算评估

《Applied Sciences》：A Node-Based Nash-Inspired D3QN RL Framework for Traffic–Energy Coordinated AGV Scheduling in Smart Warehouses

　　

机器人辅助神经内镜入路要求在维持固定颅骨入口远程运动中心（remote center of motion, RCM）约束的同时进行障碍响应性规划。研究人员对一种分层规划与执行框架进行了计算评估，该框架将近端策略优化（proximal policy optimization, PPO）局部规划器生成笛卡尔速度指令与解析RCM约束执行相结合。患者特异性场景由多模态影像重建；七例患者解剖支持开发与队列内验证，三例从训练中留出。平滑感知PPO+RCM通过以动作转移惩罚微调原策略获得。在导航地图扰动下，平滑感知PPO+RCM达到目标误差0.616 ± 0.236 mm，与PPO+RCM相当（p = 0.723），而平均角度变化从21.66 ± 3.87°降至1.07 ± 1.56°（p < 0.001）。全轨迹时间平均RCM误差为4.68 ± 4.70 mm；对准后RCM性能仍与PPO+RCM相当（p = 0.901）。复合约束任务成功率为33/50（66%）。在三个留出患者中，平均目标误差范围为0.58至0.78 mm，对准后RCM误差范围为1.88至2.34 mm，17/30个场景满足复合标准，与简化风险模型无直接几何相交。这些发现支持在保持靶向、几何间隙和RCM性能的同时改善计算轨迹规律性。物理机器人验证仍属必要。

研究背景：机器人辅助神经内镜入路（neuroendoscopic access，经颅入口进入颅内深部目标的内镜手术路径）是受约束的运动规划与控制问题。刚性内镜须从颅骨入口经患者特异性狭窄通道到达深部靶点，避开血管、深部核团等功能重要结构，并维持镜杆绕固定颅骨入口的远程运动中心（remote center of motion, RCM）约束。与无约束笛卡尔点到点运动不同，尖端平移、镜杆方向和入口一致性在运动学上耦合，规划与执行模块须共同支持靶点收敛、解剖间隙和RCM相容运动。患者特异性影像模型提供安全路径规划所需几何与语义信息，但依赖分割和配准精度，且可因术中脑移位而过时，预计算路径在环境变化时可能不足；图/采样规划器可生成几何路径但更新局部解剖通常需显式重规划；解析RCM控制器可强制入口几何但不能决定尖端如何绕障碍。因此需将自适应局部规划与确定性RCM执行视为耦合但功能可分模块。先前会议版本已提出分层规划与执行框架（Hierarchical Planning-and-Execution Framework，将学习规划与解析执行分离的架构），并将PPO局部规划器与RCM约束执行层耦合；七例患者计算环境验证显示靶点到达准确、风险区暴露低，但学习规划器方向变化大：扰动下PPO+RCM平均角度变化为21.66 ± 3.87°，而捷径修剪和B样条平滑快速扩展随机树（rapidly exploring random tree, RRT）＋RCM为2.95 ± 6.88°；训练与验证同源七例，排除训练患者的患者间迁移未检验。为此，研究人员用动作转移正则化微调原PPO策略以降低方向变化，并将评价扩展到三例训练中完全排除的患者解剖；该正则是规划器层面的增量扩展，而非全新强化学习目标。研究人员开展计算评估并提出三点：速度层面分离PPO局部规划、命令映射和几何RCM执行；平滑感知PPO+RCM加动作转移正则化微调原策略且不改RCM执行层；用模块控制、平滑RRT+RCM基线、动态导航地图扰动和三例未见图解剖评价。结论支持在保持靶向、几何间隙和RCM性能下改善计算轨迹规律性；物理机器人验证仍必要。

关键技术方法（≤250字）：多模态磁共振成像（magnetic resonance imaging, MRI）、计算机断层成像（computed tomography, CT）和磁共振血管成像（magnetic resonance angiography, MRA）共配准融合重建患者特异性颅内场景；MRI分割为95个解剖区域，基底节及邻接核团作高风险结构；CT用nnU-Net勾画出血区并以病灶中心为靶点；MRA提取血管并简化为中心线/Voronoi表示，关键核团用有向包围盒（oriented bounding boxes, OBBs）近似。样本来源：七例患者解剖用于开发与队列内验证，三例训练中留出。框架三层：PPO决策层输出工具坐标三维归一化动作，命令映射层缩放/变换为笛卡尔速度，RCM约束执行层在速度层用增广雅可比和伪逆生成关节命令。平滑感知PPO+RCM在原策略上以动作转移惩罚微调；评价含静态/动态扰动、RRT+RCM基线、模块控制、平滑权重敏感性、工具中心点（tool center point, TCP）时序指标和留出患者验证。

研究结果：
3.1 五设置验证（Five-Setting Validation）：五设置独立初始化50次；PPO+RCM静态与扰动场景目标误差和几何间隙相似；扰动下较RRT+RCM目标误差更低但平均角度变化更大；模块控制示局部规划和RCM执行互补。
3.2 目标误差与几何间隙（Target Error and Geometric Clearance）：动态扰动下PPO+RCM目标误差0.67 ± 0.20 mm，低于RRT+RCM的0.89 ± 0.05 mm（p < 0.001）；五设置均无与简化高风险模型直接几何相交；PPO+RCM碰撞风险比例和最小间隙在静态/动态相似，与RRT+RCM差异未显著（p = 0.137）。
3.3 RCM一致性与模块贡献（RCM Consistency and Module Contribution）：全轨迹平均RCM误差PPO+RCM为5.73 ± 5.71 mm、RRT+RCM为9.00 ± 7.43 mm、PPO无RCM为19.27 ± 16.25 mm；对准后合并均值PPO+RCM为1.94 ± 1.66 mm、RRT为2.83 ± 3.29 mm、PPO无RCM为10.01 ± 9.17 mm；直线+RCM保持入口一致但未满足严格目标误差标准，PPO无RCM常达靶但RCM偏差大，支持两层耦合。
3.4 轨迹长度与平均角度变化（Trajectory Length and Mean Angular Change）：PPO+RCM静态/动态轨迹长度相似，与RRT+RCM差异不显著（p = 0.137），RRT有长尾；PPO+RCM平均角度变化静态21.49 ± 3.33°、动态21.66 ± 3.87°，RRT+RCM为2.95 ± 6.88°（p < 0.001），提示原PPO命令/轨迹方向不规则是特定计算弱点。
3.5 平滑感知PPO+RCM验证（Smoothness-Aware PPO+RCM Validation）：扰动协议下目标误差0.616 ± 0.236 mm与PPO+RCM的0.670 ± 0.201 mm相当（p = 0.723），低于RRT+RCM（p < 0.001）；碰撞风险、最小间隙、轨迹长度与PPO+RCM无显著差异；平均角度变化从21.66 ± 3.87°降至1.07 ± 1.56°（p < 0.001），低于RRT+RCM（p < 0.001）；全轨迹时间平均RCM误差4.68 ± 4.70 mm，对准后RCM与PPO+RCM相当（p = 0.901）。
3.5.1 平滑权重敏感性（Smoothness-Weight Sensitivity）：动作转移权重w_Δa = 0.025、0.05、0.10中0.05平均角度变化最低（1.06 ± 1.55°），目标误差、轨迹长度和对准后RCM相当，故保留0.05。
3.5.2 TCP时序运动指标（Temporal Motion Metrics）：平滑感知PPO+RCM平均TCP速度与PPO+RCM相当（中位27.10 vs 27.75 mm/s，p = 0.302），均方根（root-mean-square, RMS）加速度16.40 vs 294.79 mm/s²、RMS jerk 82.60 vs 7306.06 mm/s³均更低（p < 0.001）；较RRT+RCM也降低RMS加速度（16.40 vs 35.84 mm/s²）和jerk（82.60 vs 361.73 mm/s³），提示角度降低伴随模拟TCP时序规律改善而非单纯变慢。
3.6 未见患者验证（Unseen-Patient Validation）：三例训练中留出患者各10场景；平均目标误差0.58—0.78 mm，30场景无直接几何相交；平均碰撞风险比例患者1为0.0067%、患者2/3为0；平均最小间隙4.36—11.86 mm，平均角度变化0.37°—1.56°；全轨迹平均RCM误差4.41 ± 4.91、2.71 ± 2.30、3.14 ± 2.02 mm，对准后2.04 ± 0.94、1.88 ± 0.79、2.34 ± 0.97 mm；复合成功6/10、6/10、5/10共17/30；13次失败中12次失败于目标误差、1次失败于对准后RCM。支持有限患者间迁移。
3.7 复合约束任务成功（Composite Constrained Task Success）：成功需目标误差≤0.75 mm、无直接碰撞、最小间隙>1 mm、对准后平均RCM误差≤5 mm同时满足；平滑感知PPO+RCM为33/50（66%），动态PPO+RCM为30/50（60%），RRT+RCM为0/50；静态PPO+RCM为26/50，PPO无RCM为2/50，直线+RCM为0/50。阈值敏感性示复合结果依赖阈值：固定目标阈值0.75 mm，将RCM阈值由5 mm收紧至3 mm和2 mm，PPO+RCM成功为30/50、26/50、16/50，平滑感知为33/50、29/50、17/50；目标阈值放松至1.00 mm时RRT+RCM在RCM阈值2、3、5 mm下为19/50、36/50、42/50。

讨论部分总结：结果支持将自适应局部规划与显式运动学约束执行分离的工程理由；PPO+RCM在动态地图扰动下目标误差基本不变，与RRT+RCM相比目标误差更低但角度变化更大；模块控制区分两层作用；复合分数对工程阈值敏感，仅作比较工程终点而非临床成功或普遍优越证据。动作转移惩罚直接针对命令规律性，改善平均角度变化且未检测到目标误差、风险比例、最小间隙、轨迹长度退化；TCP速度保持而RMS加速度、jerk显著降低，但均为模拟器级运动学，不证明物理跟踪、执行器负载或组织相互作用。由于RCM下层未改，角度改善归因规划器正则化；留出患者结果支持有限迁移，但三例过少且每例10场景不等同10独立患者。全轨迹RCM误差含初始对准瞬态，对准后误差表征稳定约束；5 mm为研究特定工程阈值非临床耐受。局限包括纯计算、未建模力/变形/传感噪声/通信延迟/配准误差/机器人动力学，影像用于构建场景而非评价影像流程，扰动为导航地图压力测试非生物力学脑移位，血管核团简化可能低估或扭曲真实表面接触风险，验证组独立随机非匹配场景，统计基于少量患者，RRT非最强现代在线规划器，仅三例留出，时序指标为模拟器级，原PPO未记录固定随机种子且无独立重复训练。未来应匹配场景比较优化/模型预测控制（model predictive control, MPC）或安全过滤器基线、配准和几何不确定性敏感性分析、更大留出患者队列、控制随机种子重复训练及物理机器人和体模实验。

研究结论翻译：本研究对一种分层规划与执行框架进行了计算评估，该框架将基于学习的局部运动规划与解析RCM约束机器人执行分离，用于神经内镜入路。模块控制实验表明，两层满足互补要求：规划器支持目标导向、障碍响应性运动，执行层维持入口一致性。平滑感知PPO+RCM将平均角度变化从21.66 ± 3.87°降至1.07 ± 1.56°（p < 0.001），同时保持相当的目标误差（p = 0.723）。全轨迹时间平均RCM误差为4.68 ± 4.70 mm，对准后RCM分布与PPO+RCM相当。在三个留出患者中，平均目标误差保持0.58—0.78 mm，对准后RCM误差为1.88—2.34 mm，17/30个场景满足复合工程标准。这些结果支持在未降低所测靶向、几何间隙或RCM性能的情况下改善规划器命令规律性的计算可行性。在手术转化前仍需要物理机器人验证。