《Advanced Robotics Research》:Robotic Assistants in the Operating Room: A Systematic Review of Vision-Based Systems for Nonoperative Tasks
编辑推荐:
手术室(OR)中的非手术任务,如器械处理、无菌包装和物流,要求高,但相比自主手术获得的机器人研究关注较少。本综述首次综合该文献,梳理用于洗手护士、巡回护士和OR物流角色的视觉基机器人助手的感知方法、自主性水平(LoA)、方法学质量和临床就绪度。对PubMed、
手术室(OR)中的非手术任务,如器械处理、无菌包装和物流,要求高,但相比自主手术获得的机器人研究关注较少。本综述首次综合该文献,梳理用于洗手护士、巡回护士和OR物流角色的视觉基机器人助手的感知方法、自主性水平(LoA)、方法学质量和临床就绪度。对PubMed、IEEE Xplore、Scopus、ACM Digital Library、Web of Science和Google Scholar的检索返回465条记录;20篇描述11个机器人系统家族的出版物符合纳入标准。大多数证据(17篇出版物,涉及8个系统家族)关于洗手护士辅助;巡回护士支持、OR物流和牙科辅助各由一个系统代表。视觉方法已从经典图像处理和预定义手势转向深度学习、多模态感知和视觉–语言–动作模型(VLA),但自主性未同步提升:1个系统家族达到LoA 1,7个达到LoA 2,3个达到LoA 3,技术就绪度水平(TRL)跨TRL 4至TRL 6。报告的成率通常较高但很少具有可比性,且多在实验室或模拟环境中产生。弥合该差距需要更有力的证据,涉及安全性、无菌性、失败恢复、工作流程整合、执行速度、可重复性,以及显著缺失的可变形无菌材料操作。
1 引言
1.1 临床需求:全球围手术期护理人员短缺与手术需求上升并存,洗手护士和巡回护士承担器械管理、供应协调、无菌操作和高强度走动等身心负荷;人员短缺与沟通失败、器械遗留、肌肉骨骼损伤和人员流失相关。
1.2 机会:围手术期人员的机器人辅助:机器人可承担重复和体力要求高的非手术任务,计算机视觉用于器械识别、手势解读、手部追踪和场景理解;协作机器人、末端执行器、多模态传感和第一人称视觉数据提供可行路径,但灵巧操作仍是开放挑战。
1.3 本综述的范围与贡献:现有综述多聚焦手术机器人或技术组件,缺乏对洗手护士、巡回护士、物流和牙科辅助等非手术OR支持任务的系统综合;本综述识别2010年1月至2026年1月文献,区分出版物与系统家族,比较任务类别,分析感知、交互、操作和自主性演化,并评估方法学质量、TRL和临床就绪度。
2 方法
2.1 方案与注册:遵循系统综述与荟萃分析优先报告条目(PRISMA)2020,未预先注册方案。
2.2 研究问题:围绕视觉感知方法、学习型操作技能获取、已展示的LoA以及可变形物体操作现状四个问题展开。
2.3 检索策略:检索PubMed、IEEE Xplore、Scopus、ACM Digital Library、Web of Science,并以Google Scholar补充;时间窗为2010年1月至2026年1月,检索词覆盖OR、机器人、围手术期支持角色、器械处理、无菌供应和物流。
2.4 纳入与排除标准:纳入在OR或模拟OR中实验评估物理机器人、执行非手术支持任务、整合计算机视觉、报告原创实验研究的英文全文;排除直接组织操作、仅算法/数据集/仿真、无视觉组件及非OR环境研究。
2.5 研究选择:465条记录导入Rayyan,去除重复后两阶段筛选;同一平台的不同子系统、任务或实验证据可保留,并归入系统家族以避免将伴随报告视为独立平台。
2.6 数据提取:标准化表单提取文献、任务、机器人系统、感知、人机交互和实验证据;LoA按已展示能力分为0–5级,TRL按集成平台成熟度评估,临床就绪度参考IDEAL框架,方法学质量按综述特定领域评分。
2.7 数据合成:因任务、硬件、感知和结局异质,采用叙述性综合,并在出版物和系统家族两个层面分析;感知性能与物理任务结局分开解释。
3 结果
3.1 研究选择:去除52条重复后筛选413条标题摘要,排除387条;26篇全文评估后排除6篇,最终纳入20篇,代表11个机器人系统家族。
3.2 研究特征:20篇发表于2010—2025年,其中1篇2025年在线发表于2026年期刊;17篇涉及洗手护士,巡回护士、OR物流和牙科辅助各1篇;Gestonurse、Quirubot、free-view gaze-guided、SASHA-OR和CUHK平台各有多篇报告,其余6个家族各1篇。
3.3 任务分布分析:85%出版物和73%系统家族聚焦洗手护士的刚性器械识别、传递、交接、分拣和清洁;巡回护士、物流和牙科辅助证据明显不足。
3.4 时间演化:2010—2013年奠定视觉引导器械传递可行性;2017—2021年引入主动感知、低成本手势控制和注视引导交互;2023—2025年转向深度学习、工作流程理解、多模态交互、VLA模型及巡回护士、物流和牙科等新角色。
3.5 洗手护士机器人:技术分析:8个系统家族从结构化托盘和预定义命令逐步转向杂乱场景感知、注视选择、污染检测、工作流程预判和语言条件抓取;感知进步快于操作,许多系统仍依赖受限器械集、受控环境和较慢执行。
3.6 巡回护士与OR物流机器人:Robotic Circulating Nurse和ORB均采用移动操作,前者完成取物、运输、无菌包打开和交接,后者完成供应检索与补货;两者报告较高成功率,但速度慢于人工,且依赖定制存储、基准标记或吸盘兼容物体,形变物体导致失败。
3.7 领域迁移:牙科手术:Dentara 1.0采用吊顶式混合机器人、YOLOv8n工具检测、单目深度手部定位及语音/手势/图形界面冗余交互,展示牙科工具识别与递送可行性,但抓取器为不可灭菌原型,评估限于模拟室内环境。
3.8 视觉技术演化:视觉方法从传统图像处理和手工特征发展至深度学习、多模态感知和基础模型,传统、学习型和基础模型组件共存;识别性能提升并不必然转化为自主任务执行提升。
3.9 围手术期机器人自主性水平:1个家族为LoA 1,7个为LoA 2,3个为LoA 3;无LoA 4或LoA 5;高自主性依赖任务规划、可靠操作、失败检测与恢复,而非仅感知精度。
3.10 纳入出版物的方法学质量:目标、机器人任务、视觉方法和实验方案报告较好;统计分析、对照、安全与无菌、临床相关性和可重复性较弱,数据或代码共享尤其不足。
3.11 技术与临床就绪度:6个家族为TRL 4,3个为TRL 5,2个为TRL 6;无系统在真实患者护理中部署,无菌验证、重复处理评估和监管证据普遍缺乏。
3.12 重要研究缺口:视觉基可变形无菌材料操作:仅Robotic Circulating Nurse处理可变形无菌包,但开包依赖机械专用模块而非视觉形变估计与自适应操作;ORB的吸盘抓取失败与物体形变相关;无系统展示视觉形变跟踪结合双臂或灵巧操作。
4 讨论
4.1 主要发现:证据高度集中于洗手护士辅助,感知和交互显著进步,但自主性仍以LoA 2为主,仅3个系统达到LoA 3;报告成功率不可直接比较,方法学和无菌安全证据不足,TRL 4–6表明整体仍处于临床前阶段。
4.2 可变形材料与灵巧操作:可变形无菌材料带来形变跟踪、柔顺力控、接触状态估计和双臂协调挑战;仿人手并非唯一方案,双臂平行夹爪、柔顺末端和软体抓取器亦可与感知反馈结合;该问题应与其他转化挑战并行推进。
4.3 面向基础设施独立的系统:当前系统依赖定制存储、基准标记或专用开包机构,限制跨机构部署;多模态感知、VLA模型、示范学习和扩散策略可提升适应性,但需计算效率、不确定性估计、安全监测和确定性恢复机制。
4.4 研究与实践意义:不应只优先单一围手术期角色;未来需评估完整工作流程而非仅感知精度,标准化报告任务成功率、执行时间、失败与恢复、安全事件、无菌结局和对照表现;临床转化应首先在监督下开展窄定义任务,并让围手术期人员参与设计评估。
4.5 本综述的局限:证据少且异质,无法定量荟萃;限于英文、2010—2026年和含视觉系统,补充检索可能遗漏;系统家族分组、LoA和TRL分类含作者判断,质量评估非验证性偏倚工具,且多数研究为实验室或模拟环境。
5 结论与未来方向:本综述纳入20篇出版物和11个系统家族,显示视觉感知从传统方法走向深度学习、多模态交互、工作流程预判和VLA架构,但临床就绪度未同步提升;未来应整合评估感知、操作、交互和恢复,优先发展多模态传感、更快执行、可变形材料操作、双臂或柔顺控制、不确定性规划、减少基础设施依赖及学习策略和基础模型的安全整合,并以真实围手术期用户、真实工作流程、透明失败报告和标准化安全无菌指标推动分阶段临床转化。