基于深度学习的手术机器人图像引导技术综述

《IEEE/ASME Transactions on Mechatronics》：A Review of Critical Deep Learning-Based Image Guidance Technologies for Surgical Robots

1. 摘要：本文系统综述了基于深度学习的图像引导技术在手术机器人自主化中的应用，分析术前（图像分割、配准、三维重建、手术规划）和术中（实时注册、器械跟踪、软组织检测）关键技术现状及挑战，提出五级图像引导能力评估框架，探讨扩展现实与基础模型等前沿技术的潜力，为手术机器人全自动化发展提供理论指导。

　　

摘要：

尽管医学领域取得了显著进展，但外科手术机器人的自主性仍然有限。图像引导技术被广泛认为是实现外科手术机器人完全自动化的关键途径，而深度学习（DL）进一步加速了这一领域的进展。然而，据我们所知，目前还没有研究系统地回顾过相关关键技术。因此，本文对外科手术机器人基于深度学习的图像引导所涉及的关键技术进行了全面分析。首先，我们介绍了医学图像分类方法和常用的数据集。随后，讨论了图像引导中的五项术前技术，包括图像分割、配准与融合、3D重建和手术规划，并重点探讨了这些技术的当前研究现状及面临的挑战。接下来，我们回顾了四项术中关键技术，包括实时配准与规划、手术器械跟踪和软组织检测，并总结了深度学习在该领域应用中的挑战与局限性。我们还探讨了先进技术在图像引导外科手术机器人中的潜在应用，如扩展现实和基础模型。此外，通过整合术前、术中和先进的关键技术，我们提出了一个五级框架来评估图像引导能力。最后，我们概述了研究趋势和未来发展方向。

引言

二十年前，第一个商用外科手术机器人系统成功应用于医院，这标志着外科手术程序的一个新范式的出现。在过去几十年中，全球安装了数千个外科手术机器人系统，进行了数百万例手术[1]。外科手术机器人不仅降低了外科医生的学习曲线，还有助于解决医疗资源分配不均的问题[2]。大量综述文章和研究报告探讨了外科手术机器人在各种临床场景中的潜力[3]，包括未来机器人能够在无人监督下自主完成手术的情景[4]。2017年，一些资深学者根据自动驾驶的概念，将外科手术机器人的自主能力分为六个等级[5]。然而，根据Lee等人的研究[6]，截至2023年12月，大多数外科手术机器人的自主性仍处于第一级，其主要功能仅限于在手术过程中辅助外科医生，特别是在决策过程中，机器人无法替代外科医生的判断。因此，从机器人辅助向完全自动化过渡仍然是外科手术机器人发展的主要挑战之一。