编辑推荐：
在微创前列腺切除术（prostatectomy）中，无标记导航仍是难题，现有导航系统存在不足。研究人员开展基于视频的无标记增强现实（AR）导航前列腺切除术研究，利用视觉线索和 2D-3D 配准技术。结果显示该方法可行，有望改善手术效果。
在医学领域，前列腺切除术（prostatectomy）是治疗前列腺相关疾病的重要手段，但它却面临着诸多挑战。传统的根治性前列腺切除术存在多种风险，像尿失禁、阳痿以及其他手术并发症。虽说保留神经的手术能在一定程度上缓解这些问题，可又会增加肿瘤治疗效果不佳的风险。在手术过程中，如果能清晰地看到敏感结构，比如肿瘤或者神经血管束，就有可能同时提升手术的功能效果和肿瘤治疗效果 。为了实现这一目标，增强现实（AR，Augmented Reality）技术成为了研究的焦点。要是能在手术屏幕上或者手术机器人的控制台内直接呈现增强现实图像，就能为医生提供更直观、准确的信息。
然而，目前要让腹腔镜导航系统真正应用于临床还困难重重。这些系统需要具备易于设置和高精度的特点，并且最好能与常用的硬件设备配合使用。现有的很多导航方法，除了使用内窥镜视频流外，还会借助其他方式，像超声、光学、磁跟踪或者荧光技术。但这些方式往往会干扰临床工作流程，而且以视频为主要输入的现有方法，通常需要医生持续参与操作。例如，Porpiglia 等人描述的方法，需要在手术过程中手动移动、旋转和缩放患者前列腺的 3D 模型；Ukimura 等人也是手动调整 3D 模型的方向并与内窥镜视频一同显示。这些方法都存在一定的局限性，所以研究人员迫切需要探索新的导航系统，既仅依赖视频信息，又能尽量减少用户的手动操作。
在这样的背景下，来自德国多个机构（Department of Translational Surgical Oncology, NCT/UCC Dresden；German Cancer Research Center (DKFZ)；Faculty of Medicine and University Hospital Carl Gustav Carus, TUD Dresden University of Technology；Helmholtz-Zentrum Dresden-Rossendorf (HZDR) 等）的研究人员开展了一项极具意义的研究。他们致力于开发一种基于视频的无标记增强现实导航系统，用于前列腺切除术。研究人员提出了一种新颖的方法，通过在解剖结构上设置灵活的用户自定义线索，并在 2D 内窥镜视频流中进行跟踪，再结合基于可微渲染的刚性 2D-3D 配准，来估计解剖结构相对于虚拟相机的姿态。这是一种易于设置的半自动方法，只需在关键帧进行一些手动操作，之后就无需用户输入。
研究人员在这项研究中运用了多种关键技术方法。首先，利用术前前列腺及其邻近结构的 MRI 扫描创建 3D 模型。在关键帧中，手动将 3D 模型与内窥镜视频中的解剖结构对齐，并绘制视觉线索，同时获取 2D 和 3D 数据。然后，使用 CoTracker 方法来跟踪绘制的线索，该方法通过一组关键点坐标和相应图像进行初始化，进而预测后续帧中关键点的位置。在 2D-3D 配准方面，研究人员探究了两种方法：PnPRansac 和可微渲染（Differentiable rendering）。可微渲染是对渲染管线的标准前向传递进行修改，使其具有可微性，通过比较渲染输出和参考图像计算 2D 图像损失，并反向传播优化所需参数。
研究人员通过在合成数据集和体内数据集上进行实验来验证该方法。在合成数据集实验中，为模拟相机未对齐时的姿态，给真实姿态添加噪声。通过 Optuna 优化平移和旋转的学习率，之后在测试集上评估方法。在体内数据集实验中，对两名患者手术的视频进行处理，术前进行 MRI 扫描并构建患者特定的 3D 模型，手术前对相机进行校准。对每个患者的第一帧视频执行初始步骤，得到手动对齐的相机姿态等信息，然后应用 PnPRansac 和可微渲染方法处理后续帧。
实验结果令人欣喜。在合成数据集上，可微渲染方法表现出色，相机姿态的中位平移误差从 4.86 mm 降至 3.04 mm，中位旋转误差从 3.66° 降至 1.43°，对齐后的中位目标配准误差为 6.11 mm。在体内数据集上，CoTracker 对构建关键点的中位跟踪误差，患者 1 为 2.46 px，患者 2 为 5.36 px。PnPRansac 和可微渲染都能够跟踪解剖结构的运动，不过两种方法也都存在一些问题。可微渲染在处理矩形线索时会出现预测旋转过度或估计线索逆时针翻转的情况，选择非旋转对称的线索（如非等边三角形）可避免这种情况；PnPRansac 在处理某些情况时，器官会突然切换到姿态估计的不同解决方案。
从研究结论和讨论来看，该研究成功展示了基于视频的无标记增强现实导航前列腺切除术的概念验证。这种结合用户自定义线索跟踪、PnPRansac 和可微渲染的 2D-3D 配准框架，不依赖特定解剖结构的可见性和正确分割。虽然目前该方法还依赖手动初始对齐，但未来有望被自动方法替代。而且，该框架还具有灵活性，除了用户自定义线索，还可以使用自动检测的线索，用户也能够对预测线索进行校正。此外，优化器官 3D 模型顶点的能力，为捕捉器官变形提供了可能。这项研究成果发表在《International Journal of Computer Assisted Radiology and Surgery》上，为未来前列腺切除术的精准化、智能化发展提供了新的方向，具有重要的临床应用潜力和研究价值，有望改善前列腺切除术的手术效果，减少患者术后并发症，提升患者的生活质量 。
