机器人手术中增强现实的相机标定与跟踪

《International Journal of Computer Assisted Radiology and Surgery》：Camera calibration and tracking for augmented reality during robotic surgery

　　

摘要

目的

机器人辅助手术（RAS）具有临床优势，但仍受到视野受限和缺乏触觉反馈的限制。增强现实（AR）通过将术前影像叠加到腹腔镜视频上来实现，可能有助于缓解这些问题。本研究评估了一种增强现实系统，该系统使用电磁（EM）跟踪来确定机器人内窥镜的位置，并在手术期间实现实时图像叠加。

方法

在标定过程中，一个电磁传感器被刚性固定在机器人内窥镜上，第二个传感器固定在校准棋盘格上。获取了 35 张校准图像。为了确定所需的校准图像数量，对包含 5 至 30 张图像的 2600 个随机子集使用基于 RANSAC 的鲁棒估计进行了标定，并使用 16 个单独记录的棋盘格帧通过三维（3D）欧几里得误差进行评估。随后，将一个携带电磁跟踪器的临床适用适配器刚性安装在机器人内窥镜上，并在 16 例机器人辅助盆腔淋巴结清扫（RPLND）手术中进行评估。

结果

校准的准确性和鲁棒性随着数据集规模的增加而提高。19 张图像的数据集是能够取得中位数三维误差不超过最佳观测性能 5% 的最小数据集大小，其平均三维欧几里得误差为 0.541 ± 0.060 毫米。使用相同的方案，临床适配器达到了 0.784 ± 0.075 毫米。在 16 例 RPLND 手术期间的系统评估提供了稳定的实时跟踪和 AR 可视化。

结论

所提出的校准和跟踪方法实现了亚毫米级的 AR 叠加精度，同时允许通过外部安装的电磁跟踪器对机器人内窥镜进行连续跟踪。它在 16 例 RPLND 手术中的成功应用表明，该方法可以集成到临床机器人工作流程中，并支持实时可视化，且不需要对手术程序进行重大修改。这些发现为在机器人辅助手术中进一步开发和验证图像引导的 AR 应用提供了技术基础。