编辑推荐:
为解决计算机辅助骨科手术(CAOS)中 3D 重建与特征匹配缺乏带 3D 真实值的合适数据集问题,研究人员开展适用于开放性骨科手术的逼真精准离体数据集生成研究,采用含 3D 扫描等三步框架,获 0.35 mm 平均误差,为高精度应用奠定基础。
在骨科手术的数字化与精准化进程中,计算机视觉技术如基于光学图像的 3D 重建和特征匹配,正逐渐成为提升手术导航精度、开发手术数字孪生的核心手段。然而,该领域的发展长期受制于缺乏具有高精度 3D 真实值(ground truth)的手术数据集。现有数据要么聚焦于微创手术(MIS),要么在开放性手术场景中存在真实性不足、精度欠佳的问题,例如公开数据集 SpineDepth 的平均误差达 1.5 mm,难以满足像素级特征匹配和高质量表面重建的需求。如何获取兼具高逼真度与亚毫米级精度的手术数据集,成为制约计算机辅助骨科手术(CAOS)技术突破的关键瓶颈。
为攻克这一难题,瑞士苏黎世大学附属医院 Balgrist 骨科计算机科学研究中心与苏黎世联邦理工学院(ETH Zurich)的研究团队展开合作,在《International Journal of Computer Assisted Radiology and Surgery》发表了题为 “Acquiring submillimeter-accurate multi-task vision datasets for computer-assisted orthopedic surgery” 的研究论文。团队提出一种适用于开放性骨科手术的离体数据集获取框架,通过多技术融合实现了场景表面网格与相机位姿的亚毫米级精准配准,为 CAOS 领域提供了首个兼具高分辨率图像与高精度 3D 真实值的基准数据集。
关键技术方法
研究采用三阶段模块化框架构建数据集:
- 场景表面重建:对比 CT 扫描(空间分辨率 0.4 mm3)与光学扫描(Space Spider 手持 3D 扫描仪,点精度 0.05 mm,空间分辨率 0.1 mm),前者在深凹区域(如手术切口内部)表现更优,后者则擅长捕捉凸面细节,两者可融合生成完整表面网格。
- 相机位姿获取:使用 KUKA LBR Med 14 机器人臂搭载索尼 Alpha 7R V 相机,通过机器人正向运动学或结构从运动(SfM)算法(如 COLMAP、GLOMAP)获取相机位姿,后者在中等分辨率图像中即可实现高精度位姿估计。
- 场景配准:利用 3D 打印球形标记物(直径 30 mm),通过迭代最近点(ICP)算法与透视 n 点(PnP)求解器,将表面网格与图像坐标系对齐,基于 Levenberg–Marquardt 优化最小化投影椭圆误差,实现亚毫米级配准精度。
研究结果
1. 表面重建精度验证
在模拟脊柱侧弯手术的猪脊柱离体实验中,光学扫描与 CT 重建的表面网格平均 Chamfer 距离为 0.7 mm,光学扫描可捕捉毛发等高频细节,但在深切口等凹面区域需 CT 补充。通过融合两种技术,获得包含完整凹凸结构的最终网格,为后续 3D 重建提供基准真值。
2. 相机位姿与配准性能
对比机器人位姿与 SfM 算法:COLMAP 在高分辨率图像中实现 0.35 mm 平均径向误差与 3.71 像素重投影误差,显著优于机器人位姿的 0.89 mm 误差。中等分辨率图像(4752×3168 px)下 COLMAP 误差仅略高于高分辨率,表明其在平衡精度与数据量方面的优势。
3. 3D 重建方法 benchmark
利用生成的数据集对比四种重建方法:传统多视图立体法 COLMAP 在密集视点(216 视图)下 Chamfer 距离 0.68 mm,表现最佳;神经辐射场(NeRF)类方法 Instant-NGP 在稀疏视点(8 视图)下以 3.89 mm 误差领先,显示出对少样本场景的鲁棒性。
结论与意义
本研究首次建立了适用于开放性骨科手术的亚毫米级精准数据集获取体系,解决了 CAOS 领域长期存在的数据瓶颈。通过 CT 与光学扫描融合、SfM 算法优化相机位姿估计、标记物辅助场景配准的组合方案,实现了表面网格精度 0.1 mm、配准误差 0.35 mm 的突破性结果。该框架不仅为无标记手术导航、手术数字孪生等前沿技术提供了高质量训练数据,还通过公开的数据集与代码(
https://github.com/emmamost26/CAOS3D_v0)推动了跨机构研究合作。
未来,这种高精度数据集有望加速深度学习模型在骨科手术中的临床转化,例如提升机器人手术实时定位精度、开发沉浸式手术培训系统等。研究团队指出,尽管当前实验基于猪脊柱模型,但其方法学可直接推广至人体标本,为构建更贴近临床需求的手术视觉数据集奠定了基础,标志着计算机辅助骨科手术向 “精准医学” 目标迈出了关键一步。