面向开放肝脏手术的零样本低延迟增强现实导航系统研究

本研究针对开放肝脏手术中肿瘤与风险结构识别难题，提出基于多设备融合的自动无标记AR导航方案。团队结合Hololens 2与Intel RealSense相机，采用Segment Anything Model(SAM)实现零样本肝脏分割，并通过双指数平滑(DES)预测降低79.8ms算法延迟。在体模实验中达到8.31-18.78mm配准误差，100%成功率，为临床提供高鲁棒性、低延迟的术中导航新范式。

　　

在开放肝脏手术中，外科医生常面临肿瘤与血管结构辨识困难、术中视野受限等挑战。尽管增强现实(AR)技术能通过叠加术前CT模型辅助导航，但现有方法存在三大瓶颈：依赖人工标记物、算法延迟高(>200ms)、专用分割模型需大量训练数据。这些问题严重制约了AR导航在临床中的普及应用。

德国兰茨胡特应用技术大学(University of Applied Sciences Landshut)医疗技术研究组联合弗劳恩霍夫集成电路研究所等机构，创新性地提出多设备融合解决方案。研究团队将Hololens 2的交互优势与Intel RealSense D415相机的精密深度感知结合，开发出基于Segment Anything Model(SAM)的零样本分割系统，并首次引入双指数平滑(DES)预测技术降低延迟。该成果发表于《International Journal of Computer Assisted Radiology and Surgery》，为开放手术AR导航树立了新标杆。

关键技术方法包含：1) 使用SAM-Track框架实现无需训练的肝脏分割(初始提示仅需6个种子点)；2) 基于ICP算法完成术前CT点云(5,000点采样)与术中RGB-D点云的刚性配准；3) 采用DES预测位姿变换(优化参数α_τ=0.7, γ_Θ=0.3)；4) 通过电磁跟踪系统(NDI Aurora)验证配准精度。实验采用硅胶肝脏体模，模拟6种临床切除场景。

主要研究结果

配准精度与遮挡关系

在66%-15%可见度范围内，目标配准误差(TRE)为8.31-18.78mm，优于同类研究。即使左肝叶切除(15%可见度)场景仍保持100%成功率，SAM分割交并比(IoU)达0.971±0.001。

运动场景稳定性

转盘测试显示，30s/转至10s/转工况下平均倒角距离(Chamfer Distance)仅3.03-3.65mm。后视角度(参考点完全遮挡)的TRE为16.07mm，证明系统对视野变化的强适应性。

预测性能突破

DES预测使79.8ms算法延迟被完全规避，位姿预测中位数误差：平移<2mm，旋转<1.5°。响应曲面法确定最优超参数组合(表1)，实现亚毫米级预测精度。

该研究开创性地将基础模型、多传感器融合与时间序列预测结合，解决了AR导航中的三大核心问题：1) 通过SAM的零样本能力摆脱数据依赖；2) 利用双相机优势互补(Hololens交互+RealSense精度)；3) 采用DES实现临床可接受的延迟。尽管当前刚性配准精度(约10mm)尚不能支持毫米级血管导航，但为后续非刚性配准奠定了基础。研究提出的模块化框架可扩展至其他器官手术，其"用户提示-自动跟踪-预测显示"的三阶段范式，为医疗AR系统设计提供了普适性参考方案。