基于迭代联合学习的DALK手术AR导航系统：实现遮挡下实时角膜缝合精准引导

本文创新性地提出了一种基于迭代联合学习框架的增强现实（AR）手术导航系统，通过特征复用和掩膜传播机制显著提升深前板层角膜移植术（DALK）中器械遮挡下的图像修复效率。该系统在合成数据集上实现了峰值信噪比（PSNR）36.86、结构相似性（SSIM）0.976的优异性能，并以28FPS的实时速度提供稳定的术中导航，为眼科手术精准缝合提供了突破性解决方案。

　　

亮点

• 我们提出了一种基于迭代联合学习的新型手术导航框架。与先前工作相比，该系统能为眼科医生在缝合过程中提供稳定、清晰且精准的AR导航视野，并在严重遮挡条件下实现更优异的实时性能。

• 我们基于迭代结构设计了分割、光学流估计和输出修复模块，采用共享编码器提升特征复用效率。该框架以更少的参数和更快的速度，灵活实现了计算成本与性能的最佳平衡。

• 我们开发了创新的数据合成策略并构建了新数据集。该合成方法可利用非配对标注图像，有效降低对数据量的需求。

方法

在这项工作中，我们提出了一种基于AR缝合导航的联合学习迭代网络。该网络旨在改善缝合过程中严重遮挡下的修复性能，可同步输出原始器械、修复后的角膜掩膜及修复帧。网络基于特征复用、迭代模块和掩膜传播结构，显著降低了计算成本。针对端到端训练需求，我们还提出了新颖的数据集合成方法，构建包含遮挡/非遮挡图像对、掩膜和光学流标注的数据集。基于网格传播方法和修复后光学流输出，我们开发了新型流程以提供清晰稳定的修复帧。

结果

在合成数据集上，相较于近期优秀修复网络，我们的框架实现了性能与计算效率的更好权衡。Iter-S模型最终达到1.69的平均端点误差（mEPE）、36.86的峰值信噪比（PSNR）和0.976的结构相似性指数（SSIM），且修复推理时间仅16.26毫秒。基于Iter-S构建的AR导航系统平均帧率达35.14毫秒/28FPS。

结论

迭代模块可通过迭代次数的选择逐步优化输出，在视觉性能与实时计算效率间取得良好平衡。我们的AR导航框架能在严重遮挡条件下实时提供稳定准确的跟踪输出与高质量修复结果，充分展现了在角膜手术中指导医生缝合操作的优势。