基于联合学习迭代模块的实时跟踪与修复网络在AR辅助DALK手术导航中的应用研究

本综述系统介绍了基于增强现实（AR）导航的深前板层角膜移植术（DALK）缝合过程中实时遮挡处理与视觉增强的创新方案。通过联合学习迭代模块（Joint-Learning Iterative Modules）整合分割、光流估计与修复任务，显著提升术中角膜轮廓跟踪稳定性与实时性（35.14ms/28FPS）。研究提出的合成数据集构建策略与网格传播管线（Grid Propagation）为解决手术场景中连续遮挡问题提供了高效端到端解决方案，为眼科手术导航系统的临床转化提供关键技术支撑。

　　

亮点

• •

  提出新型联合学习迭代手术导航框架，为眼科医生在缝合过程中提供稳定、清晰、准确的AR引导和无遮挡视野，在严重遮挡条件下具备更优的实时性能。

• •

  基于迭代结构设计分割、光流估计和输出修复模块，采用共享编码器提升特征复用率。该框架能以极少参数量和更高速度灵活实现计算成本与性能的平衡。

• •

  提出创新数据合成策略并构建新数据集，该合成方法可利用未配对的标注图像，有效降低数据需求。

方法

本研究基于从山东眼科医院和深圳科创有限公司获取的16台真实手术数据构建数据集，所有材料均提取自双摄像头眼科手术平台下的完整DALK手术，光照条件真实准确。数据集分为11台手术用于训练，5台用于实验。所有图像和标注均……

讨论

为直观展示性能差异，我们基于广泛使用的PyTorch和OpenCV框架构建导航系统，未采用额外加速。使用高速框架如ONNX或TensorRT可进一步加速模型并为更复杂框架留出空间。同时，GPU与CPU间的数据通信对整体速度影响显著。若导航计算管线可部分基于GPU……

结论

本文提出了一种新型迭代联合学习网络，用于在线视频修复和DALK手术导航任务。通过迭代模块，我们的网络能在性能与计算效率间取得更好平衡。基于新合成方法构建了端到端网络训练所需的新型合成数据集。实验结果表明，我们的导航框架能在严重遮挡条件下实时提供稳定准确的跟踪输出和高质量修复结果……