DyEndoVO：面向动态内镜手术场景的6-DoF位姿估计新方法

《International Journal of Computer Assisted Radiology and Surgery》：DyEndoVO: scene dynamics-aware pose estimation of endoscope in minimally invasive surgery

本研究针对微创手术中因组织形变、器械运动等动态因素导致内窥镜视觉里程计(VO)精度下降的难题，提出了DyEndoVO——一种融合Transformer运动检测网络与加权位姿优化模块的端到端VO方法。通过构建半合成数据集DynaSCARED进行训练，该方法在动态手术场景中显著优于现有技术（如Hayoz et al.方法），且仅凭合成数据训练即可泛化至真实手术数据（StereoMIS数据集），为手术导航、SLAM和3D重建提供了更鲁棒的解决方案。

　　

在微创手术中，精准追踪内窥镜的位姿是实现手术导航、三维重建和增强现实可视化的重要基础。然而，手术场景中组织形变、器械移动以及器械与组织的交互使得传统视觉里程计方法面临严峻挑战——它们大多基于场景刚性假设，在动态环境下容易失效。尽管已有研究尝试通过语义分割掩膜剔除手术器械，或利用非刚性模型处理组织形变，但这些方法往往无法灵活应对临时静止的器械或复杂多变的运动模式，限制了其在真实手术中的适用性。

为此，发表在《International Journal of Computer Assisted Radiology and Surgery》上的最新研究“DyEndoVO: scene dynamics-aware pose estimation of endoscope in minimally invasive surgery”提出了一种端到端的动态感知视觉里程计框架。该方法通过Transformer架构的运动检测网络识别场景中的动态区域，并借助加权位姿优化模块提升位姿估计的鲁棒性。研究人员还构建了包含工具运动和组织形变等多种场景的半合成立体数据集DynaSCARED，有效支撑了模型的训练与评估。

在方法上，作者主要采用以下几项关键技术：基于RAFT网络的光流估计提供时序与立体匹配信息；使用改进自OCLR的Transformer运动检测模块输出像素级运动概率图；结合深度声明网络实现可微分的加权位姿优化，并以2D重投影误差作为优化目标；利用从真实手术图像中提取的前景（工具、组织）与SCARED数据集背景合成DynaSCARED训练数据，模拟不同运动状态下的内镜场景。

实验设计与主要结果

在DynaSCARED数据集上的评估与消融实验

如表1所示，DyEndoVO在包含工具运动和组织形变的动态场景中，其相对位姿误差和绝对轨迹误差均显著低于未加权的“Naive”方法。特别是在相机移动（S0）与组织形变（w.Tissue）同时存在的情况下，该方法仍能保持较高精度。消融实验进一步表明，使用2D重投影误差作为残差（Ours）优于3D对齐误差（Ours(res.3D)），且测试时加权细化策略（Ours(rf.W)）可进一步提升性能。

在真实手术数据StereoMIS上的泛化能力验证

如表2和表3所示，即使在未对真实数据进行微调的情况下，DyEndoVO在包含相机移动的片段中优于ORB-SLAM3、ElasticFusion等多种SLAM与VO基线方法。尤其在存在严重工具-组织交互的静态相机场景中，该方法在不依赖工具分割先验的情况下仍保持稳定，显示出其作为“无先验”解决方案的优越性。

运动感知机制的可视化分析

图4展示了学习得到的权重图，其中蓝色表示低权重（动态区域），黄色表示高权重（静态区域）。与基于OCLR扩展的方法相比，DyEndoVO能更准确地识别非刚性形变（如组织蠕动），并避免对运动信号的过度敏感，从而在动态区域抑制不可靠匹配点，在静态区域保留有用信息。

数据集有效性分析

从表4可以看出，使用DynaSCARED训练的模型（Ours(p.)）性能优于在SynMotion或StereoMIS上训练的变体，说明该数据集在模拟手术特异性动态、缩小仿真-现实差距方面具有关键作用。

结论与展望

DyEndoVO通过动态感知的加权优化策略，显著提升了内窥镜在动态手术环境中的位姿估计精度与鲁棒性。其成功不仅源于Transformer在运动检测中的优势，更得益于端到端训练策略与高质量合成数据的协同作用。尽管当前方法在极端全动态场景中仍存在局限性，且依赖光流估计质量，但该工作为未来融合多传感器（如IMU）、发展重定位模块、乃至结合高斯溅射等新型表示方法的手术SLAM系统奠定了重要基础。这一研究不仅是视觉里程计技术的重要进展，也为复杂手术环境下智能导航与三维重建的实际应用提供了有力支持。