基于学习的气道约束与开源模拟器的支气管镜尖端定位方法

《Advanced Intelligent Systems》：Bronchoscope Tip Localization With Learned Airway Constraints and an Open Source Simulator

　　

准确的支气管镜定位具有挑战性，因为气道图像纹理有限且不同分支间视图相似。研究人员提出BronchoLoc，一种基于学习的框架，将单目视频与术前CT中心线图相结合，以估计三维支气管镜尖端位置。局部视觉跟踪和全局序列上下文将预测约束到气道解剖结构内。配套的开源BronchoSim模拟器生成同步的图像、深度和轨迹（Traj），用于训练和评估。在模拟中，跨轨迹平均定位均方根误差（RMSE）为5.65 mm，分支选择准确率为82.8%；在物理体模中为8.72 mm。BronchoLoc与BronchoSim共同为开发与评估基于图像的支气管镜气道定位提供了框架。

基于学习的气道约束与开源模拟器的支气管镜尖端定位研究解读

一、研究背景与问题

支气管镜检查是气道检查、活检和治疗的重要手段。CT影像可识别可疑病灶并为手术规划提供解剖参考。在支气管镜检查过程中，确定摄像头在分支气道树内的位置，是将内镜视野与术前信息相关联的必要条件。然而，支气管镜定位面临诸多挑战：气道壁表面光滑且结构重复，不同区域可能出现相似的分叉结构；呼吸运动和器械接触会使气道几何形态相对术前CT发生改变。传统定位方法中，电磁（EM）跟踪需要场发生器且易受铁磁性材料干扰，光纤布拉格光栅（FBG）传感需要专用光学解调仪和配备光纤传感的器械。图像配准方法依赖内镜图像与CT渲染虚拟视图的匹配，其精度受限于在重复气道外观中寻找足够独特的图像结构。视觉里程计（VO）方法受限于纹理不足和单目尺度模糊。上述局限促使研究人员探索利用现有支气管镜摄像头、结合术前CT解剖信息的学习型定位方法。

二、研究内容与结论

研究人员提出BronchoLoc，一种结合局部图像证据与全局序列上下文的支气管镜尖端定位框架。BronchoLoc以视频窗口、术前中心线图和初始尖端位置为输入，通过气道邻域跟踪器（ANT）进行局部候选点选择，再通过支气管术中路径判别器（BIRD）利用序列历史和完整中心线图对估计结果进行全局修正，最终输出位于中心线上的三维位置。同时，研究人员开发了开源模拟器BronchoSim，基于CT衍生的气道模型生成同步的内镜图像、深度、相机位姿和轨迹数据，支持对图像外观和几何扰动的受控实验。实验结果表明，BronchoLoc在模拟环境中平均绝对轨迹误差（ATE）为5.65 mm，在物理体模中为8.72 mm；ANT在参考锚定条件下达到82.8%的精确分支选择准确率。组件消融实验显示，时间解码和全局候选选择是提升定位精度的关键因素。该研究为基于图像的支气管镜定位提供了完整的开发与评估框架，具有重要的方法学意义。

三、关键技术方法

研究人员采用的主要技术方法包括：其一，CT中心线图构建，从DICOM序列经Frangi滤波、空气掩膜分割、Marching Cubes网格生成、拓扑修复后提取中心线，并以旋转最小化框架（RMF）离散化为带坐标系的位姿序列；其二，时空视觉Transformer（ST-ViViT），通过空间注意力提取帧内结构特征、时间注意力捕捉跨帧运动模式；其三，局部交叉注意力候选选择机制，以视觉令牌和VO输出为查询，对局部中心线候选点进行评分与选择；其四，基于Titans神经记忆的全局修正模块，利用序列记忆状态查询完整中心线图实现全局候选重选；其五，两阶段训练策略，先以多任务目标独立训练ANT，再冻结ANT权重训练BIRD。数据集来源包括100例去标识化公开CT扫描和3D打印气道体模的奥林巴斯支气管镜录制数据。

四、研究结果

4.1 单目深度与SLAM参考管线

研究人员构建了结合单目深度估计（MDE）与ORB-SLAM3的参考管线，通过Umeyama对齐将估计轨迹与术前中心线配准。基线比较包含逐帧深度估计（DAD）、视频深度估计（RD）和真实深度（GTD）三种配置。

4.2 数据集与训练细节

研究处理了100例去标识化CT扫描，生成约1 TB的合成数据语料库。ANT和BIRD均使用AdamW优化器训练50轮，批量大小为16，采用5%线性预热和余弦衰减调度。

4.3 评估与结果

在合成数据集上，BronchoLoc的平均ATE为5.65 mm（95%置信区间5.55–5.76），显著低于DAD基线4.69 mm；在物理体模上平均ATE为8.72 mm，显著低于DAD基线21.76 mm和RD基线7.87 mm。BronchoLoc在精度和运行效率上均具有竞争力。

4.4 分支选择与鲁棒性

分支评估数据集包含同一模拟解剖结构中的105条轨迹，测试集20条轨迹上ANT达到82.8%精确分支准确率、86.8%路径谱系准确率和4.62 mm位置RMSE。图像扰动实验中，严重组合损坏使RMSE增加9.52 mm；相机外观测试中严重渐晕导致最大增幅11.91 mm。地图扰动实验中最大RMSE增幅为1.94 mm，但分支准确率可降至21.2%。组件消融显示，时间解码将RMSE从15.70 mm降至12.04 mm，BIRD将严格分支准确率从47.2%提升至61.2%。

4.5 离体视觉运动评估

在Deng等人发布的离体支气管镜序列上，辅助VO估计器达到1.10 mm平移相对位姿误差（RPE）、旋转RPE和4.47 mm对齐ATE，验证了学习型运动估计在真实组织图像上的可行性。

4.6 统计分析

自助法抽样给出合成数据BronchoLoc ATE均值5.65 mm（95%置信区间5.55–5.76），体模数据8.72 mm（7.38–10.34）。Holm校正配对Wilcoxon检验确认了与基线差异的统计显著性。ANT+BIRD的定位更新延迟中位数为57.70 ms，95百分位为74.98 ms。

4.7 讨论

研究指出，时间解码和全局上下文对定位精度和分支选择均有贡献。中心线表示消除了输出空间中的离轴位置，但固定偏心的相机位移比旋转偏移产生更大误差。研究存在三个主要局限：单一模拟解剖结构内的轨迹分离不能建立患者间迁移性；离体实验仅评估辅助运动估计器；地图配准、交互式运动恢复和机器人控制未纳入评估。

五、结论

本文提出了一种结合视觉与CT术前数据、通过中心线图实现支气管镜定位的新方法，并配套开发了用于合成数据生成和基准测试的模拟器。BronchoLoc利用局部图像证据和全局序列上下文在CT中心线图上选择支气管镜尖端位置，BronchoSim提供同步数据和受控扰动用于评估该设计。原始基准测试在模拟中达到5.65 mm平均ATE，在适配刚性体模中达到8.72 mm。独立测试显示ANT在参考窗口锚定下达到82.8%分支准确率，并验证了时间解码和全局修正的贡献。在地图失配条件下维持正确分支选择仍是挑战。未来工作将在可变形组织上使用匹配的CT和视频评估完整管线，并在集成机器人控制前评估配准更新、退出或改道后的重新定位以及失败检测。