ConsisTNet：基于时空一致性的内镜垂体手术关键解剖结构实时定位新方法

针对内镜经蝶垂体手术(eTSA)中单帧深度学习模型预测不稳定的问题，伦敦大学学院团队开发了时空模型ConsisTNet。该研究通过HRNet-ConvLSTM架构整合视频序列特征，结合CoTracker2伪标签生成技术，使分割IoU提升4.56-9.45%，标志物检测误差降低43.86%，推理速度达202 FPS，为术中实时导航提供了更稳定的解决方案。

　　

垂体作为人体激素调节的"指挥中心"，其肿瘤不仅会导致激素紊乱，还可能压迫视神经造成失明。内镜经蝶手术(eTSA)虽是目前主流治疗手段，但术中对蝶鞍区等关键解剖结构的定位犹如"在迷雾中穿行"——这些区域缺乏明显特征，且肿瘤本身不可见。更棘手的是，现有光学导航系统会中断手术流程，而基于单帧图像的AI模型又存在预测波动，可能误导外科医生。伦敦大学学院团队在《International Journal of Computer Assisted Radiology and Surgery》发表的研究，正是为解决这一临床痛点而生。

研究团队创新性地将视频时序信息引入解剖定位任务。ConsisTNet模型融合了HRNet的高分辨率特征提取能力和ConvLSTM的时序建模优势，配合CoTracker2生成的伪标签，在64例手术视频数据上验证了其有效性。关键技术包括：1)采用半监督策略，利用标注帧通过CoTracker2传播生成相邻帧伪标签；2)设计双任务头结构同步输出分割掩膜和标志物坐标；3)引入平滑L1损失函数强化时序一致性；4)通过TensorRT实现FP16精度下202 FPS的实时推理。

【HRNet作为空间模块】
研究保留HRNet的四阶段多分辨率并行结构，最终输出720通道的高分辨率特征图。与UNet++等架构相比，其保持原始图像1/4分辨率的特点更适合精细解剖定位，这为后续时序处理奠定了空间基础。

【时序模块设计】
两个ConvLSTM层采用3×3卷积核处理HRNet特征，通过输入门、遗忘门、输出门的协同机制选择性地保留时空特征。实验显示该设计能有效捕捉手术视野的渐进性变化，相比纯图像模型(PitSurgRT)将标志物追踪误差从12.79像素降至7.18像素。

【双任务头协同】
分割头通过1×1卷积恢复原始分辨率，重点定位蝶鞍和斜坡隐窝；标志物检测头则输出视神经隆起、颈动脉等4个关键点的坐标。这种设计使模型在保持MPCK20指标>96%的同时，分割一致性提升9.45%。

【伪标签生成技术】
针对视频标注稀疏的难题，研究创新性地将CoTracker2的点追踪能力扩展至掩膜传播：先将分割边界采样为特征点，追踪后通过凹包几何重建掩膜。测试表明其伪标签生成精度达89.23% IoU，显著优于RAFT(86.59%)和TAPIR(55.46%)。

【损失函数优化】
在传统Dice和Wing损失基础上，新增平滑L1损失约束相邻帧预测差异。消融实验显示，当权重w₅=0.005时，模型在保持分割精度的前提下，将标志物检测的时序一致性误差降低46.97%。

研究结论表明，ConsisTNet首次实现了eTSA术中解剖定位的"稳"与"快"兼得：时空建模使预测波动降低43.86%，TensorRT加速后满足200FPS的实时需求。这种技术突破不仅减轻了外科医生的认知负荷，更重要的是为规避颈动脉损伤等严重并发症提供了新的AI保障。未来随着更多手术视频数据的积累，该框架有望拓展至其他神经内镜手术场景。