FLex：基于动态神经辐射场的内窥镜视频联合位姿与场景优化重建新方法

针对内窥镜场景重建中动态组织形变与相机位姿估计的难题，德国慕尼黑工业大学团队提出FLex方法，通过局部4D神经辐射场(NeRF)与渐进式优化策略，实现了长达5000帧的无标记位姿联合优化，在StereoMIS数据集上达到31.10 PSNR和1.456mm几何精度，为手术导航与术后评估提供新范式。

　　

在微创手术领域，内窥镜场景的精确三维重建对术后评估、手术训练等应用至关重要。然而现有方法面临三大瓶颈：依赖静态内窥镜假设、无法处理强烈组织形变、需借助外部设备获取相机位姿。这些限制严重阻碍了技术在真实手术场景中的应用。德国慕尼黑工业大学（Technical University of Munich）与Imfusion GmbH的研究团队在《International Journal of Computer Assisted Radiology and Surgery》发表的研究中，提出了名为FLex（Flow-optimized Local Hexplanes）的创新解决方案。

研究团队采用四项核心技术：1）基于局部动态HexPlane的4D神经辐射场架构，将长序列分解为重叠时空子模块；2）渐进式优化策略，通过逐帧添加实现无初始位姿的联合优化；3）引入RAFT算法获取的光学流与立体深度作为监督信号；4）动态分配机制（阈值t_k=100帧，t_d=1.0m）实现内存高效的长序列处理。实验使用StereoMIS数据集，包含呼吸运动、器械操作等复杂场景的5000帧序列。

【4D场景表示】通过六平面(HexPlane)特征网格结合MLP，将时间维度k作为输入，采用体积渲染公式(1)(2)计算射线颜色?(r)和深度?，实现动态场景建模。

【渐进优化】以5帧为初始窗口，通过距离阈值触发新局部模型生成，保留30帧重叠区域确保连续性。优化阶段采用四帧射线采样策略，通过光学流损失?_f(式8)专门优化位姿，20% refinement阶段后移除该约束。

【训练目标】联合光度损失?_rgb(式3)、深度监督?_z(含?_depth、?_near、?_empty)和光学流损失?_f(式7-8)，权重λ_z=0.01，λ_f=1.0。

实验结果显示，在1000帧序列上FLex无位姿优化版本达到31.10 PSNR和0.836 SSIM，超越ForPlane基线5.3 SSIM。5000帧长序列测试中，保持29.97 PSNR的稳定性能。位姿估计方面，ATE-RMSE误差2.565mm，接近专业视觉里程计方法（2.164mm）。图2-3显示其重建质量显著优于HexPlane等基线，尤其在器械交互区域保留更多细节。

该研究突破了动态内窥镜场景重建的三重限制：首次实现无标记位姿的联合优化，通过局部模型架构将处理能力扩展至理论无限长序列，在保持0.3 FPS实时渲染速率的同时，几何精度（L1距离1.456mm）较EndoSurf提升83%。研究者指出，未来结合高斯溅射(GS)技术可进一步提升计算效率，为手术导航系统提供更强大的场景理解能力。这项工作为医疗AR/VR应用建立了新基准，其代码开源将加速智能外科技术的发展。