
-
生物通官微
陪你抓住生命科技
跳动的脉搏
MIS-NeRF:基于神经辐射场的微创手术三维重建与病灶定位增强现实技术
【字体: 大 中 小 】 时间:2025年05月26日 来源:International Journal of Computer Assisted Radiology and Surgery 2.3
编辑推荐:
本研究针对微创手术(MIS)中内源性病灶定位难题,提出MIS-NeRF框架,通过改进神经辐射场(NeRF)模型解决移动光源和镜面反射问题,结合迭代最近点(ICP)算法实现术前3D模型与术中图像的精准配准(误差3.25 mm),为手术导航提供高保真三维重建方案。
在微创手术(MIS)领域,内源性病灶的精确定位一直是临床难点。传统开放手术的触觉反馈在MIS中大幅削弱,而现有增强现实(AR)导航技术依赖人工标注解剖标志点,耗时且易受术中组织变形影响。更棘手的是,腹腔镜移动光源造成的亮度波动、湿润组织产生的镜面反射,使得基于多视图立体视觉(MVS)的三维重建常出现孔洞和噪声。西班牙阿尔卡拉大学电子系Samad Barri Khojasteh团队联合法国克莱蒙费朗大学医院,在《International Journal of Computer Assisted Radiology and Surgery》发表研究,提出MIS-NeRF这一革新性解决方案。
研究团队采用三项关键技术:1)将相机原点作为神经辐射场输入以建模移动光源;2)引入带饱和函数的体积渲染方程处理镜面高光;3)设计复合损失函数(含深度平滑项)优化表面重建。实验使用3组合成肝脏数据集和4例真实手术视频(含子宫病例),通过结构光扫描获取术前3D模型作为金标准。
【MIS-NeRF架构设计】
通过哈希编码处理空间坐标x,球谐函数编码视角方向d,并新增相机中心oc的位置编码。改进的渲染方程tanh(∫T(t)σc dt)显式模拟相机饱和响应,相较原始NeRF的sigmoid输出,在Synth-R数据集上将深度均方根误差(RMSE)从23.07 mm降至13.19 mm。
【高光修复与表面优化】
采用Segment Anything模型(SAM)分割高光区域并排除训练,结合泊松表面重建生成平滑网格。在Liver-1案例中,镜面反射区域的ICP配准误差仅2.48 mm,较传统Nerfacto降低33%。
【跨模态配准性能】
通过手动标注4对特征点初始化Procrustes分析,后续ICP细化配准。在非刚性变形的Synth-NR2数据集上,MIS-NeRF仍保持19.70 mm的深度RMSE,优于3D高斯泼溅(SuGaR)方法的20.47 mm。
结论表明,MIS-NeRF首次实现无需人工标注的术中器官三维重建,15分钟完成全流程,满足肝癌切除(需1 cm精度)和子宫肌瘤剔除的临床需求。未来可通过同步定位与建图(SLAM)替代运动恢复结构(SfM)模块,进一步加速系统响应。这项技术为远程手术教学和实时AR导航奠定了算法基础。
生物通微信公众号
知名企业招聘