基于Blob表示的机器人辅助微创手术场景位置感知视频生成方法

《International Journal of Computer Assisted Radiology and Surgery》：Blob representation of robotic surgical scenes for position-aware video generation

　　

目的：合成视频生成（Synthetic video generation）为机器人辅助微创手术（Robot-Assisted Minimally Invasive Surgery, RMIS）中人工智能开发提供了重要途径，可解决标注数据集匮乏的问题。研究人员提出一种新颖的逼真且可控RMIS视频生成方法，利用机器人运动学（robot kinematics）约束生成帧中手术器械的空间位置。方法：所提架构采用Blob生成模块（Blob Generation module），将三维运动学数据转换为刚性二维blob表示，用于对帧生成模块（Frame Generation module）进行空间条件约束，该帧生成模块使用带时序保留（temporal retention）的编码器–解码器结构。结果：在JIGSAWS基准数据集缝合任务上的定量与定性评估表明，该方法在长序列上提升了视频保真度及手术器械位置精度。相对于伪真值（pseudo-ground-truth）标签，blob空间精度平均边界框（bounding box）Dice得分为0.78，掩膜（mask）Dice得分为0.71；相比自回归（auto-regressive）基线方法，视频合成在t+10和t+20帧处SSIM平均提升2%和5%，PSNR平均提升4%和9%，LPIPS降低9%和20%。结论：结果验证了blob表示用于RMIS位置感知逼真视频生成的潜力。合成数据可用于扩充现有数据集，惠及下游任务如器械追踪、工作流程/技能分析及机器人自动化。

论文解读：基于Blob表示的机器人辅助微创手术场景位置感知视频生成方法

本文发表于《International Journal of Computer Assisted Radiology and Surgery》。

一、研究背景与意义

机器人辅助微创手术（Robot-Assisted Minimally Invasive Surgery, RMIS）中，基于学习的模型高度依赖标注数据，但真实标注的手术数据集极为有限，制约了器械分割、手势识别及技能评估等任务的发展。传统计算机图形学模拟器虽灵活但渲染保真度不足且需繁重的3D建模；现有基于扩散模型或文字条件的手术视频生成方法对长时程复杂手术动作的细粒度控制有限；而经典的自回归（auto-regressive）视频预测模型在长序列生成中易出现器械位置漂移与画面模糊。鉴于RMIS常同步记录机器人运动学（kinematics）数据，利用其物理约束来引导视频生成可兼顾可控性与真实性。因此，研究人员开展了利用3D机器人运动学约束手术器械空间位置、基于Blob表示的可控RMIS视频生成研究，以生成高保真、位置准确的合成视频用于数据增强与仿真。

二、主要关键技术方法

研究人员在JHU-ISI Gesture and Skill Assessment Working Set（JIGSAWS）数据集的缝合（suturing）任务上开展研究，采用Leave-One-User-Out（LOUO）交叉验证。方法分两阶段训练：(1) Blob生成模块（Blob Generation module）：两个全连接网络?_L/R将左右机械臂的12维运动学向量（3D坐标+3×3旋转矩阵）映射为二维blob参数（中心x,y、尺度s、长宽比a、旋转θ），通过Mahalanobis距离计算网格点不透明度并splat为灰度blob图，训练时将该blob叠加至学习得到的前景/背景近似图像，以MSE最小化逼近真值帧；(2) 帧生成模块（Frame Generation module）：基于VGG16编码器和带LSTM的最低层时序保留解码器U-Net结构，将前一帧与多尺度下采样的左右blob特征图拼接至解码器各层，以运动加权损失（MSE + γ·感知相似性Perceptual Similarity, PerSim）预测后续帧，按自回归方式迭代生成。推理时将运动学转为blob图输入冻结的帧生成模块。

三、研究结果

Blob generation evaluation——Positional accuracy

Blob生成模块在LOUO验证下获得全局边界框（Bounding box, BBox）Dice相似系数（Dice Similarity Coefficient, DSC）为0.78±0.14（最高Leave-C-Out折达0.84），掩膜（mask）DSC为0.71±0.20。证明blob能高精度定位器械空间包络，差异主要源于刚性椭圆splat与复杂器械末端几何不匹配、SAM2伪真值误差及高速运动下的微小滞后。

Blob generation evaluation——Failure case analysis

运动学相关性分析显示：线速度（velocity）与Dice呈负相关性，高速运动致blob空间滞后；器械间欧氏距离（inter-tool distance）与Dice呈负相关性，双器械趋近视野中心时几何精度更高（如持针交接）；运动学稀有度（kinematic rarity，Isolation Forest异常评分）与Dice呈负相关性，分布外罕见3D位姿投影精度下降。

Frame generation evaluation——Quantitative evaluation

以结构相似性（Structural Similarity Index Measure, SSIM）、峰值信噪比（Peak Signal-to-Noise Ratio, PSNR）和学习感知图像块相似度（Learned Perceptual Image Patch Similarity, LPIPS）评估。前几帧基线LSTM-AutoEncoder与SVG*略优，但自第3帧起误差累积使其低于Blob方法。在训练预测范围（t+10）及外推（t+20），Blob方法较基线SSIM平均提升2%和5%，PSNR提升4%和9%，LPIPS降低9%和20%。

Frame generation evaluation——Qualitative evaluation

生成视频背景静态清晰、器械位置与形态基本吻合真值，但在缝合针、线及组织细节渲染上存在局限。长序列生成中SVG*出现器械模糊变形，Blob条件模型虽趋向生成刚性blob状器械但维持了位置物理一致性。

四、讨论与结论翻译

结论：本文提出一种利用机器人运动学约束生成帧中手术器械空间位置的RMIS逼真可控视频生成新方法。通过引入blob表示，模型可生成跨帧视觉一致的位置感知手术视频。Blob生成模块定量证实鲁棒定位能力（边界框Dice 0.78±0.14，掩膜Dice 0.71±0.20）。失败案例分析明确了影响空间精度的三个运动学指标——高速度与罕见位姿致几何偏差，而关键近距离中央操作精度最佳。定性结果显示对针线等细微细节捕捉有限，且blob条件法虽在长序列器械物理一致性上优于传统自回归模型，仍需进一步提升复杂动态渲染。该方法可通过参数化Blob生成模块约束器械运动以合成复杂手术动作，模块化架构便于与先进视频生成技术结合。总之，本方法为依赖时序变化的RMIS数据增强与仿真提供了可行方向，未来将通过融合扩散模型及扩展非刚体元素blob表示以提升复杂场景 fidelity与分辨率。