SeamXSim：基于无配对长时视频翻译的无缝纹理虚拟结肠镜模拟器

本文推荐SeamXSim系列虚拟结肠镜模拟器，其通过无缝纹理合成技术（Mask-aware transformer）与无配对视频翻译框架（含流形变损失函数），显著提升模拟器的视觉真实度与时空一致性。实验证明该方法在3D重建（Mesh-to-Cloud误差降低至3.629 mm）和深度估计（错误率0.123）中优于现有模型，并通过新手医师偏好验证证实其临床培训价值，为消化内镜技能训练提供高保真解决方案。

　　

亮点

• •
  无缝纹理合成：我们提出一种无缝纹理合成方法，利用从真实结肠镜数据集提取的单一结肠斑块。该方法显著提升了SeamXSim的纹理质量，为虚拟结肠镜提供了更真实、多样化的模拟环境。
• •
  无配对视频翻译：基于无缝纹理模拟器，SeamXSim-T引入无配对视频翻译技术，以弥合模拟视频与真实结肠镜图像之间的领域差异。该方法能够生成长时结肠镜序列，紧密复现真实手术过程，有效缩小虚拟与真实环境间的差距。
• •
  综合评估：我们通过技术和临床评估严格验证了我们的方法。在技术层面，我们将SeamXSim与多种纹理合成方法在局部（结肠斑块）和全局（整个结肠）区域进行了比较，同时评估了视频翻译模型的保真度和时间一致性。从临床角度，我们与八名新手内镜医师进行了偏好测试，证明SeamXSim-T在缩小虚拟与真实结肠镜手术差距方面的有效性，并凸显其作为临床实用培训工具的潜力。

方法

本节详细介绍了使用纹理合成模型进行无缝纹理生成的数据集配置、包含流形变损失的视频翻译模型以及虚拟环境设置。SeamXSim框架概述如图1所示。

局部区域结肠纹理合成模型的比较性能

通过在模拟器层面比较该方法与多种其他纹理合成方法（包括随机混合（STO）、利用神经细胞自动机的自组织纹理（SOT）以及引导对应损失（GCL））来评估纹理合成方法。为了定量评估，从Endomapper数据集中选择了60个高质量结肠纹理样本。每个生成的纹理每个样本被裁剪成16个斑块，共960个。

讨论

在本研究中，我们提出了SeamXSim，一种利用结肠纹理合成和长时结肠镜视频翻译的现实虚拟结肠镜模拟器。我们基于Mask-aware transformer（MAT）的纹理合成方法生成了无缝且高保真的纹理，在使用结肠镜纹理的纹理合成方法中优于现有技术。评估SeamXSim在局部和全局区域性能的实验表明，所提出的纹理。

结论

在本研究中，我们介绍了SeamXSim，一种采用新颖纹理合成技术生成连续、高保真结肠纹理的无缝纹理结肠镜模拟器。我们还介绍了SeamXSim-T，一种利用视频翻译生成类似真实结肠镜的高保真序列的扩展。所提出的方法弥合了虚拟模拟与真实手术之间的差距，增强了医学培训和技能转移。未来的工作将专注于复现多样化的条件，例如。