相机增强技术：通过利用丰富的公共合成图像数据集进行训练，实现微创手术图像的无需校准的立体匹配

《International Journal of Computer Assisted Radiology and Surgery》：Camera augmentation: enabling uncalibrated stereo matching of minimally invasive surgery images by training from the wealth of public synthetic image datasets

　　

摘要

目的

现有的微创手术（MIS）中用于立体匹配的模型需要经过校准的立体图像。然而，在手术过程中往往无法获得准确的校准数据。因此，训练未经校准的立体模型虽然具有吸引力，但由于缺乏带有视差标记的手术图像，这一过程颇具挑战性。

方法

我们利用了丰富的非医疗立体合成图像数据集。但这些数据是在理想条件下生成的——图像已经过校正，且主点位于中心位置——因此与实际未经校准的MIS图像有所不同。我们提出了一种新的图像增强方法——相机增强（Camera Augmentation，简称CATS），该方法通过改变相机的姿态和内在参数来丰富数据集。我们通过对立体腹腔镜进行深入分析和建模，估计出几何增强参数的分布，并利用这些参数对现有的数据集进行增强。通过这种相机增强训练策略（CATS），我们重新训练了RAFTStereo和IGEV++算法，以实现MIS中的零样本（zero-shot）未经校准的立体匹配。

结果

我们使用SCARED、StereoMIS、RIS2017以及内部数据集进行了评估。在未经校准的SCARED数据集上，CATS-RAFTStereo和CATS-IGEV++的端点误差（EPE）分别为1.42像素和1.41像素。这一结果非常成功，因为参考的预训练模型在校准条件下只能达到1.23像素和1.21像素，在未经校准的条件下则无法完成任务。

结论

相机增强技术填补了理想条件数据集与实际手术环境（校准不确定或不可用）之间的差距，使得最先进的算法模型能够得到重新训练。除了立体匹配任务外，所提出的CATS方法还适用于对相机几何参数敏感的其他任务。相关代码和模型将会公开发布。