《CMES - Computer Modeling in Engineering and Sciences》：Encoder-Guided Latent Space Search Based on Generative Networks for Stereo Disparity Estimation in Surgical Imaging
编辑推荐：
为解决微创手术中动态软组织、镜面反射和数据稀缺对立体匹配带来的挑战，本研究提出一种基于预训练StyleGAN生成器的编码器引导潜在空间搜索框架，将视差估计转化为隐空间优化问题。通过结合光度一致性约束与流形先验，该方法在手术视频数据上实现了高保真、强鲁棒的视差估计，显著优于传统TPS模型和线性表示基线。
在机器人辅助微创手术领域，精确的3D组织重建是确保手术安全的关键环节。然而，手术场景中的动态软组织形变、镜面反射和遮挡等挑战，使得传统立体匹配方法难以获得可靠结果。基于薄板样条（TPS）的线性模型难以捕捉复杂的非线性形变，而端到端深度学习模型又面临手术数据标注稀缺的困境。面对这些技术瓶颈，电子科技大学研究团队在《CMES - Computer Modeling in Engineering and Sciences》上发表了一项创新研究，通过将生成式人工智能与立体视觉相结合，开辟了新的解决方案。
本研究核心创新在于利用预训练StyleGAN（Style-Based Generative Adversarial Network）生成器来表征手术场景的视差流形，并将立体匹配任务重新表述为潜在空间优化问题。具体而言，研究团队开发了编码器辅助的推理框架，通过VGG（Visual Geometry Group）网络提取立体图像对的特征，预测潜在向量增量，显著加速了潜在空间的收敛过程。
关键技术方法包括：首先构建基于StyleGAN的视差生成器学习历史手术场景的视差流形；然后设计专用编码器网络，采用空洞卷积和LeakyReLU激活函数处理立体内窥镜图像特征；最后通过两阶段优化策略（编码器粗调+光度损失精调）实现潜在空间的高效搜索。实验数据来源于达芬奇手术机器人采集的硅胶心脏和真实心脏手术视频，包含700帧已校正立体图像。
研究结果显示，编码器改进的StyleGAN模型在收敛速度上表现突出。测试集重建损失曲线表明，新方法仅需约40轮优化即可收敛到最优值，而原始StyleGAN重建需要140轮。潜在向量距离分析显示，编码器引导的优化路径更直接高效，初始阶段即出现显著下降。
在抗遮挡能力测试中，当遮挡物尺寸达到100×100像素时，传统TPS模型已出现明显失真，而StyleGAN-Encoder模型仍能保持自然的心脏表面形态。运动模糊应力测试进一步验证了新方法的鲁棒性，在不同模糊程度下均保持最低的均方误差。
定性优化案例显示，编码器引导的方法在单次迭代后就能生成平滑的心脏表面，而未经改进的模型直到第20次迭代仍存在皱纹和凹槽。在计算效率方面，新方法将单帧处理时间从0.65秒缩短至0.43秒，提升达34%。
研究讨论部分指出，该框架的成功得益于生成先验与显式潜在向量优化的结合。编码器通过整合左右视图信息和光度残差，能够有效补偿退化区域，将更新约束在StyleGAN潜在空间的高置信区域内。然而，16维潜在空间的表达力限制以及训练数据多样性不足仍是当前的主要局限。
该研究的重要意义在于首次将编码器引导的潜在空间搜索引入手术立体视觉领域，建立了生成式建模与三维几何感知的桥梁。相比传统方法，新框架在保持精度的同时显著提升推理速度，为未来实时手术导航系统的开发奠定了技术基础。尽管在泛化性和实时性方面仍需改进，但这项工作为数据高效的手术场景三维重建提供了可行方案，有望推动智能手术机器人的进一步发展。
