通过大型视觉模型引导实现的高效频率分解变压器，用于外科图像去烟雾处理

《Computerized Medical Imaging and Graphics》：Efficient frequency-decomposed transformer via large vision model guidance for surgical image desmoking

本研究针对手术图像去雾难题，提出SmoRestor框架。通过频率感知Transformer分离空间-频率域烟雾干扰，结合大视觉模型知识迁移和高效KV缓存机制，在保证实时性的同时显著提升图像清晰度与解剖结构辨识度，实验验证其有效性。

　　手术图像修复在提高手术过程中视觉质量方面发挥着关键作用，尤其是在微创手术中，由于手术烟雾频繁遮蔽操作区域，图像清晰度往往受到严重影响。当前，尽管在自然图像增强领域已有大量研究，但手术图像修复仍面临独特的挑战，特别是在算法开发和定制化学习策略方面进展有限。本文旨在从理论和实践两个层面探讨手术图像去烟雾的任务，提出一种高效且具有针对性的解决方案，以应对手术场景中复杂的图像退化现象。

手术烟雾作为一种常见的视觉干扰，其退化特性与自然场景中的图像退化有显著差异。首先，烟雾具有空间局部化和动态变化的特点，这意味着它通常集中在特定区域，并且随着时间推移不断变化。其次，烟雾在频域中呈现出可区分的模式，这种模式在不同频率范围内表现出不同的影响。最后，烟雾与解剖结构之间的相互纠缠使得从图像中分离出真实解剖信息变得异常困难。这些特性共同构成了手术图像去烟雾任务的核心难点，也促使我们设计了一种专门针对这一问题的框架——SmoRestor。

SmoRestor基于高效的频率分解Transformer模型，结合了大型视觉模型的语义先验知识，旨在更精确地建模空间和频率域的退化现象。为了应对手术图像中局部化和动态变化的烟雾，我们引入了一种高阶傅里叶嵌入的邻域注意力机制，使模型能够捕捉烟雾与解剖结构之间的复杂关系。此外，我们还设计了一个轻量级的迁移学习策略，通过将大型视觉模型中的语义先验知识注入到主网络中，从而在边缘设备上实现高效且准确的去烟雾效果。

在实际应用中，手术图像修复不仅需要恢复图像的视觉清晰度，还必须保留重要的解剖细节，例如血管和组织纹理，这些信息对术中决策至关重要。因此，如何在有限的计算资源下实现高质量的图像修复，是当前研究的重点之一。同时，随着微创手术的普及，手术图像修复技术的实时性和轻量化也变得尤为关键。特别是在使用腹腔镜摄像机等边缘设备时，必须确保算法能够在低延迟下运行，以满足临床需求。

现有的去烟雾研究主要集中在自然图像增强技术的迁移上，但由于手术图像的特殊性，这些方法在实际应用中往往效果不佳。手术烟雾不仅影响图像的局部区域，还可能改变整个图像的频率分布，使其与解剖结构难以区分。这使得传统的图像修复方法难以有效处理此类复杂退化。因此，本文提出了一种全新的去烟雾框架，该框架能够更好地适应手术图像的退化特性，同时保持较高的计算效率。

SmoRestor框架的设计基于对手术烟雾退化特性的深入分析。首先，我们利用频率分解技术，将图像退化问题分解为多个频率域的子问题，从而更精准地捕捉烟雾与解剖结构之间的交互。其次，我们引入了大型视觉模型（如SAM）的语义先验知识，通过辅助分支对图像进行特征掩码和重构，从而增强模型对真实解剖内容的识别能力。这种语义引导的修复策略能够有效区分烟雾与解剖结构，提高修复的准确性。

为了确保SmoRestor能够在实际手术环境中高效运行，我们还设计了一种轻量级的迁移学习策略。该策略通过将大型视觉模型的语义先验知识迁移到紧凑的主网络中，使得模型能够在保持高精度的同时，满足边缘设备的计算限制。在训练过程中，我们使用辅助分支对图像进行特征提取和重构，而在推理阶段则移除该分支，以减少计算开销并提高运行效率。这种设计不仅提升了模型的性能，还确保了其在实际部署中的可行性。

在数据集方面，我们采用了多个来自真实腹腔镜手术的公开数据集，包括Desmoke-LAP和DesmokeData。这些数据集涵盖了不同类型的手术操作，如子宫切除术和腹腔镜前列腺根治术，为去烟雾算法的训练和评估提供了丰富的样本。然而，部分数据集缺乏配对的干净图像，这给模型的训练带来了额外的挑战。因此，我们在数据预处理阶段采用了多种方法，以确保模型能够从有限的样本中学习到有效的去烟雾策略。

实验结果表明，SmoRestor在多个数据集上的定量性能和视觉质量均优于现有方法。特别是在处理具有高度局部化和动态变化的烟雾时，该框架表现出更强的鲁棒性和准确性。此外，SmoRestor的轻量化设计使其能够在资源受限的边缘设备上高效运行，为实际手术环境中的实时图像修复提供了有力支持。

本文的贡献主要体现在四个方面。首先，我们提出了一种专门针对手术图像去烟雾任务的框架，该框架能够有效处理手术环境中的复杂退化现象，确保在临床实践中实现高效的图像修复。其次，我们设计了一种频率分解的Transformer架构，通过高阶傅里叶嵌入的邻域注意力机制，更精确地建模烟雾与解剖结构之间的交互。第三，我们引入了一种轻量级的迁移学习策略，通过将大型视觉模型的语义先验知识注入到主网络中，实现了在边缘设备上的高效部署。最后，我们的框架在理论上具有坚实的支撑，结合了傅里叶分析和注意力机制的基本原理，确保了其在真实手术环境中的稳定性和可靠性。

手术图像去烟雾技术的发展不仅有助于提高手术的可视化质量，还对术中决策和辅助系统具有重要意义。例如，烟雾消除后的图像能够为外科医生提供更清晰的视野，帮助其更准确地识别血管和病变区域。此外，清晰的图像还可以作为计算机辅助系统（如手术流程识别、出血检测和解剖定位）的可靠输入，提高手术的智能化水平和安全性。

综上所述，SmoRestor作为一种新型的手术图像去烟雾框架，具有显著的理论和实践价值。它不仅能够有效解决手术图像中烟雾带来的视觉干扰问题，还能够在实际应用中实现高效、准确和实时的图像修复。未来，随着手术机器人和智能医疗系统的进一步发展，手术图像修复技术将在临床实践中发挥越来越重要的作用，为微创手术的普及和提升提供强有力的技术支持。