实时融合立体视觉与高光谱成像技术，为手术中的客观决策提供支持

《Computer Vision and Image Understanding》：Real-time fusion of stereo vision and hyperspectral imaging for objective decision support during surgery

实时立体超光谱成像系统通过整合多光谱瞬拍成像与立体视觉，实现术中高分辨率三维表面重建与生化信息融合，支持氧合、组织分类等功能评估，临床验证其在肾移植、腮腺切除等手术中提升决策精度。

　　在现代手术过程中，医学影像技术正日益成为辅助外科医生进行精确决策的重要工具。当前，外科医生不仅依赖于其卓越的视觉感知能力，还越来越多地利用先进的计算机视觉系统，以获取实时定量数据并整合到手术环境中。这些视觉系统能够在复杂的手术场景中处理和解释信息，为医生提供超越传统RGB图像的增强信息。本研究提出了一种新型的实时立体超光谱成像（stereo-HSI）系统，它结合了多光谱快门成像与立体视觉，旨在为手术过程提供全面的组织和器官分析支持。

与传统的RGB图像相比，超光谱成像能够捕捉到更丰富的生物化学和功能信息，其优势在于能够识别和区分不同组织类型。然而，超光谱成像在实际手术中存在一定的挑战，例如较长的采集时间以及光谱信息的处理复杂性。为了克服这些限制，本研究采用了一种快门式超光谱成像技术，该技术能够在一次快门操作中同时捕捉多个光谱波段，从而显著减少图像采集时间。尽管这种快门式成像方法在空间分辨率和光谱分辨率之间存在权衡，但其提供的实时数据对于手术中的动态场景仍然具有重要意义。

此外，立体视觉技术能够在双目图像对的基础上实现精确的三维重建，提供定量的深度估计和空间映射信息。这种技术的关键在于如何准确地将深度信息与光谱数据进行融合，以确保在手术过程中能够提供全面的图像分析结果。为了实现这一目标，本研究开发了一种集成的处理管道，包括多光谱图像的采集、光谱重建、深度感知以及图像融合等多个阶段。通过这些步骤，系统能够提供实时的RGB图像和高维度的光谱数据，从而帮助医生更直观地理解组织特性。

本系统在57项手术中进行了临床验证，涵盖了肾移植、腮腺切除和颈部手术等多种手术类型。在这些手术过程中，系统能够在标准手术照明条件下实现高空间和光谱分辨率，确保医生能够准确评估组织的氧合状态和组成成分。在实际手术中，医生可以实时观察到组织的血流和灌注情况，为手术操作提供关键的视觉反馈。

系统的核心优势在于其紧凑、非接触的设计，使得其能够无缝地集成到现有的手术流程中，而不影响手术的进行。此外，系统还引入了一种全新的光谱映射算法，该算法基于自定义学习模型，能够有效提升图像处理的准确性和效率。通过这种算法，系统能够在不同光谱波段之间建立更精确的映射关系，从而减少光谱交叉干扰，并提高光谱数据的可靠性。

在临床应用方面，本系统能够提供多种生理参数的分析，包括组织氧合状态、血流情况以及组织成分的识别。这些分析结果能够以热图或伪彩色图像的形式直观地显示在手术场景上，帮助医生在手术过程中快速判断组织状态。例如，在肾移植手术中，系统能够通过分析肾组织的氧合状态，帮助医生判断移植器官是否已经恢复正常的血流和功能。

本研究还探讨了系统在不同手术场景中的适用性。例如，在颈部手术中，系统能够帮助医生区分不同类型的组织，如肌肉、神经和血管，并在手术过程中提供实时的组织分类结果。这些信息对于医生的手术决策至关重要，尤其是在处理复杂组织结构时，能够有效减少因误操作而导致的医源性损伤。

此外，本研究还评估了系统的处理管道性能。通过实验数据的验证，系统能够在不同光谱波段上保持较高的信噪比（SNR）和图像质量。尽管在某些光谱波段（如近红外波段）中存在一定的噪声问题，但通过优化图像处理算法和使用高精度的传感器，系统仍然能够提供高质量的图像数据。

在实际应用中，系统还面临着一些挑战。例如，光谱交叉干扰可能会导致图像信息的丢失，而光谱波段的选取也需根据手术场景进行调整。此外，系统的处理管道需要在实时性与图像质量之间找到平衡，以确保在手术过程中能够提供连续、高质量的图像分析结果。

综上所述，本研究提出了一种全新的实时立体超光谱成像系统，该系统在手术过程中能够提供高质量的光谱和深度信息，为医生的决策提供支持。通过结合快门式多光谱成像与立体视觉技术，系统不仅提高了手术过程中的信息获取能力，还为未来的手术机器人和增强现实（AR）辅助手术提供了新的可能性。尽管系统在实际应用中仍需进一步优化，但其在提高手术精度和安全性方面的潜力已经得到了初步验证。