编辑推荐：
在手术数据科学领域，高光谱成像（HSI）数据稀缺阻碍相关算法发展。研究人员开展基于生成建模的跨模态知识转移研究，利用潜在扩散模型（LDM）合成高光谱图像。结果显示该方法可提升语义分割性能，为解决新成像模态数据瓶颈提供思路。
在医疗技术飞速发展的当下，高光谱成像（Hyperspectral Imaging，HSI）宛如一颗冉冉升起的新星，备受瞩目。它作为一种新兴的非侵入性手术成像方式，拥有强大的功能，能够突破传统 RGB 成像的局限，实时获取组织的功能信息。在疾病分类、手术场景理解、无造影剂术中灌注监测以及癌症检测等众多临床任务中，HSI 都展现出了超越传统成像的优势。然而，这颗新星的发展道路却并不平坦，高质量标注训练数据的稀缺成为了其临床应用推广的 “拦路虎”。不同成像模态的数据由于光谱维度和外观的差异，难以直接整合，这使得数据稀缺问题愈发严重，严重制约了数据驱动成像算法的发展。数据增强方法虽能在一定程度上缓解问题，但在分割场景下，要保证分割掩码和图像的一致性变化并非易事，稍有不慎就会引发纹理扭曲等问题，这也导致手术数据科学领域目前大多只采用刚性增强方法。
在这样的困境下，德国癌症研究中心（German Cancer Research Center，DKFZ）等机构的研究人员勇挑重担，开展了一项极具创新性的研究。他们提出利用生成建模技术，将从任意模态获取的语义分割掩码转换为逼真的标注高光谱图像，以此实现跨模态知识转移，打破数据瓶颈。
研究人员采用的关键技术方法主要有以下几个：一是基于潜在扩散模型（Latent Diffusion Models，LDMs）进行语义图像合成。LDM 由无条件自动编码器（Autoencoder，AE）和条件扩散模型（Diffusion Model，DM）组成，为适应 HSI 数据的高维度特性，他们对 AE 进行了改进，不仅压缩空间维度，还将通道维度从 100 减少到 8，并调整了损失函数。在 DM 训练时，引入填充操作以适应内部 U - Net 架构，同时利用特定方法将语义注释作为条件输入。二是设计了全面的实验方案。使用猪数据集进行研究，通过定性评估视觉真实性、定量评估光谱一致性以及将语义分割作为下游任务进行定量评估等多方面验证。
研究结果如下：
- 定性评估视觉真实性：通过将合成的 HSI 图像重建为 RGB 图像，并与真实图像对比，医学专家认为生成的图像在几何特征、光照、阴影、器官颜色和纹理等方面与真实图像相似，但在背景区域（如手套）和部分器官（如结肠）的细节上存在差异，整体图像略显模糊。
- 定量评估光谱一致性：分析真实和生成数据集代表性器官的光谱发现，大多数类别的光谱在强度值、局部最大值和最小值方面匹配良好。常见标签（如肝脏和胃）的光谱一致性最佳，罕见标签（如肾脏）的一致性最差。
- 下游任务语义分割性能评估：以语义分割为下游任务，对比仅在真实数据（Baseline）、仅在合成数据（Synthetic）以及两者结合（Enhanced）上训练的模型性能。结果显示，Enhanced 模型在各项设置下的平均和中位数性能均高于 Baseline 模型，Dice 相似系数（DSC）提升 7% - 35%，归一化表面距离（NSD）提升 4% - 37%。而 Synthetic 模型与 Baseline 模型性能相近或略低。
研究结论和讨论部分指出，该研究首次在手术数据科学领域提出跨模态知识转移的方法，并率先将 LDMs 应用于医学高光谱图像合成。研究表明 LDMs 适用于语义 HSI 合成，即使对于分布外（OoD）掩码也能有效利用跨模态几何知识，生成式增强方法可提升模型在不同场景下的性能。不过，研究也存在一些局限性，如未利用外部数据集展示跨模态转移潜力，实验使用猪数据而非临床人体数据，且 LDMs 在模拟高频细节方面存在不足。但总体而言，该研究为解决新型成像模态的训练数据瓶颈问题提供了新的思路和方法，有望加速 HSI 等新型成像技术的临床转化，为患者和临床工作人员带来福音。其研究成果发表在《International Journal of Computer Assisted Radiology and Surgery》上，为该领域的后续研究奠定了重要基础。
