基于条件提示的Mamba扩散算法，用于OCT到OCTA图像的生成

《Expert Systems with Applications》：Conditional Prompt Guided Mamba Diffusion for OCT to OCTA Image Generation

OCTA图像生成模型CPGMD通过改进Mamba架构和双向扫描策略，有效利用OCT数据生成高保真OCTA图像。摘要：针对OCTA设备昂贵的问题，提出基于Mamba架构的扩散模型CPGMD。通过双向B-scan扫描增强空间连续性，设计条件提示模块整合跨序列注意力和自适应特征条件，改进的Mamba块提升噪声建模能力。实验表明，该模型在公开和私有数据集上均能生成高质量OCTA图像，为低成本OCTA获取提供新方案。

　　

刘青|朱红青|钱天伟|徐迅|黄冰仓

华东科技大学信息科学与工程学院，上海，200237，中国

摘要

光学相干断层扫描血管造影（OCTA）能够提供视网膜血管系统的高分辨率三维可视化图像，在视网膜疾病的筛查和诊断中发挥着至关重要的作用。然而，高质量OCTA图像的获取严重依赖于昂贵且复杂的成像设备，这限制了其在临床上的广泛应用。为了解决这一限制，我们提出了一种基于条件提示的Mamba扩散（CPGMD）方法，用于从相应的视网膜OCT数据生成OCTA图像。具体来说，我们设计了一个改进的Mamba模块，通过残差路径连接多个Mamba模块来改善扩散过程中的噪声建模。此外，我们引入了一种双向弓形扫描策略，以克服传统基于Mamba的建模方法的局限性，从而提高生成OCTA图像的视觉保真度。为了进一步指导去噪过程，我们开发了一种条件提示机制，该机制结合了跨序列注意力和自适应特征条件提示，使得生成的OCTA图像更具区分性。在公共和私有数据集上的实验表明，CPGMD能够有效利用OCT数据生成高保真度的OCTA图像，为OCTA成像提供了一种有前景的替代方案。该项目的代码可在https://github.com/MRLQ-Q/CPGMD公开获取。

引言

随着生活压力的增加和人口老龄化，与眼底相关的疾病发病率持续上升。眼底成像技术不断进步，以满足复杂视网膜状况的诊断需求。其中，光学相干断层扫描血管造影（OCTA）（Kashani等人，2017年）是一种新型的基于OCT的视网膜微血管成像技术。OCTA结合了结构OCT和血流检测功能，能够捕捉红细胞的运动，并应用先进的信号处理算法来可视化微血管结构。该技术提供了视网膜和脉络膜血管网络的高分辨率图像，为视网膜疾病的精准诊断和治疗提供了强大的工具。如图1所示，OCT和OCTA成像都包括多个B扫描及其对应的血管图谱。B扫描揭示了视网膜的结构横截面，而OCTA生成的图谱则详细显示了眼底内的血管状况。

OCTA图像可以无创地显示视网膜血管的状态，这对视网膜疾病的诊断具有重要意义（Chen, Liu, Cao, Yusufu, & Wang, 2021）。然而，获取OCTA图像需要专门的设备且成本较高。为了降低成本，研究人员开发了多种利用现有OCT图像生成OCTA图像的方法。例如，Lee等人（2019年）设计了一种独特的编码器-解码器结构，将OCT B扫描转换为OCTA B扫描；Li等人（2020年）使用CycleGAN从OCT横截面B扫描预测血管并生成OCTA图像；Huang等人（2023年）提出了一种无监督的领域自适应方法，将OCT B扫描映射到特征空间以生成OCTA图像。另一种方法是直接从OCT映射生成OCTA映射，例如Chen等人（2024b年）基于多样化的视网膜血管表达设计了一个网络框架CAVE-OCTA来生成合成OCTA映射；Zhang等人（2025年）使用结构引导网络和点云重建技术无需3D体积数据即可重建OCTA视网膜血管。Li等人（2024c年）提出了一种混合网络架构，结合3D和2D生成网络以及OCT和B扫描来生成3D OCTA图像。

尽管已经提出了多种OCT到OCTA图像生成的方法，但在图像质量和结构连续性之间取得平衡仍然是一个重要挑战。例如，基于切片的方法通常会忽略相邻切片之间的空间依赖性，导致生成的OCTA图像出现不连续性或结构断裂。相比之下，基于3D OCT的方法可以更好地保持整体空间结构，但在高维特征压缩过程中容易丢失精细的血管细节，从而降低生成OCTA表示的保真度和准确性。因此，在保持局部血管细节完整性的同时有效建模切片间的空间相关性是医学图像生成任务中的一个关键问题。最近在自然图像处理领域的研究表明，Mamba模型（Gu, Goel, & Ré, 2021）凭借其动态选择机制，在捕获序列数据中的长距离依赖性方面表现出色。受此启发，我们提出了一种基于Mamba的扩散框架（OCT到OCTA）。通过将Mamba的序列建模能力与扩散模型的生成优势相结合，所提出的方法增强了切片间的结构建模，从而提高了生成的血管保真度和结构连续性。

基于上述分析，本文提出了一种新的基于条件提示的Mamba扩散模型（CPGMD），用于从眼底OCT数据生成OCTA图像。该模型引入了一个双条件提示模块（DCPM）来指导扩散过程。第一个组件是跨序列注意力条件提示，通过整合空间和通道注意力机制来增强模型对OCT输入的理解；第二个组件是自适应特征条件提示，它从OCTA图像中动态学习代表性特征，以提高适应性和生成准确性。为了进一步增强连续性，设计了一种双向弓形扫描策略来替代传统的单向Mamba扫描方法。此外，重新设计的条件Mamba模块（CMBM）结合了条件提示，以增强模型的噪声预测能力。基于预测的噪声，模型完成基于扩散的图像生成过程。广泛的实验表明，所提出的CPGMD框架能够有效且准确地从OCT输入合成高质量的OCTA眼底图像。

本文的主要贡献总结如下：

•

本文提出了CPGMD，这是一种结合了Mamba和扩散模型的生成模型。它不仅可以从眼底OCT图像生成清晰的OCTA图像，还可以生成OCTA映射。

•

该模型使用了一种特殊的Mamba模块来提供准确的噪声预测。此外，设计了一种双向弓形扫描方法来缓解Mamba扫描的空间连续性问题。

•

引入了两种独特的条件提示。第一种是跨序列注意力特征条件，它结合了空间和通道注意力，为Mamba模块提供正确的噪声预测；第二种是自适应特征条件提示，它根据输入图像进行自适应学习，为扩散生成提供条件输入。

•

在公共和私有数据集上的实验结果表明，CPGMD能够有效地从眼底OCT生成OTCA图像。

相关研究

相关工作

本节重点介绍了Mamba的扩散生成技术，以及近年来一些先进的眼底OCT和OCTA图像的应用分析。

方法

本节概述了模型框架的准备工作，并介绍了CPGMD。随后解释了条件提示、双向弓形扫描和Mamba模块结构的设计。最后详细介绍了CPGMD的扩散损失计算。

损失函数

生成模型的主要框架是以Mamba为核心的扩散模型，损失主要是扩散模型对训练数据逐步添加噪声和去噪的过程。因此，基于扩散模型的前向和后向噪声处理，可以在时刻t得到潜在样本Z_OCT$Z_{OCT?t}$$Z_{OCT}+\sqrt{1?{\bar{\alpha }}_t}{?}_t$${\alpha }_{ˉ}$${?}_t～N(0,)$${\bar{\alpha }}_t$${?}_t～N(0,)$