SemiET：基于高效Transformer的半监督眼底图像增强

《Biomedical Signal Processing and Control》：SemiET: Semi-supervised fundus enhancement with efficient Transformers

　　## 摘要视网膜眼底成像对于眼科疾病的筛查、诊断和管理至关重要。高质量的视网膜图像是可靠的临床解读和自动化分析的先决条件。然而，在实际采集过程中，由于离焦、光照不足、运动模糊和传感器噪声等因素，图像质量差异很大，因此需要进行鲁棒的增强。传统增强方法往往力不从心，要么过度增强图像，要么丢失关键细节。同样，基于深度学习的方法，尤其是基于CycleGAN的模型，难以保留结构细节和弥合领域差距。为了解决这些局限性，我们提出了SemiET——一种新颖的半监督视网膜图像增强框架，该框架利用高效的Transformer结构。SemiET联合利用配对合成退化数据以进行像素级重建，并利用非配对真实低质量图像以进行分布对齐。为使高分辨率Transformer增强更高效，SemiET采用受Restormer启发的通道级注意力机制，在保留全局上下文建模能力的同时避免了大规模空间亲和图的开销。为超越PSNR和SSIM来评估实用性，我们开发了一个综合评估框架，涵盖质量分级、血管和视盘/视杯分割、黄斑定位以及保留的DDR病灶保持检测。在多个数据集上，SemiET取得了领先的有参考图像质量结果、具有竞争力的结构下游任务性能，以及在DDR探针中评测增强方法中最高的mAP@0.5，同时保持了参数量最小的优势。## 引言视网膜眼底成像在当代临床实践中具有核心地位[1]。近期研究[2]、[3]、[4]表明，高质量的视网膜图像有助于诊断视网膜病变和青光眼等眼科疾病。然而，常规采集往往导致图像质量存在显著差异。证据表明，超过10%的散瞳眼底照片和约20.8%的非散瞳眼底照片不适合临床决策，需要重新拍摄或完全丢弃[5]、[6]。这延迟了诊断并增加了医疗成本。因此，增强视网膜眼底图像以满足临床需求已成为眼科领域的一项紧迫挑战。视网膜图像存在多种质量问题，包括模糊、对焦不足、光照不均匀、低对比度和噪声[7]、[8]。可靠的诊断既依赖于强度和对比度，也依赖于临床相关结构的完整性，因此增强应保留精细的视网膜血管、视盘和视杯以及微妙的疾病相关信号[9]、[10]。在实际中，不同图像上的退化以不同的组合和严重程度出现，这使得从低质量到高质量的映射本质上具有模糊性和图像依赖性。最重要的是，缺乏配对的低质量与高质量图像进一步增加了学习这种映射的难度，并限制了先进增强算法的开发。传统方法[11]、[12]、[13]、[14]依赖图像处理技术和先验知识。虽然简单高效，但它们通常仅执行全局操作而不适应局部内容，在遇到严重的颜色或结构失真时往往力不从心，导致实际中细节丢失或过度增强。为解决这些局限性，近期的深度学习方法[15]、[16]、[17]利用真实世界的非配对数据或合成的配对数据来定制增强以应对每张图像的独特需求。尽管这些方法[8]、[18]取得了显著成果，但仍存在局限性。在非配对数据上训练的基于CycleGAN的模型经常违反循环一致性，并难以保留精细的结构细节[19]、[20]。相反，合成数据通常由过度简化的退化模型生成，无法捕获真实的临床复杂性。随着扩散模型的发展[21]、[22]，一些工作[23]、[24]已尝试增强低质量视网膜图像。尽管它们在生成新图像方面表现出色，但这些方法在保留精细结构细节方面仍面临挑战，而这对视网膜图像至关重要[23]。这些局限性凸显了开发能够克服当前缺陷并满足临床实践所需的可靠性和鲁棒性的方法的迫切需求。在本工作中，我们提出了SemiET——一种半监督视网膜图像增强框架，集成了高效的Transformer结构以解决上述挑战。SemiET创新性地融合了非配对数据和合成数据的优势。通过合成配对数据，我们的方法通过重建退化图像来获取像素级信息，从而有助于保留重要的结构细节和病理信息。另一方面，使用非配对图像有助于弥合合成生成的低质量图像与真实临床场景中所观察到的图像之间的领域差距，使增强后的图像能更好地捕获真实低质量数据的特征。这一设计有助于学习更丰富、更具判别力的表示，并减轻通常阻碍从合成环境迁移到真实世界环境的领域偏移。SemiET基于高效的Transformer架构构建。众所周知，大多数图像恢复和增强任务传统上依赖CNN架构。主要原因是Transformer模型的高计算复杂度使其不太适合涉及高分辨率图像的应用。然而，Transformer捕获长程依赖和全局信息的能力使其对图像增强过程极具价值。例如，在增强视网膜图像的暗区时，整合全局信息对于区分病灶和低质量伪影至关重要。受[25]启发，我们采用了一种高效的注意力计算方法。该方法显著降低了计算开销，使Transformer能够在256×256和512×512像素分辨率下处理图像。此外，它还同时支持多尺度特征提取并保留局部空间细节。这些综合能力带来了优越的增强结果。最后，广泛使用的有参考度量如PSNR和SSIM强调低级相似性并依赖于配对的 ground truth，这限制了它们反映临床实用性的能力。因此，我们开发了一个综合评估框架，涵盖基本图像质量评估以及下游任务，如质量分类、血管和视盘/视杯分割以及黄斑定位。这些下游任务提供了超越图像级度量之外的补充证据。我们在多个数据集上评估所提出的框架，以评估其在视网膜图像质量增强中的鲁棒性和泛化能力。本工作的主要贡献有三个方面：- 我们提出了SemiET——一种半监督视网膜增强框架，将合成配对数据和非配对真实低质量图像与受Restormer启发的通道级注意力机制相结合，实现了紧凑的高分辨率Transformer增强。- 我们设计了一个综合评估基准，包括有参考和无参考质量评估、质量分级、结构分割与定位任务，以及保留的DDR病灶保持探针。- 我们在多个数据集上进行了实验，结果表明SemiET是唯一在所有九项有参考对比中均取得最佳结果的方法，同时在DDR探针中获得了增强方法中最高的mAP@0.5。## 分节摘要### 视网膜图像增强增强视网膜图像质量的方法主要分为两类：一类是基于先验知识的传统方法，另一类是基于深度学习的较新的数据驱动方法。### 退化模型视网膜图像质量往往因光学系统固有因素而退化，如光线传输干扰、图像模糊和视网膜伪影。这些退化阻碍了诊断过程，而难以获取配对的高质量与低质量图像进一步限制了深度学习模型的训练，影响了视网膜疾病的结构分析和诊断。遵循CofeNet[8]的方法，通过建模合成低质量视网膜图像……### 数据集与评估指标对于训练，我们使用EyeQ数据集[44]，根据第3节描述的退化过程构建合成的低质量与高质量图像对，以及没有ground truth的真实低质量图像。我们在域内和域外数据集上进行了评估。域内评估使用来自EyeQ的合成和真实低质量图像来评估增强性能。域外测试在DRIVE[45]、CHASE-DB1[46]、REFUGE[47]和GAMMA[48]数据集上进行。### 结论总之，SemiET将配对合成退化与非配对真实低质量图像结合在基于高效Transformer的增强框架中。在EyeQ、REFUGE和DRIVE上，它在评测的增强方法中取得了最佳的PSNR、SSIM和LPIPS。对真实世界质量分级、血管分割、视盘/视杯分割、黄斑定位以及保留的DDR病灶检测的互补评估表明，图像级的增益可迁移到结构……### CRediT作者贡献声明**Qiu Jiaming：** 概念化。**Xu Feng：** 形式分析、调研、验证、可视化、撰写——审阅与编辑。**Ren Yiwei：** 撰写——原稿、验证、方法论。**Cheng Pujin：** 方法论、概念化。**Tang Xiaoying：** 撰写——审阅与编辑、资金获取、概念化。### 代码可用性源代码和训练好的模型权重公开于 [https://github.com/TFengXu/SemiET](https://github.com/TFengXu/SemiET)。### 利益冲突声明作者声明他们不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。**作者：** Qiu Jiaming | Xu Feng | Ren Yiwei | Cheng Pujin | Tang Xiaoying