视力障碍仍然是一个重要的公共卫生问题，严重影响个人的自主性、教育成就、社会经济参与度和整体生活质量。除了其临床负担外，视力丧失还对医疗系统和社会造成了巨大的经济成本。人眼包含身体一半以上的感觉受体，特别容易受到退行性和慢性疾病的影响，如年龄相关性黄斑变性（AMD）、糖尿病性黄斑水肿（DME）、青光眼和糖尿病性视网膜病变（DR）。这些疾病通常发展缓慢，如果未能及早发现和治疗，可能导致不可逆的失明[1]、[2]、[3]、[4]。因此，及时、准确且可扩展的诊断系统对于有效干预和长期保持视力至关重要。
近年来，深度学习（DL）显著改变了医学图像分析，提高了分割、分类和异常检测等任务的性能。这些进展在帮助临床医生早期和精确诊断眼部疾病方面证明了其价值。在DL技术中，卷积神经网络（CNN）因其强大的局部图像特征提取能力而在眼科领域得到了广泛应用[5]。例如，[6]提出了一种结合特征提取和融合策略的混合方法来分类眼部疾病图像。同样，[7]使用花粉传播优化算法（FPOA）与CNN结合进行眼部疾病分类，实现了95.27%的分类准确率。尽管取得了成功，但CNN本质上受到其架构归纳偏见和局部感受野的限制。这些限制影响了它们模拟长距离依赖性和全局空间关系的能力，而这些对于全面理解复杂的视网膜异常至关重要[8]、[9]、[10]。
为了解决这些限制，最初为自然语言处理开发的基于变换器的架构已被改编用于视觉任务。视觉变换器（ViTs）引入了自注意力机制，实现了全局上下文建模，为医学成像任务提供了有吸引力的替代方案。在眼科领域，ViTs在眼底和光学相干断层扫描（OCT）图像分析中取得了显著的成功，其性能优于传统CNN[11]。例如，金字塔视觉变换器（PVT）在检测青光眼、DR和白内障方面的准确率超过了基线ViT和CNN模型，达到了85%以上[12]。此外，[13]改进了一个基于变换器的模型，实现了97.10%的F1分数。这些结果凸显了基于变换器的方法在捕捉细微、空间分布的疾病标志物方面的潜力。
尽管取得了这些进展，独立的变换器模型仍然受到高计算需求、在数据量少时的泛化能力有限以及保存局部纹理信息性能不佳的制约。虽然卷积视觉变换器（CvTs）通过引入早期卷积来弥补这些缺点，但在ODIR-5k数据集上的准确率仅为68%，并且在处理类别不平衡和细粒度特征方面表现不佳[14]。类似的，混合CNN-变换器模型如EfficientNet虽然表现出竞争力，但常常会掩盖临床相关的细节，尤其是在高分辨率视网膜图像中。同样，[15]使用蚁群优化增强了CNN的计算效率，但增加了基于变换器的特征提取模块，带来了显著的计算开销。
新兴的变换器变体，如Swin Transformers和OWL-ViTs，引入了分层注意力机制来改善局部-全局特征整合，其中一些在青光眼检测方面的准确率高达99.4%[16]。然而，这些架构通常计算密集，使得它们在资源有限的临床环境中难以部署。此外，许多这些方法假设可以访问大规模、标注良好的数据集——这在医学成像中是一个重大障碍，因为专家注释既耗时又昂贵。
数据高效图像变换器（DeiT）通过提供一种轻量级、计算上可行的替代方案来解决这些关键问题，同时通过知识蒸馏保持竞争力[17]。在这个框架中，一个紧凑的变换器（学生模型）被训练来复制一个强大的基于CNN的模型（教师模型）的输出，从而在显著减少数据和计算需求的同时传递领域相关知识。这使得DeiT特别适合用于眼科诊断。
尽管数据高效图像变换器（DeiT）具有优势，但在眼科应用中仍存在几个特定领域的挑战尚未解决。首先，视网膜疾病通常表现为细微的、空间局部化的指标——如微动脉瘤、硬性渗出物和视盘变化——标准补丁嵌入机制可能无法有效捕捉。其次，类别不平衡是视网膜成像数据集中的持续问题。罕见但临床关键的病症经常被低估，导致模型预测偏差和少数类别的诊断性能下降。例如，[18]虽然采用了广泛的预处理技术，但其方法未能充分解决数据不平衡的根本问题。同样，[19]使用高斯模糊进行图像过滤，但也未能解决这一关键限制。第三，大多数当前AI流程的集中式架构引发了关于数据隐私和治理的重大担忧——特别是在受到严格监管框架约束的医疗领域。患者数据通常在各个机构之间孤立，使得跨机构数据共享和协作模型开发变得复杂。虽然提出了基于加密的隐私保护解决方案[20]，但它们的高计算需求和与现代深度学习框架的有限集成严重阻碍了其在现实世界中的应用。
为了缓解这些担忧，联邦学习（FL）作为一种保护隐私的解决方案应运而生，它允许在分布式客户端之间进行协作模型训练而无需共享原始数据[21]。FL有助于遵守数据治理规定，同时保持模型在多样化患者群体中的泛化能力。将变换器架构集成到FL框架中是一个有前景的研究方向，但仍然探索不足——特别是对于DeiT而言，由于其低计算开销，它非常适合去中心化训练。最近的一项研究[22]将加密推理引入FL以提高数据保密性，但缺乏与数据高效变换器模型的集成，并未解决与类别不平衡或模型可解释性相关的挑战。
此外，大多数现有框架在提供临床可解释的输出方面存在不足，这是实际应用的前提条件。像贝叶斯建模（例如，BayesEG）这样的技术提高了不确定性量化，但缺乏对临床决策支持至关重要的空间定位能力[23]。在[24]中使用了梯度加权类别激活映射（Grad-CAM）来可视化模型的决策过程；然而，它在提供中间层表示的可解释性方面有所欠缺。相比之下，Grad-CAM++通过识别对模型决策最有影响力的图像区域，提供了高分辨率的视觉解释，使其成为验证AI预测与已知病理特征的强大工具[25]。然而，很少有基于变换器的模型——特别是在联邦或隐私敏感的背景下——有效地利用了这样的可解释性工具。
总之，虽然先前的研究分别解决了几个关键问题——通过变换器改进特征提取[26]、通过采样技术解决类别不平衡[27]、以及使用联邦学习保护数据隐私[28]——但目前仍没有一个统一的、针对特定领域的框架能够全面整合这些组件。当前的技术景观缺乏一个可扩展、可解释且注重隐私的解决方案，同时也具备计算效率，并适用于各种临床环境。
为了解决眼科疾病诊断中的关键挑战，即标签数据有限、隐私问题、模型可解释性和类别不平衡，我们提出了一个基于DeiT架构的全面且数据高效的框架。我们模型的核心是一种多尺度补丁嵌入策略，它提取两种类型的图像补丁（16 × 16和32 × 32），以捕捉详细的局部结构和更广泛的全局背景。为了进一步增强空间表示，我们对较小的补丁应用局部窗口注意力，对较大的补丁应用全局自注意力，然后将其输入并行变换器编码器。这使得模型能够学习对准确识别视网膜异常至关重要的详细和整体视觉模式。为了解决医学数据集中常见的类别不平衡问题，我们引入了分层和加权随机采样，确保在训练过程中更好地表示罕见但临床重要的病症。我们的框架还结合了低秩适应（LoRA）来减少可训练参数的数量，同时保持性能，使模型更适合数据有限的环境。此外，我们采用了知识蒸馏设置，其中高容量的教师模型指导较小的学生模型，从而提高学习效率和泛化能力。为了确保患者数据隐私，我们实施了FL方法，允许在分散的机构之间进行训练而无需共享敏感数据。最后，我们整合了Grad-CAM++来生成模型预测的视觉解释，突出显示与疾病相关的区域，提高临床使用的透明度。总体而言，这些贡献形成了一个全面的、可扩展且可解释的框架，适用于保护隐私的眼科疾病分类。
