《Diagnostics》：A Patch-Based Attention Framework for Automated Diabetic Retinopathy Severity Grading Using Fundus Images
编辑推荐：
背景/目的：基于眼底图像的糖尿病视网膜病变（DR）严重程度自动化分级是一项具有挑战性的任务，其原因在于视网膜图像的高分辨率以及病理病灶的空间稀疏性。方法：本研究提出了一种基于斑块（patch）的注意力框架用于DR严重程度分级，该框架利用局部化信息同时避免激进的
背景/目的：基于眼底图像的糖尿病视网膜病变（DR）严重程度自动化分级是一项具有挑战性的任务，其原因在于视网膜图像的高分辨率以及病理病灶的空间稀疏性。方法：本研究提出了一种基于斑块（patch）的注意力框架用于DR严重程度分级，该框架利用局部化信息同时避免激进的全局下采样。每张眼底图像被划分为非重叠斑块，使用共享的ResNet-18编码器进行处理以提取斑块级特征表示。随后，基于注意力的聚合机制为提取的特征分配自适应重要性权重，并生成用于严重程度分类的图像级表示。该框架在APTOS 2019数据集上进行评估。结果：对不同斑块配置的分析确定25个斑块为最佳性能设置，实现了0.852的多类准确率，而全图基线为0.817。在相同有效输入分辨率下进行的对照消融进一步表明，基于注意力的聚合在所评估的全图和基于斑块的聚合配置中取得了最高的准确率和F1分数。该模型还实现了0.986的二分类DR/No-DR准确率。注意力可视化为模型预测所贡献的区域提供了定性洞察。结论：这些结果证明了注意力引导的基于斑块的特征学习在准确且可解释的糖尿病视网膜病变严重程度分级中的潜力。
**研究背景与问题**
糖尿病视网膜病变（Diabetic Retinopathy, DR）是糖尿病最常见的微血管并发症之一，也是全球工作年龄人群视力损害和可预防性失明的主要原因。随着全球糖尿病患病率的持续上升，DR病例相应增加，给医疗系统和眼科服务带来了沉重负担。DR的早期检测和准确的严重程度分级对于及时临床干预至关重要，因为早期阶段的适当治疗可有效延缓疾病进展并显著降低不可逆视力丧失的风险。然而，大规模筛查和持续监测面临相当大的挑战，需要定期视网膜检查的患者数量不断增长。
彩色眼底摄影作为临床实践中广泛使用的非侵入性且成本效益高的成像方式，用于DR的筛查和评估。DR在眼底图像中通过多种病理征象表现，包括微动脉瘤（microaneurysms）、出血（hemorrhages）、硬性渗出（hard exudates）和新生血管形成（neovascularization），这些病变通常出现在视网膜局部且空间异质的区域。这些病变的视觉特征在大小、形状、对比度和分布上随疾病阶段显著变化，使得可靠解读具有挑战性，尤其在早期或临界病例中。因此，眼底图像的准确分析需要能够捕获细粒度局部特征同时保留严重程度分级所需的更广泛上下文信息的模型。
传统上，DR的诊断和分级依赖于受过训练的眼科医生的手动评估，这一过程耗时、劳动密集且受观察者间和观察者内变异性的影响。这些局限性在大规模筛查项目中更为突出。为应对这些挑战，自动化计算机辅助诊断系统已被广泛研究，以提高DR筛查的效率、一致性和可扩展性。
近年来，基于经典机器学习的多种自动化方法已被提出用于DR检测和严重程度分类。这些方法通常依赖手工特征提取后接传统分类器。另一些研究强调显式病灶和结构检测以支持DR分类。尽管这些方法有效，但它们仍高度依赖手工特征和精心设计的预处理流程，限制了其可扩展性和对不同成像条件的泛化能力。
基于深度学习的技术已成为从眼底图像进行自动化DR检测和严重程度分类的主导范式。多种成熟的CNN架构已被广泛采用用于DR分类、病灶检测和分割等任务。各种架构改进和预处理策略也已被探索以增强DR分级性能。然而，尽管取得了显著进展，自动化DR严重程度分级中仍存在若干重要挑战尚未解决。大多数现有深度学习方法依赖全局调整大小的眼底图像以适应标准CNN架构的输入约束，这可能导致对准确严重程度评估至关重要的细粒度病灶信息丢失。此外，眼底图像具有高分辨率和空间稀疏病理模式的特征，但许多模型并未明确设计来处理信息区域与非信息区域之间的这种不平衡。基于斑块和多重实例学习的方法此前已被研究用于视网膜图像分析，但此类表示用于细粒度五类DR严重程度分级的研究仍较少系统性探索。
**研究内容与结论**
本研究开发了一种基于斑块注意力的框架用于眼底图像DR严重程度自动化分级。每张高分辨率眼底图像被划分为非重叠斑块，实现局部化特征提取同时减少激进全局下采样的需求。采用共享卷积斑块编码器从单个斑块提取特征表示，可学习位置嵌入保留其空间排列信息。基于注意力的聚合机制为位置感知的斑块表示分配自适应重要性并整合为图像级表示用于五类DR严重程度分类。研究系统考察了影响框架性能的因素，包括斑块数量、斑块编码器架构和聚合策略。在APTOS 2019数据集上的实验评估展示了0.852的多类分类准确率和0.986的二分类DR/No-DR准确率。斑块配置分析表明25个斑块提供最佳整体性能，相比全图基线准确率从0.817提升至0.852。消融研究进一步表明基于注意力的聚合在所评估配置中取得最高性能。斑块编码器分析表明ResNet-18在所评估编码器中取得最高宏平均精确率、召回率和F1分数。类别分析显示No DR和Moderate DR表现尤为突出，而Mild、Severe和Proliferative DR仍更具挑战性。注意力可视化为模型预测提供了定性洞察。研究结果表明，将局部化基于斑块的特征学习与注意力引导聚合相结合是实现自动化且可解释的DR严重程度分级的有前景方法。
**关键技术方法**
本研究采用APTOS 2019数据集（亚洲太平洋远程眼科协会失明检测数据集），包含高分辨率彩色眼底照片，使用80:10:10的分层数据划分（训练集2930张、验证集366张、测试集366张）。核心技术方法包括：（1）非重叠斑块划分策略，将眼底图像调整大小后均匀分割为P个非重叠斑块；（2）共享ResNet-18编码器提取斑块级特征表示，并添加可学习位置嵌入保留空间信息；（3）基于轻量级前馈网络的注意力聚合机制，通过softmax归一化生成自适应注意力权重并加权求和得到图像级表示；（4）两阶段数据增强策略，包括全局几何变换和斑块级光度变换；（5）采用加权交叉熵损失函数处理类别不平衡，使用Adam优化器端到端训练。
**研究结果**
4.1 基于类别的性能：使用25个斑块的模型在测试集上总体分类准确率为0.852。No DR类表现最强（精确率0.980、召回率0.995、F1分数0.988），Moderate DR类召回率较高（0.943），而Mild DR（F1分数0.583）、Severe DR（F1分数0.323）和Proliferative DR（F1分数0.565）表现相对较低。多数错误发生在相邻严重程度级别之间。
4.2 整体性能：模型正确分类366张测试样本中的312张，总体准确率0.852。宏平均精确率、召回率和F1分数分别为0.761、0.618和0.651。平衡准确率0.618，MCC为0.768，加权F1分数0.840，QWK为0.912。二分类DR/No-DR准确率达0.986。
4.3 注意力可视化：注意力图显示模型能够将不同重要性分配给空间分布的斑块表示，正确分类样本通常显示更集中于相关视网膜区域的注意力。错误分类的Mild DR样本注意力主要集中在视盘附近，对细微病理变化的关注较弱。
4.4 斑块数量的影响：随着斑块数从1增至4、9、16、25，准确率从0.817逐步提升至0.828、0.831、0.833、0.852。P=25取得最佳性能，相比全图基线提升3.5个百分点。进一步增至P=36时准确率降至0.822。推理延迟从P=1的1.272 ms/图像增至P=36的8.265 ms/图像。
4.5 斑块编码器架构的影响：ResNet-18取得最高准确率0.852和最均衡的精确率、召回率、F1分数组合。ResNet-50准确率0.822，EfficientNet-B0准确率0.844，MobileNetV2准确率0.822。更深的编码器不一定带来更好性能。
4.6 斑块聚合策略的影响：在相同有效输入分辨率（1120×1120）下，全图配置准确率0.836，平均池化0.825，最大池化0.833，注意力聚合取得最高准确率0.852和F1分数0.651。注意力聚合相比全图模型推理延迟仅增加约1.93%。
4.7 与先前研究的比较：所提框架在APTOS 2019数据集上取得0.852准确率，处于已有方法报告准确率（0.725–0.884）的较高范围。相比DenseNet-121（0.725）、DenseNet-169（0.820）、EfficientNetB3（0.840）等方法具有竞争力。
4.8 局限性：APTOS 2019数据集规模有限且存在类别不平衡，影响少见严重级别的特征学习。统计可靠性需进一步验证，观察到的性能差异未建立统计显著性。最优斑块配置可能依赖于数据集特征。注意力可视化不构成病灶定位的临床验证。
**讨论与结论**
讨论部分指出，所提框架的关键特征在于对高分辨率眼底图像的显式基于斑块表示，而非将整个图像作为单一全局调整大小的输入处理。斑块数量分析支持这一表示的效果，25个斑块配置相比全图基线准确率提升3.5个百分点。消融研究表明在相同有效输入分辨率下，性能差异不能仅归因于空间分辨率的增加，注意力聚合策略的贡献得到验证。方法比较提供了情境化的性能参照，但需考虑预处理、数据划分等实验设置的差异。局限性讨论强调了类别不平衡对高级别DR识别的影响、统计可靠性需进一步研究、斑块配置的依赖性以及注意力可视化的定性性质。未来工作将研究多尺度斑块表示、病灶感知监督和更先进的特征提取与注意力机制，并在更多数据集和不同成像条件下评估泛化能力。
研究结论部分翻译：在APTOS 2019数据集上的实验评估展示了0.852的总体多类分类准确率和0.986的二分类DR/No-DR准确率。不同斑块配置的分析表明斑块数量对性能有显著影响，25个斑块提供最佳整体性能，相比全图基线准确率从0.817提升至0.852。消融研究进一步表明基于注意力的聚合在所评估的全图和基于斑块的配置中取得最高性能，准确率0.852、F1分数0.651。斑块编码器分析表明性能随编码器架构变化，ResNet-18在所评估编码器中取得最高宏平均精确率、召回率和F1分数以及最高总体准确率。类别分析显示No DR和Moderate DR表现尤为突出，而Mild、Severe和Proliferative DR仍更具挑战性，尤其对晚期严重级别，表明需要更大更多样化数据集进一步研究以改善细粒度严重程度判别。注意力可视化进一步为模型预测提供了定性洞察，正确分类样本通常显示更集中于相关视网膜区域的注意力。未来工作将研究多尺度斑块表示、病灶感知监督以及更先进的特征提取和注意力机制以改善密切相关DR严重程度级别之间的判别。在额外数据集和不同成像条件下的评估对于评估所提框架的泛化能力也很重要。总体而言，研究结果表明将局部化基于斑块的特征学习与注意力引导聚合相结合是实现自动化且可解释的糖尿病视网膜病变严重程度分级的有前景方法。
