用于糖尿病视网膜病变分级的文本引导病灶挖掘视觉-语言序数分类框架

《Journal of Imaging》：A Text-Guided Lesion Mining Vision–Language Ordinal Classification Framework for Diabetic Retinopathy Grading

　　

糖尿病视网膜病变(Diabetic Retinopathy, DR)是一种主要的视网膜疾病，可导致视力损害和不可逆性失明。准确的自动化DR分级对于大规模筛查和及时临床干预至关重要。然而，大多数现有方法主要依赖视觉特征进行分类，且常忽略DR严重程度的序数结构以及不同病灶组合导致的类内表型异质性。为解决上述问题，研究人员基于RetiZero提供的语义先验信息，提出了一种用于DR分级的文本引导病灶挖掘视觉-语言序数分类框架。该框架引入文本引导的跨层病灶挖掘模块，利用正常组织与病灶相关文本提示之间的语义响应差异，引导多层级视觉块特征聚焦于与DR分级相关的病灶区域。为显式建模DR严重程度的有序进展，研究人员设计了条件序数回归分支和序数分布对齐策略，共同促使预测遵循DR等级的内在顺序。此外，引入多中心特征约束以捕获等级内多样化表型模式并增强特征判别力。在APTOS 2019上的实验表明，该方法达到86.3%的准确率、90.6%的AUC和70.9%的Macro-F1，较RetiZero分别提升2.4、0.7和5.5个百分点。进一步地，在GDRNet的标准留一域验证(leave-one-domain-out)协议下，该方法在六个公开DR数据集上取得58.6%的最高报告平均准确率，超过PAF的报告结果(54.6%)4.0个百分点。然而，该方法在F1和AUC指标上存在局限，GDRNet在这些指标上表现更优。这些结果表明，所提框架能够在一定程度上提升DR分级性能及模型的跨数据集泛化能力。

糖尿病视网膜病变(Diabetic Retinopathy, DR)是糖尿病最常见的微血管并发症之一，也是工作年龄人群视力损害和不可逆失明的主要原因。临床依据国际临床糖尿病视网膜病变严重程度量表(International Clinical Diabetic Retinopathy Severity Scale, ICDR)将DR分为五个有序等级，其病理过程从微动脉瘤形成逐步进展至出血、渗出、缺血，最终出现新生血管。准确的自动DR分级对大规模筛查和及时干预至关重要，但现有深度学习方法主要依赖视觉特征，忽略严重程度的序数结构，且未充分建模同一等级内由不同病灶组合导致的表型异质性。该论文发表于《Journal of Imaging》，针对上述问题，研究人员利用视网膜专用视觉-语言模型RetiZero的语义先验，提出了一种文本引导病灶挖掘视觉-语言序数分类框架。

研究人员开展的研究主要包括三个关键设计。第一，文本引导跨层病灶挖掘模块(Text-Guided Cross-Layer Lesion Mining, TG-CLM)利用正常组织与病灶相关文本提示的语义响应差异生成软病灶掩码，引导多层视觉特征聚焦于与DR分级相关的病灶区域。第二，条件序数回归分支(Conditional Ordinal Regression, CORN)和序数分布对齐策略(Ordinal Distribution Alignment, ODA)显式建模DR等级的渐进性。第三，多中心特征约束(Multi-Center Feature Constraint, MFC)为每个等级学习多个表型中心，以表征同一等级内多样化的病灶组合。实验在APTOS 2019数据集上进行单数据集评估，并采用GDRNet的留一域验证协议进行跨域泛化评估，涉及APTOS、IDRiD、DeepDR、Messidor、FGADR和RLDR六个公开数据集。

在技术方法上，该框架以RetiZero的冻结视觉和文本编码器为骨干，引入两个分支特定适配器（bottleneck结构，压缩比为4）。构建全局等级提示和局部病灶提示；TG-CLM依次执行多尺度视觉-文本相似度建模、病灶软掩码生成与增强、文本探针引导的病灶特征聚合；通过自适应跨层特征聚合(Adaptive Cross-Layer Feature Aggregation, ACLFA)融合多层CLS标记，并经自适应全局-局部通道融合(Adaptive Global-Local Channel Fusion, AGLCF)与局部病灶表示融合；序数分支通过条件概率分解重建序数分布，ODA以非对称方式将序数知识传递至视觉-语言分支；MFC采用可学习的多中心分配和更新策略。上述方法概括了该研究的主要技术路径。

研究结果部分，论文首先比较了所提方法与现有方法在APTOS 2019测试集上的表现。在统一实验协议下，方法达到86.3%的准确率、90.6%的AUC和70.9%的Macro-F1，较RetiZero分别提升2.4、0.7和5.5个百分点；与CLIP-DR和AOR-DR相比也有稳定提升，配对t检验表明差异具有统计学意义。混淆矩阵显示，轻度DR被误判为正常的数量减少，增殖性DR正确分类数从12提升至20，但重度DR正确数略有下降，错误主要集中在相邻等级。序数评价指标方面，二次加权卡帕(Quadratic Weighted Kappa, QWK)从0.895升至0.923，平均绝对等级误差(Mean Absolute Error, MAE)从0.210降至0.172，一级以内准确率(Within-One-Grade Accuracy, W1A)从96.17%升至96.99%，跨两个及以上等级的错误比例下降。图像-文本相似度矩阵表明，方法产生了更接近对角线的相似性模式，表明视觉与序数等级文本的对齐更准确。

在跨域泛化评估中，采用GDRNet的留一域验证协议，六个目标域的平均准确率达到58.6%，为所有比较方法中的最高报告值，比PAF高4.0个百分点。在APTOS目标域上准确率75.3%、F1 50.7%、AUC 86.3%；IDRiD上分别为64.5%、49.2%、86.5%。但平均F1和AUC并非最高，说明该方法主要提升了平均分类准确率，而非全面超越。

消融研究部分，通过增量消融和依赖感知消融分析各模块贡献。基线（RetiZero加交叉熵分类头）准确率83.9%，加入TG-CLM后Macro-F1提升3.5个百分点，表明病灶文本引导有助于平衡分类。进一步加入CORN分支，准确率升至85.7%。但ODA在中间阶段加入时，AUC和Macro-F1略有下降；在完整模型中去除ODA则三项指标均下降，说明其效果依赖整体配置。加入MFC后完整模型达到最优，Macro-F1提升2.4个百分点。依赖感知消融显示，分别去除TG-CLM、ODA、MFC均导致性能下降，而CORN的匹配比较也显示三项指标提升。此外，病灶特定文本提示优于全局提示，验证集准确率、AUC和Macro-F1分别提升0.7、0.2和1.4个百分点；注意力可视化显示病灶提示产生更集中的响应。多中心数量分析中，配置[1,2,2,3,3]达到最佳综合性能，而盲目增加所有异常类别的中心数效果有限，说明应根据等级内特征复杂度分配中心。

讨论部分指出，该方法通过联合建模病灶感知特征、序数关系和类内表型差异，改善了DR分级性能。但存在局限性：缺乏定量病灶定位分析、可转诊DR敏感性和特异性、预测校准评估以及标准化计算复杂度分析。未来工作将针对这些方面进行改进。结论部分可概括为：本文提出了一种用于DR分级的文本引导病灶挖掘视觉-语言序数分类框架，整合了病灶感知特征挖掘、序数严重程度建模和等级自适应表型特征表示。TG-CLM利用正常组织与病灶相关文本提示的语义响应差异，引导多层级视觉特征聚焦于与DR分级相关的区域；条件序数回归和ODA显式建模DR严重程度的进展；MFC采用等级自适应表型中心表示由不同病灶组合引起的等级内变异。在APTOS 2019上，所提框架在ACC、AUC和Macro-F1上均高于对照基线，重复种子统计分析显示相对于RetiZero、CLIP-DR和AOR-DR的提升在三个分类指标上均具有统计学意义。该方法还获得了改进的序数指标，包括更高的QWK、更低的MAE、更高的W1A和更少的远距离分级错误。消融研究表明最终性能提升来自各组件贡献及其在完整框架中的交互。此外，在标准GDRNet留一域基准下，该方法在六个公开DR数据集上取得最高平均准确率，表明其具有改善跨数据集鲁棒性的潜力。但域泛化结果仍应在所采用的标准基准内解释，不应视为骨干无关或全面优越的证据。