《Biomedical Signal Processing and Control》:A clinical rule-guided neuro-symbolic network for interpretable diabetic retinopathy grading with limited data
编辑推荐:
•临床规则被直接嵌入糖尿病视网膜病变分级中。•门控融合与符号推理提升了严重病例和边界病例的分级效果。•在 FGADR 和 DDR 两个基准数据集上均取得了最佳 Kappa 值。•预测结果遵循从病灶到临床引导分级的可追溯路径。引言糖尿病视网膜病变(DR)是糖尿病最常见的微血管并
- •
临床规则被直接嵌入糖尿病视网膜病变分级中。
- •
门控融合与符号推理提升了严重病例和边界病例的分级效果。
- •
在 FGADR 和 DDR 两个基准数据集上均取得了最佳 Kappa 值。
- •
预测结果遵循从病灶到临床引导分级的可追溯路径。
引言
糖尿病视网膜病变(DR)是糖尿病最常见的微血管并发症之一,也是全球范围内劳动年龄人群中视力损害和失明的主要原因。根据国际糖尿病联盟(IDF)《糖尿病地图集》第 11 版数据,2024 年全球约 5.89 亿名 20 至 79 岁的成年人患有糖尿病,占该年龄组全球人口的 11.1%,预计到 2050 年将增长 45%,达到 8.53 亿 [1]。糖尿病人群的持续增加将进一步加大大规模 DR 筛查和准确疾病分级的需求。中国一项涉及 50,564 名患者的大规模流行病学研究报告 DR 总患病率为 16.3% [2]。由于 DR 在早期常无症状进展,标准化筛查和可靠分级对于及时干预和预防不可逆的视力丧失至关重要。
DR 的诊断和分级主要依赖于对眼底图像中病灶模式的识别与综合评估,包括微血管瘤、出血、硬性渗出和棉绒斑等,如图 1 所示。然而,这些病灶往往体积小、对比度低、形态异质性大,且在视网膜各区域分布不均 [3]。因此,相邻非增殖期 DR 分级之间的边界往往模糊,在边界病例中阅片者间一致性仍然有限 [4],[5]。这使得 DR 分级耗时且依赖经验丰富的眼科医生,特别是在专科资源有限的首诊和远程筛查场景中 [6]。
近年来,人工智能,尤其是深度学习,在医学图像分析中展现出巨大潜力,为 DR 自动筛查和分级开辟了新的途径。早期研究主要依赖传统机器学习模型,如支持向量机和决策树,通过人工构造的纹理、颜色和形状特征来分类眼底图像 [7],[8]。尽管此类方法在特定数据集上取得了中等性能,但特征构造强烈依赖人工经验,泛化能力有限。随着卷积神经网络(CNN)的发展,端到端的图像级分类逐渐成为 DR 自动分级的范式。这些方法直接从眼底图像中学习全局视觉表示,并据此判断疾病严重程度。在大规模标注数据集的支持下,它们可以实现强大的分类性能,部分研究甚至报告了接近或超越眼科医生的 DR 检测和分级效果 [9]。然而,其决策依据主要嵌入在高维隐式特征空间中,导致模型输出、具体病灶证据与临床分级标准之间的关系仍然不清晰,削弱了临床可解释性。
为解决这一问题,研究者越来越多地引入病灶级信息以增强模型对临床相关异常的敏感性。部分研究将典型病灶(如微血管瘤、出血、硬性渗出和棉绒斑)作为独立目标进行检测或分割 [10],[11]。其他研究进一步将病灶分割与图像级分级整合到统一框架中,使局部病灶区域能够被显式地用于改进分级预测 [12],[13],[14]。这些方法在一定程度上提高了病灶敏感性和局部视觉可解释性。然而,其解释仍局限于区域响应层面,未能提供关于病灶证据如何共同塑造最终分级的更结构化说明。注意力机制、Transformer 及相关语义建模策略的引入,进一步将 DR 分级研究从局部区域建模扩展到更高层次的语义表示 [15],[16],[17]。但这些方法通常高度依赖训练规模、标注质量和计算资源,在有限数据设置中仍易过拟合。
随着深度学习的持续演进,知识引导方法为 DR 分级开辟了新的方向。已有研究尝试将病灶先验、医学语义描述、图文对应关系和外部诊断知识引入模型构建,以弥补纯数据驱动方法中临床知识表达和利用不足的问题。这些努力在一定程度上加强了模型输出与医学认知之间的联系,为分级结果提供了更丰富的语义支持。然而,在大多数现有方法中,知识主要以文本提示、概念表示或语义增强的形式进入模型,其在分级决策中的作用仍然间接,知识表示、特征学习与最终预测之间的对应关系仍不够清晰。这一局限性在边界病例和病灶负担复杂的样本中尤为明显。因此,在分级形成过程中使用可执行的临床分级标准尚未得到充分探索。
为应对糖尿病视网膜病变分级中在有限数据条件下存在的分级边界模糊、病灶证据利用不足和临床依据有限等问题,本研究提出了 CRNS-Net,一种临床规则引导的神经符号网络。该方法以国际临床糖尿病视网膜病变(ICDR)严重程度分级标准为基础,将临床分级标准形式化为可执行规则,并与深度视觉表示学习相结合。在该框架中,病灶分割与图像级分级通过多任务架构联合优化。分割输出通过软统计量化进一步转化为面向临床的结构化描述符,包括病灶数量、病灶面积和空间分布。这些描述符随后用于基于规则的推理,同时一致性约束使规则推理分布与网络预测对齐。通过这种方式,临床知识被纳入模型训练和分级决策过程。与主要依赖隐式视觉特征的分级方法不同,CRNS-Net 建立了从病灶定位、结构化病灶描述到临床规则推理和最终分级预测的显式决策路径。该设计提供了具有竞争力的分级性能和更具临床可解释性的证据组织,尤其适用于边界分级病例和有限数据场景。
本工作的主要贡献总结如下:
- •
CRNS-Net 作为一种临床规则引导的神经符号框架,用于有限数据条件下的糖尿病视网膜病变分级。通过将可执行的临床规则嵌入训练过程,模型建立了从病灶证据到分级预测的显式决策链。
- •
构建了双层 Prolog 知识库以形式化 ICDR 分级标准。静态临床规则与动态分布校准相结合,以缓解软病灶描述符引起的规则激活不稳定性。
- •
引入软统计量化和门控融合以衔接病灶分割与图像级分级。病灶数量、面积负担和空间分布被转化为结构化临床线索,并与视觉特征自适应融合,从而提升边界分级病例的识别能力。
章节摘要
自动 DR 分级与多病灶分割
早期关于糖尿病视网膜病变自动分级的研究主要集中在图像级分类上,目标是直接从眼底图像中学习全局视觉表示,并据此判断疾病严重程度。在这一研究方向的发展初期,卷积神经网络被广泛采用以构建端到端的分级模型。Muthusamy 等人 [18] 提出了 LN-SDCTC,该方法结合了光照归一化预处理与对称深度
总体框架
针对有限数据条件下的可解释糖尿病视网膜病变分级,我们开发了一种临床规则引导的神经符号网络,称为 CRNS-Net。CRNS-Net 的核心理念是将显式的临床分级标准嵌入深度视觉学习框架中,使分级预测不再仅依赖于隐式表示空间中图像特征的统计规律,而是由病灶证据、结构化临床
数据集
实验在 FGADR [54] 和 DDR [55] 数据集上进行。FGADR 包含 1842 张眼底图像,具有五级 DR 标签和多种病灶类别的像素级标注,适合联合评估图像级分级和病灶级分割。尽管 FGADR 包含对增殖期或前期增殖期指标 IRMA 和 NV 的稀疏标注,但本研究中使用的监督病灶空间聚焦于四种一致性标注的病灶
讨论
本研究在有限数据和类别不平衡条件下考察了 DR 分级。CRNS-Net 在 FGADR 和 DDR 上均取得了高于对比方法的二次加权 Kappa 值,并提升了对高风险分级的识别能力。规则分级一致性、误差修正和证据移除分析进一步表明,规则分支与序数分级输出和最终预测均相关联。综上所述,这些结果为将
结论
本研究提出了 CRNS-Net,一种用于有限数据和类别不平衡条件下糖尿病视网膜病变分级的临床规则引导神经符号网络。通过在统一框架中整合病灶分割、软统计量化、可执行临床规则、门控融合和 Kullback-Leibler 一致性学习,CRNS-Net 建立了从病灶证据到最终分级预测的显式决策路径。与仅在
CRediT 作者贡献声明
Ning Zhou(周宁): 撰写 – 审阅与编辑,撰写 – 初稿,方法学,概念化。Wen Jia(贾文): 撰写 – 初稿,可视化,验证,形式化分析,数据整理。
利益冲突声明
作者声明不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。
Ning Zhou|Wen Jia