基于多分支病灶感知的糖尿病视网膜病变分割网络MBLSNet

《ICT Express》:MBLSNet: Multi-branch lesion-aware segmentation for diabetic retinopathy

【字体: 大 中 小 】 时间:2026年10月24日 来源:ICT Express 4.6

编辑推荐:

  由于糖尿病视网膜病变(diabetic retinopathy, DR)四种病变类型——微动脉瘤(microaneurysms, MA)、出血(hemorrhages, HE)、硬性渗出(hard exudates, EX)和软性渗出(soft exudate

  
由于糖尿病视网膜病变(diabetic retinopathy, DR)四种病变类型——微动脉瘤(microaneurysms, MA)、出血(hemorrhages, HE)、硬性渗出(hard exudates, EX)和软性渗出(soft exudates, SE)——的异质性形态和类别不平衡问题,同时分割它们极具挑战性。研究人员提出了一种多分支病灶感知分割网络(multi-branch lesion-aware segmentation network, MBLSNet),该网络采用共享编码器搭配病灶组解码器的架构。该模型处理RGB、绿色通道和局部二值模式(local binary pattern, LBP)输入;小波通道注意力(wavelet channel attention, WCA)和病灶关系模块(lesion relation block, LRB)丰富了瓶颈层特征;交叉解码器精炼机制实现了解码器间的信息交换。九种变体的消融实验报告了5.67%的平均Dice系数(mean Dice, mDice)提升。MBLSNet在OIA-DDR数据集上达到了49.20%的mDice和33.58%的平均交并比(mean Intersection over Union, mIoU),在IDRiD数据集上达到了65.04%的mDice和49.15%的mIoU,在两个基准测试中均获得一致的结果。
研究背景与问题
糖尿病视网膜病变(diabetic retinopathy, DR)是全球超过1亿糖尿病患者视力受损和失明的主要原因之一。对眼底图像中的微动脉瘤(microaneurysms, MA)、出血(hemorrhages, HE)、硬性渗出(hard exudates, EX)和软性渗出(soft exudates, SE)进行精确分割,对于计算机辅助筛查、疾病分级和纵向监测至关重要。同时分割这四类病变面临巨大挑战:MA病灶微小且稀疏;HE区域不规则且对比度低;而EX和SE表现为亮度不同的病变,具有不同的纹理和边界特征。此外,严重的类别不平衡问题(病灶像素可能占图像面积的不到1%)使得单一共享模型难以有效捕捉所有病变类型。现有方法分为两类:共享编码器-解码器架构(如U-Net)参数效率高但可能导致不同大小、颜色和形态的病灶间特征干扰;完全独立的单病灶模型减少了类间混淆但丢弃了共存病灶间有用的上下文关系且计算成本高昂。为解决上述问题,研究人员设计了MBLSNet。
研究方法概述
研究人员采用共享编码器搭配病灶组解码器的架构,结合RGB、绿色通道和局部二值模式(local binary pattern, LBP)纹理输入,并引入小波通道注意力(wavelet channel attention, WCA)、病灶关系模块(lesion relation block, LRB)和交叉解码器精炼(cross-decoder refinement, CDR)。模型使用OIA-DDR数据集(757张眼底图像,训练/验证/测试集分别为383/149/225张,含MA、HE、EX、SE标注)作为主要基准,并在IDRiD数据集上进行跨数据集泛化验证。编码器采用ConvNeXt-V2-Tiny骨干网络,预训练于ImageNet-22K。
研究结果
4.1 数据集与实现细节:OIA-DDR数据集作为主要基准。MBLSNet使用ConvNeXt-V2-Tiny骨干网络,本地补丁尺寸768×768,全局分支640×640,滑动窗口推理(步长384),AdamW优化器配合余弦衰减,bfloat16混合精度训练。模型约含57.1M参数。测试时增强(test-time augmentation, TTA)仅用于最终评估。
4.2 与最先进方法的比较:在DDR测试集上,MBLSNet达到49.20%平均Dice系数(mean Dice, mDice)和33.58%平均交并比(mean Intersection over Union, mIoU),相比DRSeg提升了0.48% mDice;SE的Dice达到58.41%,为所有比较方法中最高。两个基础模型(SegDINO和SAM-UNet)经微调后分别取得43.43%和45.50% mDice,均低于MBLSNet。MA在所有方法中仍是最难的类别(Dice低于28%)。
4.3 定性分析:MBLSNet对EX和SE产生定位良好的响应且假阳性少;HE预测覆盖了大多数出血簇,但偶尔在强度相似的血管结构附近出现假阳性;MA因微小的点状形态导致主要为漏检。
4.4 消融研究:九种变体的渐进式消融从B0(仅RGB,共享解码器)到B8(完整模型)显示,边缘监督(B5,+1.79%)和小波通道注意力(B6,+1.62%)是两个最大的单一贡献者。B8添加交叉解码器精炼(+0.57%),累计增益达+5.67%。损失权重敏感性分析表明,研究人员配置的加权交叉熵(weighted cross-entropy, WCE)权重[8.0, 2.0, 1.5, 5.0](对应MA/HE/EX/SE)取得了最佳mDice(48.53%)。
4.5 跨数据集泛化:DDR训练的模型在IDRiD上无需微调即达到57.81% mDice,而IDRiD训练的模型在OIA-DDR上仅达32.66% mDice。MA和SE在IDRiD到DDR方向上退化最严重(MA:49.55%→15.91%;SE:65.75%→14.34%),证实明亮病灶和微小病灶类别对域偏移最敏感。
4.6 计算效率:MBLSNet(V4)相比单编码器加单解码器基线(V1)获得+5.67% mDice增益,但推理时间增加至2.6倍(150.42 ms vs. 57.46 ms),帧率降至6.6 FPS。
结论与讨论
MBLSNet是一种用于联合DR病灶分割的多分支分割网络,将共享三分支编码器(RGB、绿色通道、LBP)与病灶组解码器和交叉解码器精炼相结合。在DDR测试集上达到49.20% mDice和33.58% mIoU。九种变体消融实验累积+5.67% mDice增益;边缘监督(+1.79%)和小波通道注意力(+1.62%)是最大的两个独立贡献者。最终模型在DDR测试集上取得58.41% SE Dice。MA仍然困难:其微小的点状形态和稀疏的标注即使在使用TTA的情况下也将Dice限制在26.99%。未来工作可探索专用小目标检测头、半监督预训练或类别条件合成增强以提高MA召回率,并且共享编码器搭配病灶组解码器的范式可能推广到其他多类别病灶分割任务。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号