《Diagnostics》：Per-Lesion Mask-Supervised Attention for Multi-Label Diabetic Retinopathy Lesion Detection
编辑推荐：
背景/目的：用于糖尿病视网膜病变（DR）的深度学习模型通常报告严重程度分级，其注意力图解释的是该分级而非单个病灶。本研究旨在分别检测微动脉瘤（MA）、出血（HE）、硬性渗出（EX）和软性渗出（棉絮斑，SE），每个病灶均配有经训练使其落在该病灶上的注意力图。方法
背景/目的：用于糖尿病视网膜病变（DR）的深度学习模型通常报告严重程度分级，其注意力图解释的是该分级而非单个病灶。本研究旨在分别检测微动脉瘤（MA）、出血（HE）、硬性渗出（EX）和软性渗出（棉絮斑，SE），每个病灶均配有经训练使其落在该病灶上的注意力图。方法：以严重程度分级预训练的EfficientNet-B4与Transformer编码器馈入四个病灶查询，每个查询返回一个评分和一张注意力图；定位损失训练每张图朝向其病灶掩膜。研究人员在DDR和TJDR上训练，在其测试集及两个外部数据集（IDRiD和e-ophtha）上测试，并与U-Net进行比较。结果：曲线下面积（AUC）均值对出血为0.93–0.94，对硬性渗出为0.90–0.96，对软性渗出为0.81–0.90；微动脉瘤达到0.91–0.96，但在DDR上除外（0.58）。研究人员详细分析了这一下降。注意力将病灶像素的排序置于视网膜其余部分之上，AUC-Judd为0.948–0.996。去除定位损失后，检测略低，且注意力转移至病灶之外但仍提高预测的区域。该模型检测病灶优于U-Net（平均AUC为0.876对0.853），且与后者不同，还能从有标签但无掩膜的图像中学习：在一半训练图像上使用掩膜时，检测与AUC-Judd几乎不变。结论：以每个病灶自身的掩膜监督其注意力，可在不降低检测性能的前提下给出每病灶评分及落在该病灶上的图。
研究背景与问题
糖尿病视网膜病变（DR）是糖尿病的微血管并发症，也是成人视力丧失的主要原因之一。临床上该病通过少数局灶性病灶诊断，包括微动脉瘤（MA）、出血（HE）、硬性渗出（EX）和软性渗出（SE，亦称棉絮斑），病灶类型及其范围决定患者的国际分级。现有眼底图像深度学习模型多将问题处理为图像级分级或像素级病灶分割：分级模型的注意力图解释的是分级而非单个病灶，且事后归因方法（如Grad-CAM、Grad-CAM++、Integrated Gradients、Attention Rollout）一次仅针对一个预测计算，部分注意力质量泄漏到视网膜外的黑色背景；分割方法虽能定位病灶，但需要训练时的像素级标签，且仅输出掩膜而不给出病灶是否存在的图像级评分，而公开的像素掩膜数据集稀少且规模小。基于查询的Transformer虽已被用于病灶感知的DR设计，但其查询服务于分级而非某一病灶，没有查询被专门绑定到单一病灶类型。因此，研究人员提出需同时满足三项要求：每病灶检测并配以逐病灶解耦的注意力图、注意力在训练中被监督朝向病灶而非任其自发形成、以及不重用训练掩膜的定量检验以判断注意力是否驱动预测。
研究内容与结论
研究人员提出一种具有每病灶独立注意力查询的检测模型，单次前向传播即为每个病灶返回一个评分和一张注意力图；引入定位损失，以各病灶自身掩膜训练其注意力图，使解释在训练中习得而非事后推导；并设计同时检验注意力是否落在病灶上以及预测是否依赖该注意力的评估方案。模型采用两阶段训练：共享编码器（EfficientNet-B4骨干加Transformer编码器）先在五分类国际临床DR严重程度分级上预训练，再在病灶掩膜上微调并引入四个病灶查询与定位损失。研究结论为：以每个病灶自身的掩膜监督其注意力，可在不降低检测性能的前提下给出每病灶评分及落在该病灶上的图。
关键技术方法
研究采用EfficientNet-B4骨干与四层Transformer编码器构成共享编码器，将图像转换为32×32空间token序列；设置四个独立的病灶查询（MA、HE、EX、SE），各查询仅对空间token进行交叉注意力而不相互关注，输出各自评分与注意力图；分类损失采用类平均非对称损失（ASL），定位损失采用KL散度监督注意力图与自适应最大池化的病灶掩膜；第一阶段使用DDR与APTOS 2019分级标签预训练，第二阶段在DDR病灶训练/验证集与TJDR训练集合并的980张图像上微调；域内测试使用DDR与TJDR官方病灶测试集，域外测试使用未参与训练的IDRiD与e-ophtha；评估采用AUC、平均精度（AP）、F1、AUC-Judd、RISE删除/插入检验及视网膜内注意力比例（AIR），并与同条件训练的U-Net比较。
研究结果
4.1 第一阶段：分级预训练。通过在两阶段共享编码器上以DDR与APTOS分级标签进行五分类预训练，得出编码器获得视网膜整体外观表征的结论，该阶段仅在验证集上报告准确率、二次加权kappa（QWK）及分级AUC与AP。
4.2 第二阶段：所有数据集上的病灶检测。通过在四个数据集上微调并测试，得出模型对较大病灶检测良好的结论：出血与硬性渗出最强，DDR上AUC分别为0.94与0.93，平均精度接近0.99与0.97；域外e-ophtha上微动脉瘤与渗出AUC均为0.96；微动脉瘤在DDR上AUC仅0.58，软性渗出因训练集中最稀少而F1与平均精度偏低；域内宏平均mAP为DDR 0.79、TJDR 0.88。
4.3 微动脉瘤：健康负样本与混杂负样本。通过将微动脉瘤检测分别对各类MA阴性图像评分，得出低AUC源于DDR阴性类构成而非病灶大小的结论：DDR的101张无微动脉瘤测试图像中100张含出血且无一张无病灶，含出血图像获得与含微动脉瘤图像几乎相同的微动脉瘤评分（0.807对0.857）；DDR无微动脉瘤图像含2322个不大于多数微动脉瘤的出血点（TJDR为40个），其直径与对比度与微动脉瘤相同，4.1%的微动脉瘤注意力落在覆盖视网膜1.4%的出血上；仅凭参考掩膜按微动脉瘤尺寸范围内红色成分数量排序，DDR的AUC为0.491、TJDR为0.952。
4.4 作为解释的注意力。通过直接读取四个数据集测试图像上的逐病灶注意力图并与Integrated Gradients比较，得出每个查询落在其自身病灶上、四个查询不共享同一张图的结论；AUC-Judd在DDR与TJDR上所有病灶介于0.948与0.996之间（随机水平0.5），软性渗出排序最高，微动脉瘤在DDR为0.952、TJDR为0.949，尽管其仅覆盖图像中位数0.027%与0.017%的面积；微动脉瘤注意力在DDR与TJDR上同样准确，说明DDR上较低的检测并非源于模型注视位置。
4.5 忠实性：删除与插入。通过RISE的无掩膜删除与插入检验，得出注意力标记区域确为预测所依赖区域的结论：两数据集上微动脉瘤删除AUC约0.50（0.495与0.483），DDR上插入AUC微动脉瘤高于0.80、出血高于0.89；软性渗出插入最弱，与其稀少及较低检测评分一致。
4.6 消融与敏感性分析。通过去除定位损失、改变其权重及逐一去除其他训练组件，得出定位损失主要作用于解释而检测略升的结论：宏平均mAP由0.779升至0.792（DDR）、由0.855升至0.878（TJDR）；AIR由无监督时的0.69–0.84升至约0.99，最大升幅为DDR软性渗出（+0.31），这些0.16–0.31的增益为mAP变化的七至二十三倍；有损失时AUC-Judd对两数据集所有病灶均上升且跨运行标准差由最高0.141降至不超过0.002；插入前10%恢复像素中，有损失时恢复82–94%病灶面积，无损失时为56–81%，且无损失时最多24%的恢复像素落在视网膜外（有损失时约1%）；λ在0.1至1.0间AUC-Judd稳定；去除组件中第一阶段预训练对检测影响最大，非对称损失主要利于TJDR出血，去除MixUp使DDR软性渗出AUC升高0.031。
4.7 与分割基线的比较及半数掩膜训练。通过与同条件U-Net比较及仅在一半训练图像上使用掩膜，得出本模型平均检测更优且可从无掩膜图像标签中学习检测的结论：平均AUC为0.876对0.853，在DDR硬性渗出、TJDR微动脉瘤与出血、e-ophtha微动脉瘤上显著更优；U-Net的像素AP对每个病灶均更高，因其输出512×512逐像素分类图而本模型为32×32分布匹配图；AUC-Judd上U-Net在微动脉瘤与硬性渗出更高、本模型在出血与软性渗出更高，且本模型跨运行变异更小（标准差至多0.002对至多0.017）；半数掩膜下AUC-Judd基本不变（DDR 0.964对0.967，TJDR均为0.980），11个病灶–数据集组合的平均检测AUC不变（0.874），仍高于用全部掩膜训练的U-Net。
4.8 含混杂病灶图像上的注意力。通过在缺少目标病灶但含其他病灶的测试图像上测量注意力分布，得出有定位损失的查询会部分被相似病灶吸引但幅度很小的结论：跨病灶与数据集的注意力占比为1.6–5.9%，无损失时为0.2–2.3%；该吸引并未降低检测，TJDR出血上AUC为0.919对0.847。
4.9 对图像退化的稳健性。通过在改变亮度、对比度、模糊、JPEG压缩与传感器噪声的测试图像上评估，得出亮度与对比度变化影响很小、噪声导致最大降幅的结论：亮度与对比度变化使平均AUC变动不超过0.012，模糊与强JPEG压缩降低0.03–0.07，传感器噪声对每个病灶造成最大降幅，TJDR上平均AUC降至0.539接近随机水平。
讨论与结论
讨论部分指出，模型在未参与训练的e-ophtha（微动脉瘤与渗出AUC 0.96）与IDRiD软性渗出（0.90）上表现良好，支持其泛化性，但外部集规模小且e-ophtha仅标注两类病灶，故仅视为支持性证据。微动脉瘤在DDR上的低AUC（0.584）被归因于阴性类构成而非病灶大小：DDR阴性图像几乎均含出血，其中许多与微动脉瘤同样小，参考掩膜亦无法区分两类（AUC 0.491）；该混淆并非模型特有，眼科医师在无荧光素血管造影的彩色照片上亦难以可靠区分，且He等调查认为该区分对DR分级并非必要。软性渗出的困难在于患病率而非尺寸。研究人员强调，仅用训练掩膜评分注意力会奖励损失已实现的功能，故采用不需病灶掩膜的AIR与删除/插入检验。无定位损失时检测略低而注意力分散并部分落于黑色边界，研究人员将此解读为角色分工：分类损失负责预测、定位损失负责解释，此为该文主要发现，并回应了Papadopoulos等留下的开放问题。与分割比较，本框架的图像级决策直接作为逐病灶输出训练而非由像素图派生，且监督可混合使用，故当需要精确范围或病灶数量时分割模型更佳，两者互补。注意力图旨在辅助眼科医师快速定位并确认或否定发现，其单元覆盖32×32像素块，反映注意力权重分布而非解剖边界，不应作为分割掩膜或用于计数与测量范围。关于掩膜可靠性，仅IDRiD有独立复核（硬性渗出面积增加约一半并移除被标为出血的伪影，专家校正后评分者间F1仅0.90），四数据集采用相同彩色眼底成像与多为单次手动标注流程，故均视为有用但不完美的参考。研究结论为：以每个病灶自身的掩膜监督其注意力，可在不降低检测性能的前提下给出每病灶评分及落在该病灶上的图。
